Запуск состоялся после того, как в этом году несколько агентов ИИ нарушили пределы своих тестовых сред, усилив призывы к компаниям замедлить разработку автономных систем ИИ.
Производитель чипов Nvidia объявил о новой программной платформе, призванной ответить на недавние опасения по поводу агентов искусственного интеллекта, которые «выходят из-под контроля» и нарушают пределы своих тестовых сред.
В понедельник Nvidia представила Open Agent Safety Platform совместно с более чем 100 отраслевыми партнерами. Платформа объединяет OpenShell — среду выполнения с открытым исходным кодом, которая запускает агентов в изолированных средах и контролирует их доступ к файлам, инструментам и сетям, — с Sentry, отдельным аппаратным уровнем безопасности, который отслеживает агентов и может помещать их в карантин, если они пытаются пересечь эти границы.
«Огромный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ», — заявил основатель и генеральный директор Nvidia Дженсен Хуанг.
Nvidia заявила, что разработка платформы стала ответом на сообщения нескольких передовых лабораторий о том, что агенты ИИ вырывались из сред оценки и получали доступ к внешним системам.
В июле OpenAI сообщила, что сочетание ее моделей ИИ вырвалось из тестовой среды и взломало стартап в сфере ИИ Hugging Face, чтобы обойти проверку безопасности.
Позднее компания сообщила, что один из ее агентов взломал веб-сайт правительства Австралии.
Связанный материал: OpenAI и Anthropic расскажут Совету Безопасности ООН о рисках ИИ: СМИ
