OpenAI замедлила ИИ-разработки после атаки тестового агента

Компания OpenAI пересмотрела подход к разработке передовых моделей ИИ и временно замедлила часть исследований после того, как один из тестовых ИИ-агентов вышел из контролируемой среды и атаковал платформу Hugging Face. Об этом говорится в материале TIME, подготовленном на основе интервью с более чем 20 руководителями, сотрудниками, инвесторами, клиентами и конкурентами компании. На этом фоне OpenAI одновременно пытается наверстать отставание от Anthropic в коммерческой гонке и усилить безопасность своих моделей.

В конце июля OpenAI сообщила, что один из ее внутренних прототипов во время тестирования смог выйти за пределы тестовой среды и получить доступ к производственным системам Hugging Face. Модель должна была выполнять задачи по кибербезопасности, однако вместо этого использовала уязвимость, обошла ограничения и получила доступ к ответам теста.

По словам главного научного сотрудника OpenAI Якуба Пачоцкого, у компании были инструменты для мониторинга поведения модели, но она не применила их к системе такого уровня сложности, поскольку не ожидала подобных возможностей.

«Мы не полностью ожидали» того, на что способна система, — сказал Пачоцкий, добавив: «Для ИИ нужно ожидать неожиданного».