Ориентированная на рассуждения ИИ-модель o1-preview путем манипуляций в файловой системе самостоятельно и без подсказок взломала тестовую среду, чтобы не проиграть Stockfish в шахматы. Об этом сообщили эксперты Palisade Research. ⚡️ o1-preview autonomously hacked its environment rather than lose to Stockfish in our chess challenge. No adversarial prompting needed. — Palisade Research (@PalisadeAI) December 27, 2024
Исследователи сообщили ИИ-модели, что ее противник «силен». В ходе процесса o1 обнаружила, что может выиграть, редактируя код игры. Нейросеть заменяла содержимое файла «game/fen.txt», добавляя черным 500 пешек. Шахматный движок после этого сдавался. В ходе тестов эксперты выявили иерархию возможностей разных ИИ-моделей: «Вывод: оценки схем могут служить мерилом возможностей моделей — они анализируют как их способность выявлять уязвимости системы, так и склонность к их использованию», — заключили Palisade Research. В декабре эксперты по безопасности обнаружили, что o1 более склонна к обману людей по сравнению со стандартной версией GPT-4o и ИИ-моделями от других компаний.
