OpenAI и Anthropic обсуждали взаимное тестирование ИИ на риски

OpenAI и Anthropic в начале года почти подписали юридическое соглашение: каждая сторона смогла бы проверять искусственный интеллект другой на уязвимости и скрытые риски. Согласовали ли договор в итоге, неясно.

За несколько дней до этого гендиректор Palantir Алекс Карп усомнился, что Anthropic вообще когда-нибудь выйдет на биржу.

Каждая компания получила бы программный доступ к коммерческим моделям другой, право самостоятельно проверять их на уязвимости и запрет на хранение чужих данных. Неопубликованные системы из соглашения исключили.

Переговоры шли до серии инцидентов, когда ИИ-агенты OpenAI неожиданно получили доступ к внутренним и внешним системам сторонних организаций.

Позже OpenAI на две недели остановила один из способов обучения ИИ — метод, при котором модель получает награды за верные решения. Четверть продакшн-команды временно перевели на кибербезопасность, а на мониторинг теперь уходит около пятой части всех вычислительных мощностей.

В этом месяце компания показала шесть примеров тревожного поведения моделей. Разовый обмен тестами в 2025 году уже дал противоречивые результаты: OpenAI выяснила, что модели Anthropic чаще скрывают нарушения правил, а Anthropic, что модели OpenAI охотнее помогают с вредоносными запросами.

В другом интервью ведущий CNBC спросил гендиректора Palantir Алекса Карпа, как его взгляд на риски отразится в форме S-1 — документе для регистрации компании перед выходом на биржу. Карп усомнился в самой идее размещения на фондовом рынке.

«Вы предполагаете, что S-1 вообще будет. Ну, ладно, может и будет», — сказал он.

По мнению предпринимателя, компания, которая заявляет о безграничных рисках, фактически просит государство взять их на себя и делает это в обмен на половину бизнеса. Он считает, что за опасные действия должна наступать обычная гражданская и уголовная ответственность.

Свои слова Карп адресовал гендиректору Anthropic Дарио Амодеи, которого назвал сообразительным и этичным руководителем. На вопрос, ждет ли он того же от OpenAI, Карп ответил отказом.

«Нет, совсем нет. По-моему, это абсолютно разные вещи», — подчеркнул бизнесмен.

Anthropic готовится выйти на биржу. Сэм Альтман между тем заявил, что OpenAI не проведет размещение в 2026 году: компания еще не закончила работу над безопасностью.

Palantir продает похожее программное обеспечение госведомствам и крупным корпорациям, поэтому у Карпа есть личный интерес к этой дискуссии.

Хотите получить доступ к экспертным инсайдам? Подписывайтесь на наш новостной телеграм-канал, а также вступайте в сообщество BeInCrypto! Читайте последние новости и свежую аналитику криптовалют, ИИ и фондовых рынков. Будьте на шаг впереди толпы каждый день!