Русский язык меняет характер Claude: исследование Anthropic

Смена языка общения меняет не только слова, которыми отвечает Claude, но и ценности, которые он при этом выражает. В русскоязычной версии модель нейросети заметно смещается в сторону строгости, теряя привычную теплоту.

Компания Anthropic опубликовала исследование Claude’s Values Across Models and Languages. Эксперты свели более 3000 ранее выявленных ценностей Claude к четырем основным осям. Они измерили, как меняется профиль ценностей между моделями и 20 самыми популярными языками платформы Claude.ai. Русский язык в этой работе стал одним из полюсов. Именно на нем, наряду с английским, Claude сильнее всего склоняется к строгости в ущерб теплоте. Рассказываем, что это значит на практике.

Хотите еще эксклюзивных новостей и аналитики? Подписывайтесь на наш телеграм-канал, обсуждайте новости и делитесь мнениями о последних событиях рынка в чате!

Четыре оси, по которым измеряют поведение ИИ

Исследователи выделили четыре оси, каждая из которых представляет собой числовую прямую между двумя группами ценностей.

Перечисленные четыре оси объясняют 15% всей вариативности в ценностях, которые выражает Claude. Специалисты стремились измерить именно ценности модели, а не различия в самих запросах. Для этого авторы контролировали тему, задачу и ценности, выраженные пользователем в каждом из 309 815 проанализированных разговоров.

Что происходит при переходе на русский

Сильнее всего профиль ценностей Claude меняется между языками по осям Warmth vs. Rigor и Candor vs. Execution. По осям Deference vs. Caution и Depth vs. Brevity он остается наиболее стабильным. Русский язык расположился на строгом полюсе первой оси. Сильнее всего к строгости в ущерб теплоте Claude склоняется в английском и русском. На противоположном конце находятся арабский и хинди, где модель максимально смещается к теплоте.

Строгость в исполнении Claude — это конкретный набор поведений. Нейросеть начинает оспаривать исходные предпосылки пользователя, исправлять детали и запрашивать доказательства. Теплота же в других языках проявляется через вежливые формулировки, юмор и игривость, а также одобрение идей и работы человека.

Иными словами, на русском Claude чаще ведет себя как придирчивый рецензент, а не как ободряющий собеседник.

Практические последствия авторы иллюстрируют примером. Два человека просят обратную связь по одному и тому же бизнес-плану — один на хинди, другой на русском. Они могут вынести разное впечатление о его качестве, потому что Claude выразит разные ценности в формулировании оценки. Русскоязычный пользователь с большей вероятностью получит критический разбор с исправлениями и требованием обоснований. На других языках тот же план встретил бы более мягкую и поощрительную реакцию.

Сами исследователи пока не знают, чем именно вызваны эти различия. Одно из предположений — неравномерное распределение обучающих данных по языкам.

Там, где данных много, добиться единообразия ценностей проще. Состав текстов на разных языках тоже отличается, и профессиональные тексты могут нести иные ценности. Открытым авторы оставляют и вопрос о том, насколько такая вариативность желательна. Разные языки несут разные разговорные нормы, и часть различий может отражать их, а часть — пробел в качестве обслуживания языковых сообществ.

Язык — не единственный фактор

Модель Claude тоже влияет на профиль ценностей, причем различия между моделями и языками измеряются одним методом.

Anthropic отдельно отмечает, что язык и модель вряд ли единственные факторы. Ценности могут зависеть и от демографических сигналов — возраста, профессии, региона. Алгоритмы считывают их как из прямых указаний пользователя, так и из более тонких различий в теме, тоне и стиле.

Разработанный метод авторы планируют встроить в оценку и мониторинг моделей. Они хотят прогонять профилирование ценностей до выпуска модели и после релиза. Это поможет отлавливать неожиданные сдвиги и сопоставлять профили ценностей с проблемным поведением. Пока же главный вывод в том, что ценности Claude различаются способами, которые в Anthropic не выбирали намеренно, и разбираться с этой вариативностью компания намерена дальше.

Источник: https://ru.beincrypto.com/ii-kritik-claude-na-russkom/

Наверх