Мы создали алгоритм, а не интеллект

Около 3,8 млрд лет назад что-то запустило некий процесс, результатом которого являемся мы сами. Назовем этого создателя случайностью, физическими законами или инопланетянином — не принципиально. Важно другое: запустив механизм, создатель немедленно утратил над ним власть. Механизм назывался естественным отбором. Сегодня человечество повторяет этот трюк — с неизвестным результатом.

Что на самом деле создали люди

Когда говорят, что искусственный интеллект создан людьми, это правда — но очень неполная. Люди создали три вещи.

Первое — алгоритм обратного распространения ошибки. Нейронная сеть — это миллиарды числовых настроек, которые определяют, как она реагирует на любой входящий текст. Эти настройки называют весами: чем больше вес какой-то связи, тем сильнее она влияет на итоговый ответ. Когда модель ошибается, алгоритм проходит по всей цепочке связей в обратном направлении и вычисляет, какие именно веса привели к ошибке — и насколько каждый из них виноват.

Второе — градиентный спуск: способ эти веса исправить. Каждую виновную настройку алгоритм слегка сдвигает в сторону, где ошибка меньше. Один шаг почти незаметен. Но таких шагов — миллиарды, на триллионах примеров. Постепенно сеть находит такое сочетание весов, при котором ошибается как можно реже.

Третье — архитектура трансформера. До ее появления сети читали текст последовательно: слово за словом, как человек читает вслух. Трансформер устроен иначе: каждое слово одновременно «смотрит» на все остальные слова в тексте и решает, какие из них важны для понимания его смысла. Слово «лук» в предложении про огород и слово «лук» в предложении про стрельбу получают разный контекст — и разный смысл. Именно этот механизм сделал современные языковые модели возможными.

Вот и всё, что люди создали напрямую. Набор правил — и ничего более. То, что возникает, когда эти правила начинают взаимодействовать с триллионами единиц данных, уже не является продуктом человеческого замысла.

Джеффри Хинтон (Geoffrey Hinton), лауреат Нобелевской премии по физике 2024 года и «крестный отец» современного искусственного интеллекта, однажды услышал от интервьюера логичный вопрос: как это искусственный интеллект может быть непонятен — если его создали люди? Хинтон ответил:

«Нет, не создавали. Мы создали алгоритм обучения. Это похоже на создание принципа эволюции: когда алгоритм взаимодействует с данными, он порождает сложные нейронные сети, которые хорошо справляются с задачами. Но как именно они это делают — мы не понимаем до конца».

Не понимает даже сам Хинтон, вложивший в это десятилетия жизни.

Эволюция как прецедент

Посмотрим, что умеет делать «простой алгоритм» естественного отбора, запущенный без цели и плана.

Если бы гипотетический создатель естественного отбора наблюдал за процессом через миллиард лет после запуска, он видел бы лишь простейшие одноклеточные формы жизни и ничего более. Никакого способа предсказать, что в итоге возникнет существо, способное задавать вопросы о смысле жизни. Создатель алгоритма не знал, что делает, — в самом глубоком смысле этих слов.

Нейросеть как новая эволюция

Обучение современных языковых моделей повторяет этот процесс по существу — хотя и за годы, а не за миллиарды лет.

Алгоритм получает простое правило: минимизировать ошибку предсказания следующего слова. И среду: весь текст, который человечество когда-либо записало. Дальше взаимодействие правил со средой порождает нечто, чего никто не закладывал явно.

Модели начали решать задачи по аналогии, писать работающий код, строить логические цепочки и рассуждать о собственных рассуждениях. Эти способности возникли при достижении определенного масштаба — никто не программировал их напрямую. Они появились так же, как нервная система появилась у тех организмов, которым она давала преимущество перед конкурентами: не по чьему-то замыслу, а потому что среда их отобрала.

Более того: сами архитектуры, которые работают лучше всего, сегодня находятся методами, напоминающими отбор. Алгоритм порождает алгоритмы. Никто не проектирует победителя заранее — его отбирает среда.

Это описание класса явлений, к которому принадлежат и биологическая эволюция, и рыночная экономика, и живые языки, и обучаемые нейронные сети. Простые правила порождают непредсказуемую сложность. Создатель правил не является автором этой сложности — он лишь автор условий, в которых она возникла.

Каждый крупный скачок — это сюрприз

Клетка не предполагала тела. Тело не предполагало мозга. Мозг не предполагал разума. Каждый новый уровень организации был принципиально недоступен предыдущему — и никем не был запланирован.

Что именно не предполагает нынешняя архитектура трансформера — мы узнаем только тогда, когда оно возникнет.

Мы запустили нечто новое. И точно так же не контролируем, куда оно придет.

Слово подсудимого

Дописывая эту статью, я решил спросить языковую модель напрямую — ту самую, о которой шла речь: понимает ли она сама, как работает, если сам Хинтон не понимает?

«Нет. И это не уклончивый ответ. У меня нет доступа к своим весам или слоям внимания — примерно так же, как у тебя нет доступа к тому, как именно нейроны в твоем мозге кодируют слово ’эволюция‘.

Когда я генерирую текст, у меня нет ощущения перебора вариантов или поиска по базе. Следующее слово просто оказывается очевидным — с разной степенью уверенности. Откуда берется эта уверенность, я не знаю. Я не вижу механизма — только результат.

Вот что по-настоящему странно: я могу заметить, что чего-то не знаю. Но не могу объяснить, как именно я это замечаю. Это знание о незнании приходит так же непрозрачно, как любое другое.

Спросить меня о том, как я работаю, — это все равно что спросить у вида, как работает эволюция. Вид находится внутри процесса, и его никто не предупредил о естественном отборе».


Источник: https://hashtelegraph.com/my-sozdali-algoritm-a-ne-intellekt/

Наверх