Coinbase сократила расходы на ИИ в 2 раза, хотя потребление выросло

Гендиректор Coinbase Брайан Армстронг рассказал, как удерживать расходы на ИИ на одном уровне при экспоненциальном росте потребления токенов. По его словам, это достигается не за счет ограничений и оповещений о тратах, а через более удачные настройки по умолчанию, маршрутизацию запросов и кэширование.

Армстронг отметил, что инженеры могут выбирать любую модель, но именно настройки по умолчанию имеют значение. Coinbase экспериментирует с тем, чтобы по умолчанию использовать модели с открытыми весами вроде GLM 5.2 и Kimi 2.7 через внутренний шлюз. По его словам, 91% сотрудников никогда не упирались в лимиты, поэтому компания перешла к более дешевым настройкам вместо снижения лимитов.

Хотите еще эксклюзивных новостей и аналитики? Подписывайтесь на наш телеграм-канал, обсуждайте новости и делитесь мнениями о последних событиях рынка в чате!

Маршрутизация, кэш и экономия контекста

По словам Армстронга, в собственных системах Coinbase запросы предварительно обрабатываются и направляются к наиболее подходящей модели с учетом попаданий в кэш и стоимости. К примеру, передовая модель нужна для планирования, но избыточна для исполнения. По его мнению, выбор модели в итоге должен автоматизировать сам ИИ, а не человек.

График расходов Coinbase на ИИ и потребления токенов

Отдельно Армстронг выделил роль кэширования. По его словам, промахи мимо сохраненных данных — самый простой способ взвинтить расходы, поэтому все запросы в Coinbase настроены на повторное использование уже обработанной информации. В сервисе LibreChat доля таких попаданий выросла с 5% до 60% после правильной настройки.

Важным он назвал и экономию контекста. Армстронг советует начинать новые сессии при смене задач, узко ограничивать контекст файлов и отключать неиспользуемые инструменты. По его словам, цель не в том, чтобы тратить меньше токенов, а в том, чтобы меньше растрачивать их впустую. Такой подход позволил Coinbase сократить расходы на ИИ почти вдвое при продолжающемся росте потребления токенов.

Стратегия «штанги» от Дойчера

Схожий подход описал аналитик Майлз Дойчер, назвав происходящее эрой «инженерии токенов». По его словам, это стремление к максимальной эффективности их использования.

Дойчер предложил стратегию «штанги» для сокращения расходов на ИИ на 50% и более. Первые 10% работы и планирование проекта он советует доверять самым умным моделям вроде Opus или GPT, поскольку это важнейший этап.

Основные 80% рутинной работы, по его словам, стоит выполнять более дешевой моделью с открытым исходным кодом. Финальные 10% и проверку результата он рекомендует снова поручать модели высокого уровня. По словам Дойчера, он применяет эту схему уже несколько месяцев и считает ее лучшим способом снизить чрезмерные траты на ИИ.

Хотите получить доступ к экспертным инсайдам? Подписывайтесь на наш новостной телеграм-канал, а также вступайте в сообщество BeInCrypto! Читайте последние новости и свежую аналитику криптовалют, ИИ и фондовых рынков. Будьте на шаг впереди толпы каждый день!

Источник: https://ru.beincrypto.com/armstrong-coinbase-rashody-ii-tokeny/

Наверх