Amazon усиливает контроль за затратами на ИИ после непредвиденных расходов на проекты с нейросетями
Искусственный интеллект должен ускорять рабочие процессы и сокращать расходы. Однако несколько внутренних проектов Amazon дали обратный результат: использование больших языковых моделей обернулось непредвиденными затратами, которые компания обнаружила лишь спустя недели или месяцы. Об этом сообщает Financial Times.
На внутреннем совещании ведущие разработчики Amazon рассказали о нескольких особенно дорогостоящих случаях. В одном из проектов компания использовала языковую модель Claude Sonnet от Anthropic, чтобы сопоставить сведения об авторах с данными на платформе Amazon. Фактические расходы превысили расчётные примерно на $1,8 млн.
Проект вышел за предусмотренный бюджет на 860 %. При этом Amazon обнаружила перерасход лишь через пять месяцев после завершения работ.
Похожие проблемы возникли и в других проектах. Один из них потребовал дополнительных расходов в размере около $541 тыс. Другой превысил бюджет примерно на $134 тыс., причём компания заметила это только через две недели. По словам одного из ведущих разработчиков, пока трудно надёжно прогнозировать реальные расходы на ИИ.
Одна из причин — модель оплаты, которую используют многие поставщики ИИ-сервисов. Они рассчитывают стоимость по количеству обработанных токенов. В отличие от подписки с фиксированной платой, такая схема напрямую зависит от объёма запросов, поэтому расходы могут расти гораздо быстрее, чем ожидали разработчики.
Amazon заявила Financial Times, что речь идёт об отдельных случаях, которые не отражают общую практику работы компании с ИИ. Команды изучают полученный опыт и обмениваются выводами, чтобы эффективнее контролировать расходы. Кроме того, Amazon разрабатывает автоматические механизмы, которые будут заранее выявлять необычно высокие затраты и ограничивать их.
Поделиться
