Writer представляет новую модель ИИ и обновленную инфраструктуру для снижения стоимости токенов
В отрасли искусственного интеллекта пользователи все больше осознают высокую стоимость развертывания своих решений и испытывают растущую потребность в сокращении расходов. Хотя модели с открытым исходным кодом предлагают значительно более низкую стоимость за токен, найти подходящую модель для конкретной задачи может быть затруднительно.
В четверг компания Writer, предоставляющая инструменты и агенты на базе ИИ для маркетологов, запустила новую флагманскую модель под названием Palmyra X6, направленную на решение этой проблемы для своих пользователей. Построенная как вариация после обучения (post-training) на основе модели с открытым исходным кодом GLM-5.2 от Z.ai, новая система, по заявлению Writer, должна обеспечить возможности, готовые к развертыванию, по гораздо более низкой цене. Компания оценивает, что новая модель в сочетании с изменениями в инфраструктуре harness (инструментария/обвязки) позволит сократить расходы клиентов на базовые задачи до 50%.
Вместе с новой моделью компания также выпустила значительные обновления для своего стандартного агентского harness. Обе функции станут доступны клиентам Writer начиная с четверга.
«Я думаю, что корпоративный сектор полностью устал погоняться за новыми бенчмарками», — сказала генеральный директор Мей Хабиб (May Habib). «Они хотят стабилизации стоимости, и кажется, что никто не может этого обеспечить».
Новый подход уделяет особое внимание сложным многоэтапным задачам, которые выполняются быстрее и с меньшим количеством токенов. Writer считает оптимизацию harness ключевым рычагом для достижения этой цели.
Недавняя статья исследователей из Writer подтверждает обоснованность этого подхода: в ней тестируются небольшие изменения эффективности harness на нескольких различных моделях. Исследование показало, что во многих случаях изменение harness является более надежным способом снижения затрат, чем выбор модели, при этом затраты снижались в среднем на 40% в ходе их тестирования.
«Harness — это единственный компонент, эффективность которого умножается на каждую модель, которую запускает организация — как существующую, так и будущую», — написали исследователи.
Для клиентов Writer опыт работы остается независимым от конкретной модели: Palmyra X6 будет работать наряду с другими моделями Writer или внешними моделями, импортированными через Azure или Amazon Bedrock. Однако Хабиб также видит в стремлении сократить расходы более широкий скептицизм по отношению к крупным лабораториям ИИ, у которых есть финансовая заинтересованность в увеличении использования токенов.
«Взрывной рост стоимости беспрецедентен для клиентов, и то же самое касается степени разочарования директоров по информационным технологиям (CIO) в лабораториях», — сказала Хабиб, добавив, что лаборатории ИИ «не понимают глубоко, как помочь предприятию извлечь выгоду из ИИ».
Поделиться
