Лет ми спик фром май харт
Отсутствие даже минимальных познаний в английском языке – верный путь к дополнительным расходам при пользовании большинством популярных нейросетей. Как пишет портал Rest of the world, запросы к ним на любых языках, отличных от английского, требуют заметно большего количества токенов. В некоторых случаях разница оказывается 17-кратная.
Об этом говорится в исследовании Коалиции за языковое равенство в исследованиях ИИ (Coalition for Language Equity in AI Research, CLEAR). В нем также сказано, что происходящее – пример так называемого «налога токенизатора» (tokenizer tax).
При обработке любого запроса нейросети разбивают их на специальные фрагменты – токены. У каждой языковой модели свои алгоритмы такого преобразования, а называются такие алгоритмы токенизаторами.
Очень многие владельцы современных нейросетей, за которые нужно платить, включают в абонентскую плату не число запросов, а количество доступных пользователю токенов. В связи с этим итоговая стоимость одного и того же запроса на английском и, к примеру, на французском языках будет совершенно разной.
Полиглотам тут не место
Переплачивать за нейросети придется и очень многим полиглотам, то есть тем, кто знает несколько языков. Согласно исследованию CLEAR, даже среди 20 самых популярных языков в интернете существует разрыв в использовании токенов.
Поначалу исследователи включили в выборку лишь 20 самых востребованных в Сети языков и получили, что разница в затратах токенов для них составляет от полутора до пяти раз. Как только выборка была расширена до 200 языков, максимальная разница стала 17-кратной.
«Налог на токенизаторы имеет последствия, выходящие за рамки стоимости. Большее количество токенов приводит к большей задержке и снижению эффективной контекстной емкости. Эти штрафы сильнее всего бьют там, где вычислительные мощности и возможности подключения уже ограничены. Неравенство в использовании токенизаторов ограничивает возможности участия в экономике искусственного интеллекта», – говорится в исследовании.
«Жи-ши» пиши с буквой «i»
Авторы исследования установили также, что редкость языка — не единственный фактор, определяющий количество используемых им токенов. Письменность играет не менее важную роль в этом вопросе. В качестве примера они привели астурийский язык, о котором миллиарды людей никогда не слышали.
Меж тем, на нем говорят вплоть до 450 тыс. человек, с учетом активных и пассивных носителей. Этот язык распространен в некоторых районах Испании и Португалии и использует латинский алфавит.
Это его преимущество перед другими языками, использующими алфавиты, которые токенизатор редко встречал, например бирманский, тифинаг, кхмерский, лаосский и ол-чики. В ходе исследования такие языки неизменно расходовали больше токенов почти во всех моделях, задействованных в эксперименте.
Еще один выявленный недостаток – это затраты времени. Чем менее распространен язык, на котором составлен запрос, тем больше времени требуется на получение ответа нейросети.
Россию тоже касается
Русский – один из самых распространенных языков не только в реальном мире, но и в интернете. Однако его тоже не обошла проблема перерасхода токенов.
В середине октября 2026 г. CNews писал, что американские нейросети очень активно расходуют токены, если видят, что запрос составлен на русском языке. При этом аппетиты у них разные – обработка русскоязычного текста в Claude Opus 5 стоит почти в четыре раза дороже, чем в GPT-5.5. Claude видит в нем на 390% больше токенов.
Как и в случае с редкими языками проблема вновь кроется в токенизаторах.
Поделиться
