Нейросети обложили пользователей неанглоязычных стран налогом
Пользователи нейросетей вынуждены переплачивать за доступ к ИИ из-за особенностей обработки неанглийских запросов. Исследование Коалиции за языковое равенство показало, что из-за специфики работы токенизаторов стоимость одного и того же обращения к модели на разных языках может различаться в 17 раз, ставя в невыгодное положение носителей большинства мировых языков.
Причина перерасхода кроется в алгоритмах токенизаторов, которые разбивают текст на фрагменты для последующей обработки. Большинство современных моделей оптимизированы под английский язык, поэтому запросы на других языках требуют больше токенов. Для пользователя, чья подписка ограничена лимитом токенов, это означает не только прямые финансовые потери, но и замедление скорости ответа, а также снижение эффективной контекстной емкости модели.
Проблема затрагивает не только редкие языки вроде астурийского, но и широко распространенные, включая русский. Разница в аппетитах моделей заметна при сравнении популярных решений: так, обработка русскоязычного текста в Claude Opus 5 обходится пользователю значительно дороже, чем в GPT-5.5, из-за 390-процентного прироста расхода токенов. Помимо языковой принадлежности, на стоимость влияет и тип письменности — алфавиты, редко встречающиеся в обучающих выборках, неизменно увеличивают объем данных, необходимых нейросети для понимания задачи.
Комментарии (0)
Пока нет комментариев. Будьте первым!