Токены в нейросети: что это простыми словами и почему за них платят
Токены — это маленькие кусочки, на которые нейросеть режет текст, чтобы с ним работать. Кусочек — это не обязательно целое слово: часто это часть слова, отдельный символ или знак препинания. В токенах измеряется всё практичное: сколько текста модель удержит в памяти, как быстро кончится лимит подписки и сколько стоит запрос.
Простыми словами
Нейросеть не читает фразу целиком, как человек. Сначала она нарезает её на кусочки и работает уже с ними. Фраза «Привет, как дела?» по-английски — это примерно 5 токенов, а по-русски уже около 10: слова те же, а кусочков вдвое больше.
Почему не по буквам и не по словам? По буквам — слишком медленно. По целым словам — слишком большой словарь: «бежать», «бежал», «забегаешь» пришлось бы хранить отдельно. Кусочки-токены — компромисс: их около 100–200 тысяч в словаре модели, и из них можно собрать любой текст, даже слово, которого модель раньше не видела.
Почему русский текст «дороже»
Болезненная для рунета вещь: один и тот же текст на русском занимает в 2–3 раза больше токенов, чем на английском. Причина — почти все популярные модели учились в основном на английском, поэтому английские слова часто укладываются в один токен, а русские дробятся на 2–3.
Что это значит на практике:
- на платной подписке ваш лимит на русском сгорает быстрее, чем у англоязычного пользователя на том же тарифе;
- при оплате через API русский запрос обходится в 2–3 раза дороже английского с тем же смыслом;
- российские модели (GigaChat, YandexGPT) учились на русском — у них словарь «честнее» к кириллице, и для русских задач они экономнее.
Формула для прикидки в уме: число русских символов ÷ 2 ≈ число токенов (1000 символов ≈ 500 токенов). Для английского: число слов × 1,3.
Токены, лимит и цена: почему «сгорает» подписка
Токен — единица, в которой считается сразу три вещи:
- Контекст. Размер контекстного окна — это сколько токенов модель держит «в голове» за один разговор (ваш запрос + вся история чата + её ответы). Когда окно заполнено, модель начинает забывать начало диалога.
- Лимит подписки. Все подписки считаются в токенах, просто их не показывают. Упёрлись в лимит до конца дня — либо ждать сброса, либо тариф выше.
- Цена запроса. В API платят за токены отдельно: за ваш запрос (input) и за ответ модели (output). Ответ обычно дороже запроса в 3–5 раз — генерировать тяжелее, чем читать. Практический вывод: просите отвечать короче, когда полный ответ не нужен.
Если ответ модели обрывается на середине — это упор в лимит длины одного ответа; просто напишите «продолжай».
Как экономить токены
- Подбирайте модель под задачу. Для простого (сортировка, короткое письмо, классификация) хватит лёгкой модели — она дешевле флагмана и ответит не хуже. Флагман берите под код, аналитику, сложное рассуждение.
- Новый чат при смене темы. Каждое сообщение тащит за собой весь предыдущий контекст, и вы платите за него заново. Сменили тему — откройте чистый чат.
- Просите короткие ответы, когда развёрнутый не нужен: экономит самую дорогую, выходную часть.
- Грузите только нужный кусок документа, а не весь файл на 50 страниц.
- Резюмируйте длинные диалоги: попросите краткое резюме, начните новый чат с него — контекст ужмётся в разы.
Как посчитать токены
Для быта хватает формулы «русские символы ÷ 2». Точнее — специальными счётчиками: у OpenAI есть онлайн-токенайзер, у Anthropic — свой счётчик для Claude, у каждого вендора свой (единого правила нет: разные модели используют разные алгоритмы токенизации, поэтому один текст даёт разное число токенов).
И помните: токенами меряется не только текст. Картинка, PDF или аудио тоже переводятся в токены — картинка обычно «весит» как небольшой абзац.
Как это у конкретных моделей
Размер окна (в токенах) и цена за токен у моделей сильно различаются — и меняются с каждым релизом. Поэтому конкретные цифры мы держим в карточках, где проверяем их по вендору и датируем, а не в этом определении:
- Claude — актуальные окна и цены по моделям;
- ChatGPT — свои лимиты и тарифы;
- Gemini — свои окна и правила подсчёта;
- а выбрать модель под задачу и бюджет помогает рейтинг лучшие нейросети.