# Токены в нейросети: что это простыми словами

> Токены — кусочки, на которые нейросеть режет текст. Простыми словами: как их считать, почему русский текст дороже и куда так быстро уходит лимит подписки.

- Термин: Токены
- Обновлено: 2026-08-24

**Токены — это маленькие кусочки, на которые нейросеть режет текст, чтобы с ним работать.** Кусочек — это не обязательно целое слово: часто это часть слова, отдельный символ или знак препинания. В токенах измеряется всё практичное: сколько текста модель удержит в памяти, как быстро кончится лимит подписки и сколько стоит запрос.

## Простыми словами

Нейросеть не читает фразу целиком, как человек. Сначала она нарезает её на кусочки и работает уже с ними. Фраза «Привет, как дела?» по-английски — это примерно 5 токенов, а по-русски уже около 10: слова те же, а кусочков вдвое больше.

Почему не по буквам и не по словам? По буквам — слишком медленно. По целым словам — слишком большой словарь: «бежать», «бежал», «забегаешь» пришлось бы хранить отдельно. Кусочки-токены — компромисс: их около 100–200 тысяч в словаре модели, и из них можно собрать любой текст, даже слово, которого модель раньше не видела.

## Почему русский текст «дороже»

Болезненная для рунета вещь: **один и тот же текст на русском занимает примерно вдвое больше токенов, чем на английском** (на старых моделях — до 2–3 раз). Причина — почти все популярные модели учились в основном на английском, поэтому английские слова часто укладываются в один токен, а русские дробятся на несколько; у новых моделей разрыв меньше, чем у старых.

Житейская опора — старые SMS: платили не за смысл сообщения, а за куски, и русское письмо дробилось на большее число платных частей, чем такое же латиницей. Причина у SMS другая — кодировка символов, а не словарь модели, — но для читателя из рунета итог тот же: счёт идёт не за мысль, а за количество кусочков, и у русского текста их выходит больше.

Что это значит на практике:

- на платной подписке ваш лимит на русском сгорает быстрее, чем у англоязычного пользователя на том же тарифе;
- при оплате через API русский запрос обходится примерно вдвое дороже английского с тем же смыслом (на старых моделях — до 2–3 раз);
- российские модели ([GigaChat](/ai/gigachat/), [YandexGPT](/ai/yandexgpt/)) учились на русском — у них словарь «честнее» к кириллице, и для русских задач они экономнее.

**Формула для прикидки в уме:** число русских символов ÷ 2 ≈ число токенов (1000 символов ≈ 500 токенов). Для английского: число слов × 1,3.

## Токены, лимит и цена: почему «сгорает» подписка

Токен — единица, в которой считается сразу три вещи:

- **Контекст.** Размер [контекстного окна](/slovar/kontekst/) — это сколько токенов модель держит «в голове» за один разговор (ваш запрос + вся история чата + её ответы). Когда окно заполнено, модель начинает забывать начало диалога.
- **Лимит подписки.** Все подписки считаются в токенах, просто их не показывают. Упёрлись в лимит до конца дня — либо ждать сброса, либо тариф выше.
- **Цена запроса.** В API платят за токены отдельно: за ваш запрос (input) и за ответ модели (output). **Ответ обычно дороже запроса в 3–5 раз** — генерировать тяжелее, чем читать. Практический вывод: просите отвечать короче, когда полный ответ не нужен.

Если ответ модели обрывается на середине — это упор в лимит длины одного ответа; просто напишите «продолжай».

## Как экономить токены

1. **Подбирайте модель под задачу.** Для простого (сортировка, короткое письмо, классификация) хватит лёгкой модели — она дешевле флагмана и ответит не хуже. Флагман берите под код, аналитику, сложное рассуждение.
2. **Новый чат при смене темы.** Каждое сообщение тащит за собой весь предыдущий контекст, и вы платите за него заново. Сменили тему — откройте чистый чат.
3. **Просите короткие ответы,** когда развёрнутый не нужен: экономит самую дорогую, выходную часть.
4. **Грузите только нужный кусок документа,** а не весь файл на 50 страниц.
5. **Резюмируйте длинные диалоги:** попросите краткое резюме, начните новый чат с него — контекст ужмётся в разы.

## Как посчитать токены

Для быта хватает формулы «русские символы ÷ 2». Точнее — специальными счётчиками: у OpenAI есть онлайн-токенайзер, у Anthropic — свой счётчик для Claude, у каждого вендора свой (единого правила нет: разные модели используют разные алгоритмы токенизации, поэтому один текст даёт разное число токенов).

И помните: токенами меряется не только текст. Картинка, PDF или аудио тоже переводятся в токены — картинка весит от абзаца до нескольких, смотря какое разрешение.

## Токен текста и токен доступа — разные вещи

Слово «токен» в ИТ означает две разные вещи, и из-за этого инструкции понимают неверно:

- **Токен-кусочек текста** — то, о чём вся эта страница: единица, в которой считают контекст, лимит подписки и цену запроса.
- **Токен доступа, он же ключ** — строка-пароль, которую сервис выдаёт, чтобы к нему подключилась ваша программа; в интерфейсах она подписана то «API-ключ», то «токен доступа». Такой токен не считают и не экономят — его хранят в секрете и никому не показывают.

Различить помогает соседнее слово: «сколько», «лимит», «цена», «сгорели» — речь о кусочках текста; «получить», «выпустить», «вставить в настройки», «никому не показывать» — о ключе доступа.

И ещё одна частая подмена: **токен — не буква.** В русском тексте на один токен приходится в среднем около двух символов, хотя короткий знак препинания вполне может быть отдельным токеном.

## Как это у конкретных моделей

Размер окна (в токенах) и цена за токен у моделей сильно различаются — и меняются с каждым релизом. Поэтому конкретные цифры мы держим в карточках, где проверяем их по вендору и датируем, а не в этом определении:

- [Claude](/ai/claude/) — актуальные окна и цены по моделям;
- [ChatGPT](/ai/chatgpt/) — свои лимиты и тарифы;
- [Gemini](/ai/gemini/) — свои окна и правила подсчёта;
- а выбрать модель под задачу и бюджет помогает рейтинг [лучшие нейросети](/top/luchshie-nejroseti/).

## Частые вопросы

### Сколько токенов в одном русском слове?

Обычно около двух, на старых моделях — 2–3 (английское слово часто укладывается в один). Быстрая прикидка: число русских символов разделить на 2.

### Считается ли пробел или знак препинания токеном?

Да. Запятая или точка обычно отдельный токен, пробел часто «приклеивается» к следующему слову.

### Почему лимит подписки кончается так быстро?

Подписка считается в токенах, а русский текст расходует их примерно вдвое быстрее английского. Плюс каждое новое сообщение в старом чате заново тащит весь контекст.

### Что дороже — мой запрос или ответ нейросети?

Ответ. Выходные токены обычно в 3–5 раз дороже входных, потому что генерация тяжелее чтения.

### Как посчитать токены без калькулятора?

Русские символы разделить на 2, английские слова умножить на 1,3. Точнее — через токенайзер вендора.

### Токен в нейросети и токен доступа — это одно и то же?

Нет, это разные вещи с одинаковым названием. Токен текста — кусочек, на который нейросеть режет фразу; в токенах считают контекст, лимит и цену. Токен доступа и API-ключ — секретные строки, по которым программа подключается к сервису: их не считают, а хранят в тайне и никому не показывают.