Токены в нейросети: что это простыми словами

Что такое токен

Токен это кусок текста, который модель считает одной единицей. Обычно это часто встречающееся сочетание букв: целое короткое слово, часть длинного слова, пробел вместе с началом слова или знак препинания. OpenAI описывает токены именно так: часто встречающиеся последовательности символов.

Прежде чем модель увидит ваш текст, программа-токенизатор режет его на токены и заменяет каждый номером из словаря. Модель работает с этими номерами, а ее ответ превращается обратно в текст. Преобразование обратимо: из токенов без потерь собирается исходный текст.

Самый распространенный способ нарезки называется BPE, кодирование парами байтов. Для нейросетей его предложили Sennrich, Haddow и Birch в 2016 году: редкие слова кодируются последовательностью более мелких частей.

Почему слово это не токен

Токенизатор склеивает не корни и суффиксы, а сочетания букв, которые часто встречались в текстах, на которых его обучали. Поэтому части слова не совпадают с морфемами. Вот как режет слова токенизатор, которым мы обучаем свои модели:

Частое слово может оказаться одним токеном, редкое и длинное режется на несколько. Google пишет о том же: длинные слова разбиваются на несколько токенов.

Есть и неочевидная деталь: важен пробел. Внутри предложения первый токен слова обычно начинается с пробела, об этом пишет OpenAI. В нашем замере «интеллект» внутри предложения это один токен, а в самом начале текста, без пробела перед ним, уже два.

Сколько токенов в русском тексте

Разработчики моделей дают правила для английского текста. У OpenAI: один токен это примерно 4 символа или три четверти слова. У Google для моделей Gemini: около 4 символов, а 100 токенов это примерно 60-80 английских слов.

Для русского языка правила у них нет, поэтому мы измерили сами. Взяли видимый текст трех страниц нашего сайта и для сравнения английскую аннотацию статьи о BPE, прогнали через наш токенизатор со словарем 64 000 токенов:

То есть на 1 000 русских слов нашего текста приходится около 1 640 токенов. Это число нашего токенизатора. У GPT, Claude, Gemini и GigaChat оно другое: в справке OpenAI прямо сказано, что разные модели используют разные кодировки. Anthropic пишет, что после смены токенизатора тот же текст дает у новых моделей Claude примерно на 30 процентов больше токенов. Сравнивать модели по числу токенов без поправки на токенизатор нельзя.

Замер маленький: три страницы одного автора и один абзац. Для другого стиля, например переписки или кода, число будет другим.

Почему от токенов зависят длина и цена

Окно контекста. Так называют весь текст, на который модель может опираться при ответе, включая сам ответ. По документации Anthropic в окно засчитывается все: системная инструкция, каждое сообщение переписки и ответ. OpenAI пишет то же: запрос и ответ вместе не должны превышать предельную длину контекста. Меряется окно в токенах, а не в словах и не в страницах.

Цена. Платные интерфейсы моделей считают деньги за токены: OpenAI и Anthropic указывают цены за миллион токенов, Google пишет, что стоимость вызова Gemini зависит от числа входных и выходных токенов. Выходные токены обычно дороже входных. У Anthropic размышления модели оплачиваются как выходные токены.

Поэтому русский текст, который режется на большее число токенов, в такой модели и дороже, и быстрее заполняет окно.

Как посчитать токены заранее

• OpenAI выпускает открытую библиотеку tiktoken, которая режет текст так же, как их модели.
• Anthropic дает отдельный бесплатный метод подсчета токенов, с ограничением на число запросов в минуту. Результат, по их словам, оценочный.
• Google дает метод подсчета токенов в интерфейсе Gemini.

Считать нужно счетчиком той модели, которой вы будете пользоваться: число другой модели не подходит.

Промпт и токены

Промпт это текст задания, который вы отправляете модели. Он тоже состоит из токенов и тоже занимает окно контекста. Длинная инструкция, вставленные документы и вся предыдущая переписка идут в счет вместе с ответом.

Попробовать короткие задания можно в нашей генерации текста: она бесплатна и принимает задание до 1000 знаков.

Свой токенизатор

Мы обучаем собственные русскоязычные модели в программе Сибирь.ИИ, и токенизатор у них свой: модель BPE, словарь 64 000 токенов. Числа на этой странице сняты им 13 октября 2026 года на видимом тексте страниц о транскрибации, о GEO-оптимизации и о компании.

Другие разборы

• ИИ-агент: что это такое простыми словами
• RAG: поиск по базе знаний
• MCP-сервер: что это такое
• Промпт для нейросети: как написать хороший
• Локальная нейросеть: как запустить модель у себя
• Дообучение нейросети: что это и когда нужно
• Речевая аналитика: как работает анализ звонков
• GEO-оптимизация сайта

Источники

Страницы открыты 13 октября 2026 года. Замер токенов сделан в тот же день.

• OpenAI: ключевые понятия, раздел Tokens
• OpenAI Cookbook: как считать токены
• OpenAI: библиотека tiktoken
• Anthropic: подсчет токенов
• Anthropic: окно контекста
• Anthropic: цены
• OpenAI: цены
• Google: токены в Gemini
• Sennrich, Haddow, Birch: BPE для редких слов (2016)

Частые вопросы

Что такое токен в нейросети простыми словами

Кусок текста, который модель считает одной единицей: короткое слово, часть длинного слова или знак препинания. Модель читает и пишет токенами, а не буквами и не словами.

Сколько токенов в одном слове

Зависит от языка и токенизатора. В нашем замере на русском тексте вышло около 1,64 токена на слово, на английском абзаце 1,41. У других моделей числа другие.

Сколько символов в одном токене

OpenAI и Google для английского дают около 4 символов. На нашем русском тексте наш токенизатор дал 4,21 символа на токен, на английском абзаце 5,05.

Почему ответ нейросети обрывается

Часто из-за окна контекста или предела на длину ответа: оба меряются в токенах, и запрос с ответом вместе не должны их превышать.

Почему за токены берут деньги

Платные интерфейсы моделей считают объем работы в токенах: цена указывается за миллион входных и выходных токенов, выходные обычно дороже.