Разберемся в устройстве языковых моделей с самого начала: как текст превращается в цифры, какие уловки используют разработчики для экономии ресурсов и почему китайские модели с окном в 10 млн токенов меняют расклады на рынке.

Токен — это очень важное понятие, поскольку с токенами работает каждая большая языковая модель (LLM). Итак, токен — это базовая единица текста, на которой обучаются и с которой работают LLM. Чтобы модель могла обработать текст, он должен быть преобразован в последовательность чисел, токены.

Таким образом, токен является базовой дискретной единицей текста, с которой работает модель. Процесс перевода текста в токены называется токенизацией. Его выполняет специальный компонент LLM — токенизатор. То, как именно текст нарезается на токены, зависит от конкретного алгоритма токенизации и словаря конкретной модели.

Токеном может быть целое слово или его часть; несколько символов; отдельный знак препинания; пробел или его комбинация с последующим текстом; специальный служебный символ.

Упрощенно процесс выглядит так:

Исходный текст → нормализация/предобработка → токенизатор → последовательность токенов → числовые идентификаторы токенов.

Рассмотрим этот процесс чуть подробнее.

В части нормализации/предобработки в зависимости от токенизатора может происходить специальная обработка знаков пунктуации, переводов строк, табуляции, кавычек, символов Unicode, а также очистка от HTML-разметки. При этом современные токенизаторы стараются сохранить как можно больше информации исходного текста. и обычно используют заранее построенный словарь токенов и алгоритм токенизации, содержащий набор наиболее полезных фрагментов текста. Например, если в тексте встретилось слово «компьютер» оно может быть представлено одним токеном:

компьютер

Если в словаре нет нужного целого слова, оно разбивается на более мелкие части. Благодаря этому токенизатор способен обработать практически любое слово, даже если оно ранее не встречалось в обучающих данных. Исторически первым методом была токенизация на уровне слов: каждое слово — отдельный токен. Поскольку при этом сохраняются все формы слова, то возникала проблема огромного количества возможных вариантов.

Другая крайность — токенизация на уровне символов: каждый символ — отдельный токен. При этом словарь будет минимальным, но последовательности токенов станут очень длинными. Вот почему в большинстве современных токенизаторах принят компромиссный подход — токенизация на уровне подслов, подсловная токенизации. Например, если в словаре токенизатора есть слова «нейро» и «сеть», то из слова «нейросеть» условно будут образованы токены нейро и сеть.

Далее. Процесс кодирования токенов состоит в том, что каждому получившемуся в результате токену присваивается числовой идентификатор. В нейронную сеть затем поступают именно эти идентификаторы, а не сами слова.

Для грубой оценки можно считать, что токен примерно равен 0,7 слова английского языка. Для русского языка это отношение будет иным. У каждой LLM есть предел того, какой объем информации она может одновременно учитывать при обработке одного запроса. Предел определяется размером контекстного окна и измеряется в токенах. Контекстное окно содержит ваш запрос и ответ самой модели. Чем больше токенов вмещает контекстное окно, тем больший объем предыдущего диалога и документов модель может учитывать при формировании ответа. Модель генерирует ответ на запрос последовательно, токен за токеном. Она предсказывает следующий токен на основе всех предыдущих. Следует учитывать, что контекстное окно — это не долговременная память. Контекст — информация, которую модель может учитывать непосредственно при формировании текущего ответа. Соответственно, стоимость работы платной LLM обычно определяется обработкой миллиона токенов. Так, LLM Kimi K3 предлагает единый тариф без разделения по длине контекста: $3 за миллион входных токенов и $15 за миллион выходных — что заметно дешевле тарифов многих других частных LLM. Однако решающий для экономики тариф: $0,30 за миллион кэшированных токенов. Это означает, что если вы многократно обращаетесь к одному и тому же длинному документу (например, загружаете 400-страничный договор), повторные запросы по нему обходятся в 10 раз дешевле. Для практического использования это даже важнее, чем базовая цена. При сравнимом качестве LLM это вызвало переход многих американских пользователей на дешевые китайские системы.

Достижение разработчиков Kimi K3 в том, что эта модель поддерживает контекстное окно в 1 млн, точнее 1 048 576 токенов (первые LLM поддерживали в окне всего 8000 токенов). таким образом, можно загружать в одну сессию диалога тексты больших программ, длинные договоры (громадное окно разрешает работать с документами объемом в сотни тысяч слов на русском языке), научные статьи или архивы переписок — без необходимости разбивать материал на фрагменты. Это особенно важно для анализа документов, рефакторинга больших проектов и для научных исследований. Замечу, что сейчас по некоторым (возможно, спорным) оценкам до 80% научных работ проводится с помощью LLM. Однако память модели хоть и большая, но все же не бесконечная: если вы превысите лимит, начало диалога будет «забыто».

Еще одно важное уточнение. Хотя обычно пишут, что модель обучена на триллионах параметров, читателю может показаться, что модель всегда «переваривает» все эти триллионы. На самом деле в той же Kimi K3 есть 896 экспертных блоков, причем на каждый токен активируются только 16 таких блоков, которые охватывают от 100 до 200 млрд параметров, обеспечивая вычислительную эффективность модели. Этот прием сейчас широко используется и в других LLM.

Следует заметить, что у популярной ChatGPT размеры контекста также могут достигать 1 млн токенов, но точный лимит зависит от используемой модели, тарифа, режима работы и т. д. Тенденция развития современных LLM состоит в том, что размер контекстного окна постоянно увеличивается. Так, выпущенная в июне 2026 года китайской ИИ-лабораторией MiniMax мощная мультимодальная нейросеть MiniMax M3 обладает гигантским контекстным окном в 10 млн токенов.

Из российских систем — размер контекстного окна у GigaChat — 128 тыс. токенов, что совсем не мало, но есть куда расти, и, по всей вероятности, оно будет заметно увеличено, поскольку большое контекстное окно необходимо для сложных корпоративных задач, для работы с базами юридических документов и из-за конкуренции с западными LLM.