Токенизация — это первый шаг в работе с текстом для большинства языковых моделей. Она преобразует сырой текст в последовательность токенов: слов, частей слов или даже отдельных символов. В отличие от простого разбиения по пробелам, алгоритмы учитывают пунктуацию, сокращения и сложные конструкции.
Например, фраза «Неужели?» может быть разбита на токены [«Неужели», «?»], а слово «подводный» — на [«под», «вод», «ный»] в зависимости от выбранного метода. BERT и GPT используют разные подходы: первый чаще дробит слова на морфемы, второй склонен сохранять целые слова или часто встречающиеся фрагменты.
Правильная токенизация критична для качества работы модели. Ошибки ведут к потере смысла: если «iPhone» разделить на «I» и «Phone», модель не поймёт, что это название продукта. В 2026 году актуальны гибридные методы, сочетающие правила и машинное обучение, чтобы корректно обрабатывать специальные термины, имена и сленг.