Милорд

Если модель говорит по-русски, это ещё не значит, что вы с ней на одной волне Каждую нейросеть нужно адаптировать под понимание и общение на конкретном языке. На примере новой открытой нейросети Яндекса Alice AI Foundation, которую обучили с нуля внутри компании, рассказываем, как ИИ прививают знание русского. Токенизация на русском LLM читают текст не по словам или буквам, а по токенам — кусочкам текста, из которых складываются промпты, размышления и ответы. Таким фрагментом может быть один символ, целое слово или его часть. Чтобы нейросеть могла нарезать текст на токены, разработчики заранее составляют для неё словарь. Собирают его автоматически: если слово часто встречается в датасете, оно получает собственный токен. Но если обучающие материалы были, скажем, на английском, то русские слова при обработке будут дробиться на несколько токенов. И вообще один и тот же текст на разных языках превращается в разное количество токенов. Например, в Claude Opus 5 фраза «Это тестовый текст для подсчёта количества токенов на разных языках» на русском занимает 17 токенов, а на английском — всего 13. Словарь Alice AI Foundation создавали на текстах, где преобладал русский, поэтому она эффективно его токенизирует. Поэтому обработка запросов упрощается — модели требуется меньше токенов, чтобы получить результат. Она начинает читать и генерировать текст быстрее, а на оплату её работы требуется меньше денег. Заодно в контекстное окно помещается больше текста, и нейросеть дольше сохраняет память о начале переписки. Обучение на русском Материалы для обучения влияют и на то, насколько хорошо модель понимает пользователя. Смысл запросов часто зависит от страны, поэтому просто перевести английские тексты недостаточно — модель нужно обучать на русских, чтобы она понимала местные реалии и культурный код. При этом, чтобы модель запомнила факт, его нужно пересказать несколько раз в разных формах. Например, строчку «Пётр I основал Петербург в 1703 году» для обучения превращают в репл