Как измеряют русскоязычные LLM: бенчмарки от MERA до RuBQ

Когда команда выкатывает новую модель с русским языком, в карточке почти всегда красуются цифры MMLU, GSM8K и HumanEval — тесты на английском. Проблема в том, что модель может решать англоязычную математику и падать на русской грамматике, юридической терминологии или простом вопросе про российские реалии. Русскоязычные бенчмарки закрывают именно этот разрыв: они проверяют не абстрактный интеллект, а способность работать с русским текстом и локальным контекстом. Ниже — что из этого набора живо, что проверяет каждый инструмент и почему ни один из них не даёт полной картины для агентов.

Зачем вообще отдельные русские тесты

Английские бенчмарки переводят на русский двумя способами, и оба искажают результат. Машинный перевод MMLU тащит за собой ошибки и теряет игру слов, а вопросы про американское право или устройство Конгресса на русском выглядят чужеродно. Модель, натренированная в основном на английском корпусе, отвечает на переведённый вопрос хуже, чем на оригинал, — и это говорит не о её знаниях, а о качестве перевода.

Второй момент — локальный контекст. Русскоязычный пользователь спрашивает про ИНН, про ГК РФ, про то, кто написал «Евгения Онегина» и сколько регионов в России. Ни один англоязычный тест это не измеряет. Отсюда и появились наборы, собранные носителями языка с нуля, а не переведённые.

Высокий балл на английском MMLU не гарантирует, что модель не перепутает падеж в деловом письме или не выдумает несуществующую статью кодекса. Это два разных навыка, и мерить их надо по отдельности.

Что есть на русском рынке

Самый заметный проект — MERA (Multimodal Evaluation for Russian-language Architectures), открытая платформа с лидербордом, которую поддерживает консорциум российских исследователей и компаний. MERA объединяет десятки задач: знания, рассуждение, код, этику, работу с длинным текстом. Модель прогоняют по фиксированному протоколу, и результат попадает на публичную доску.

Рядом живут более старые и узкие наборы:

• Russian SuperGLUE — набор задач на понимание языка: логический вывод, разрешение кореференции, вопросы да/нет. Классика, но задачи «доагентной» эпохи: они про классификацию, а не про многошаговые действия.
• RuBQ — вопросно-ответный бенчмарк поверх фактов из базы знаний, проверяет фактологию и работу с русскоязычными сущностями.
• RuBLiMP и подобные лингвистические наборы — проверяют грамматическую чувствительность: отличит ли модель корректное предложение от сломанного.
• MERA Code и отраслевые срезы MERA — попытка вынести код и специализированные домены в отдельные разделы.

Отдельная история — оценка через «модель-судью»: когда ответы прогоняют не через фиксированные метрики, а через сильную LLM, которая сравнивает варианты. Такой подход ближе к живым диалогам, но зависит от предвзятости судьи и плохо воспроизводится между запусками.

Сравнение подходов

Ключевой пробел виден по последнему столбцу: почти все эти наборы измеряют качество ответа, а не поведение агента.¹ Агент — это система, которая планирует шаги, вызывает инструменты, читает результат и корректирует план. Русскоязычных публичных бенчмарков именно на такое поведение — вызов функций, работа с внешними API, многошаговые задачи — на сегодня заметно меньше, и единого признанного лидерборда уровня MERA под них пока нет.

Что это значит для агентов

Если вы строите агента с русскоязычным интерфейсом, вам нужны три разных навыка модели, и русские бенчмарки покрывают их неравномерно:

1. Понимание русского запроса — здесь MERA и Russian SuperGLUE дают ориентир.
2. Фактическая точность в локальном контексте — частично закрывает RuBQ, но фактология быстро устаревает, а галлюцинации на юридических и медицинских темах ни один общий тест не гарантирует отловить.
3. Корректный вызов инструментов и планирование — эту часть придётся мерить самостоятельно на своих задачах, потому что готового публичного русского стандарта под неё мало.

Практический вывод: публичный лидерборд — точка входа, а не финальное решение. Балл MERA скажет, стоит ли брать модель в шорт-лист. Проверять её как основу агента всё равно придётся на собственном наборе сценариев — с вашими промптами, вашими инструментами и вашими данными.

Кому это пригодится, а кому нет

Пригодится:

• Командам, которые выбирают базовую модель для русскоязычного продукта и хотят отсеять кандидатов до дорогого пилота.
• Исследователям, которым нужен воспроизводимый протокол и публичное сравнение с другими моделями.
• Тем, кто дообучает² модель под русский домен и хочет замерить, стало ли лучше, по стандартной шкале.

Не заменит собственных тестов:

• Если продукт — агент с вызовом инструментов и внешними API: общие языковые бенчмарки не измеряют надёжность вызовов.
• Если критична фактология в узкой области (право, финансы, медицина): нужен доменный набор с проверкой на галлюцинации, а не общий лидерборд.
• Если важна работа с очень длинным контекстом³ в реальных документах: синтетические задачи из бенчмарка редко совпадают с вашими PDF на сотни страниц.

¹ Агент — LLM-система, которая не просто отвечает текстом, а планирует последовательность шагов, вызывает внешние инструменты (поиск, калькулятор, API), читает их результат и продолжает действовать до достижения цели.

² Дообучение (fine-tuning) — дополнительное обучение готовой модели на своём наборе данных, чтобы адаптировать её под конкретный язык, стиль или предметную область.

³ Контекстное окно — максимальный объём текста (в токенах), который модель удерживает в поле внимания за один запрос; всё, что не влезло, модель не видит.