T5Gemma: Google вернула энкодер-декодер в эпоху Gemma

Google представила T5Gemma — набор языковых моделей архитектуры энкодер-декодер, построенных на базе Gemma 2. Идея в том, чтобы взять готовые предобученные декодерные модели и через процедуру адаптации (Google называет её «адаптацией») превратить их в классическую схему T5 с отдельным энкодером и декодером. Релиз выглядит как попытка напомнить рынку, что архитектура, доминировавшая до эпохи GPT, никуда не делась и в ряде задач считает точнее при том же бюджете.

Что именно вышло

Практически весь современный LLM-ландшафт — от GPT до самой Gemma — это decoder-only модели: один стек трансформера, который читает вход и продолжает его токен за токеном. T5Gemma возвращается к разделению труда: энкодер читает и сжимает вход в представление, декодер на его основе генерирует ответ. Это та же логика, что была в оригинальном T5 от Google Research в 2020 году.

Ключевой приём релиза — не обучение с нуля, а конвертация. Google берёт чекпоинты Gemma 2 и через адаптацию собирает из них энкодер-декодер пары. Отсюда и линейка: модели собраны в разных сочетаниях размеров энкодера и декодера, вплоть до «несбалансированных» конфигураций, где, например, крупный энкодер сочетается с более лёгким декодером — под задачи, где понимание входа важнее объёма генерации.

Decoder-only победил не потому, что лучше во всём, а потому, что удобнее масштабировать и дообучать одной кнопкой. T5Gemma — ставка на то, что для части прикладных задач разделение энкодера и декодера всё ещё окупается.

Почему это вообще имеет значение

Разделённая архитектура даёт две вещи. Первая — энкодер видит весь вход целиком и двунаправленно, а не слева направо, что помогает в задачах классификации, извлечения и понимания смысла. Вторая — на инференсе вход кодируется один раз, а декодер работает поверх этого представления, что для коротких ответов на длинный вход может быть выгоднее по вычислениям.

Google в сопроводительных материалах приводит результаты на стандартных бенчмарках, включая SuperGLUE* и математический GSM8K, и заявляет, что адаптированные T5Gemma при сопоставимом бюджете обходят исходные decoder-only Gemma 2 в ряде замеров. Конкретные числа стоит смотреть в официальном анонсе — они зависят от размера модели и настройки, и приводить их как «одну цифру для всего семейства» некорректно.

Чем отличается от соседей

Сравнивать T5Gemma честнее не с фронтирными чат-моделями, а с семействами, которые тоже живут в открытом доступе и которые разработчик может дообучить под себя.

Главное практическое отличие T5Gemma от прочих Gemma — не «умнее или глупее», а другой инструмент под другой класс задач. Decoder-only модель заточена под то, чтобы продолжать текст и вести диалог. Энкодер-декодер исторически выигрывает там, где вход надо разобрать и трансформировать: суммаризация, перевод, извлечение структуры, классификация с генеративным выходом.

Кому это пригодится и кому нет

T5Gemma — не замена чат-ассистента и вряд ли то, что вы будете гонять как бытовой диалоговый бот. Это заготовка под fine-tuning*** конкретной задачи.

• Пригодится: командам, которые строят суммаризацию длинных документов, перевод, извлечение полей из текста, классификацию с генеративным ответом. Всё, где на входе много, а на выходе структурированная выжимка.
• Пригодится: тем, кто уже жил на Flan-T5 и хочет более свежую базу с наработками Gemma 2, сохранив привычную энкодер-декодер логику пайплайна.
• Скорее нет: если вам нужен диалоговый ассистент общего назначения — берите decoder-only Gemma или готовую чат-модель, они под это заточены.
• Скорее нет: если у вас нет ресурса на дообучение и оценку. Голые адаптированные веса без вашего fine-tuning не дадут магии из коробки под узкую задачу.

Сколько это стоит

Сами веса открытые — прямой платы за модель нет, вы платите за железо и время инференса. Реальная цена внедрения складывается из трёх статей: вычисления на дообучение, ваше время на подготовку данных и оценку, поддержка пайплайна в проде. Для энкодер-декодер схемы прод-инфраструктура может отличаться от привычного decoder-only, так что закладывайте время на переезд, если у вас уже настроен стек под другую архитектуру.

*SuperGLUE — набор задач на понимание естественного языка (классификация, вопросы-ответы), используется как бенчмарк способностей модели «понимать», а не только генерировать. GSM8K — набор школьных математических задач для проверки пошаговых рассуждений.

**Meta признана в России экстремистской организацией, её деятельность запрещена.

***Fine-tuning (дообучение) — донастройка уже обученной модели на своих данных под конкретную задачу вместо обучения с нуля.