Ансамбль из нескольких Q-сетей превращает разброс их оценок в бонус за исследование. Разбираем, как это работает на практике и чем отличается от epsilon-greedy.
Одиночная нейросеть отвечает на вопрос. Несколько агентов в одной среде начинают вести себя иначе: договариваться, обманывать и делить ресурсы. Разбираем, чему на самом деле учатся мультиагентные системы.
Наивный цикл интегрирования N тел на чистом Python считает секунды там, где NumPy справляется за миллисекунды. Разбираем, где Python теряет скорость и чем это лечится.
Дистилляция знаний и curriculum learning дают связку: сильная модель-учитель размечает и упорядочивает данные, а компактный студент учится быстрее и дешевле. Разбираем, где это работает, а где ломается.
В разреженных наградах агент может миллионы шагов не получать ни одного положительного сигнала. HER переписывает цель постфактум и превращает неудачные эпизоды в обучающие примеры.
Изменение одного знака в изображении переворачивает предсказание нейросети. Разбираем, что такое устойчивые состязательные примеры, чем они опасны в проде и как их ловить.
Proximal Policy Optimization стал стандартом обучения с подкреплением: на нём OpenAI обучала манипуляторы, игровых ботов и этап RLHF в ChatGPT. Разбираем, как он устроен и почему вытеснил конкурентов.
Каждый матч Dota 2 оставляет след в открытых данных: пики, урон, тайминги. Разбираем, как вытащить эту статистику через OpenDota API и не упереться в лимиты запросов.
OpenAI показала, что добавление шума не к действиям агента, а прямо к весам его нейросети заметно улучшает исследование среды в задачах обучения с подкреплением.
RLHF стоит компаниям миллионы долларов и сотни часов работы разметчиков. Разбираем, как устроен сбор человеческой обратной связи и где он ломается.
OpenAI выложила в набор Baselines две реализации policy-gradient алгоритмов — A2C и ACKTR. Первый проще и быстрее считает шаг, второй тратит больше на математику ради лучшей выборки данных.
Обычные обучающиеся агенты в играх вроде «дилеммы заключённого» скатываются к взаимному предательству. LOLA — метод, где агент моделирует, как его действия меняют обучение оппонента, и это выводит систему к сотрудничеству.