Action-dependent baselines обещали снизить дисперсию градиента политики в задачах с многомерным действием. Разбираем, откуда берётся выигрыш, почему часть его оказалась артефактом реализации и что делать на практике.
Агент, который прошёл 100 уровней Sonic, обычно проваливает 101-й. Бенчмарк Gotta Learn Fast разделил уровни на обучающие и тестовые, чтобы измерить не заучивание, а перенос навыка на новое.
OpenAI показала метод, где алгоритм обучения с подкреплением не задаётся вручную, а эволюционирует. Агент учится по функции потерь, которую подобрал внешний цикл — и переносит навык на задачи, которых не видел.
OpenAI, Google DeepMind и Anthropic вкладываются в идею, где две модели спорят перед судьёй, чтобы человек мог оценить ответ, который сам проверить уже не в силах.
Обучение фронтир-моделей упирается не в идеи, а в железо и электричество. Разбираем, из чего складывается счёт за компьют и почему GPU превратились в валюту гонки ИИ.
OpenAI запустила Fellows, чтобы переучивать инженеров и учёных из смежных областей в исследователей ИИ. Разбираем, как устроен набор осени 2018 года, кому он подходил и что осталось от идеи сегодня.
Исследователи предложили среду GamePad — обвязку вокруг Coq, где нейросеть учится доказывать теоремы шаг за шагом. Разбираем, как устроен подход и почему автодоказательство до сих пор упирается в данные.
Предобучение на неразмеченном тексте вытеснило подход, где каждую задачу тренировали отдельно на размеченных данных. Разбираем, почему это сработало и что это меняет на практике.
Агентные модели всё чаще действуют не в одиночку, а рядом с другими агентами. Чтобы предсказывать их поведение, исследователи учат нейросети сжимать чужую политику в вектор — и работать с ним как с обычным эмбеддингом.
OpenAI провела соревнование, где алгоритмы обучались проходить незнакомые уровни Sonic the Hedgehog. Победитель набрал далеко не идеальный результат — и это главный вывод конкурса о слабости обобщения в обучении с подкреплением.
OpenAI показала метод, который обучает агента играм с редкой наградой всего по одной человеческой записи. На Montezuma’s Revenge агент набрал больше 74 000 очков — там, где обычный RL застревал на нуле.
Glow — потоковая модель от OpenAI, которая генерирует лица и умеет ровно то, чего не могут GAN: считать точную вероятность любого изображения и обратимо кодировать его в латентное пространство.