Когда среда почти не даёт наград, обучение с подкреплением буксует. Prediction-based rewards дают агенту внутренний стимул — искать то, что он ещё не умеет предсказывать.
Модель мира учится на прошлом опыте, а планирование происходит в момент действия. Такой подход помогает роботам и агентам исследовать среду быстрее, чем классическое обучение с подкреплением.
Energy-based модели присваивают каждой комбинации данных число — энергию. Правильные сочетания получают низкую энергию, абсурдные — высокую. На этом строится способ обучать понятия без явных ярлыков.
OpenAI выложила образовательный набор Spinning Up in Deep RL: конспекты, эталонные реализации пяти алгоритмов и список статей для чтения. Разбираем, что внутри и как запустить первый алгоритм.
OpenAI закрыла первую летнюю программу Fellows финальными проектами участников. Разбираем, зачем компании такие стажировки и что это говорит о рынке входа в ИИ-исследования.
Агент, обученный проходить уровень игры без единой ошибки, проваливается на новом уровне с той же механикой. Разбираем, как исследователи научились отделять запоминание от настоящего обобщения в RL.
Каждое удвоение размера модели требует непропорционально больше данных и вычислений. Разбираем законы масштабирования: сколько это стоит и где рост упирается в потолок.
Языковые модели стали дешевле в пересчёте на токен и лучше в бенчмарках, но три проблемы никуда не делись: выдумки, стоимость контекста и приватность данных. Разбираем, что это значит для тех, кто их внедряет.
Атаки, добавляющие невидимые для человека помехи, ломают нейросети. Но требование устойчивости упирается не только в данные, а в вычислительную стену — и это даёт неожиданные бонусы.
Выравнивание моделей всё чаще ломается не на математике, а на людях: чью пользу оптимизировать, как собирать оценки и почему разметчики не согласны друг с другом.
OpenAI выложила Spinning Up in Deep RL бесплатно: теория, шесть алгоритмов с кодом и список статей для чтения. Разбираем, кому этот материал реально поможет войти в обучение с подкреплением, а кому стоит поискать другое.
Neural MMO — открытая среда, где сотни и тысячи обучаемых агентов борются за еду, воду и территорию одновременно. Разбираем, чем она отличается от классических RL-песочниц и зачем такой масштаб исследователям.