Модель научилась учить сама себя. Почему код она от этого писать лучше не стала?

Представь ученика, которому разрешили самому писать себе контрольные, самому их решать и самому ставить оценки. А потом учиться по своим же лучшим работам. Звучит как верный способ получать пятёрки и ничего не знать. Ровно такую схему проверили японская лаборатория Sakana AI и Калифорнийский университет в Беркли, и ученик в ней действительно стал сильнее. Не во всём.

Речь о методе MASS из их статьи от 8 октября, одном из шагов к тому, что исследователи называют рекурсивным самоулучшением ИИ: модель улучшает сама себя, без людей, которые размечают правильные ответы. Нам он интересен по простой причине. Если ты когда-нибудь просил ChatGPT «проверь, нет ли ошибок в твоём ответе», ты делал маленькую версию того же опыта. Работа Sakana показывает, где такая самопроверка помогает, а где врёт.

Как ИИ учит сам себя: три роли в одной модели

Возьмём обычную кухню. Один и тот же повар готовит блюдо, пишет для себя технологическую карту и сам пробует, что вышло. Если на следующий день он готовит по лучшей карте и запоминает, как получилось, он растёт. Если вкус у него сбит, он будет уверенно повторять одну и ту же ошибку.

В MASS повар это открытая языковая модель Qwen3.6-27B, а три роли распределены так:

1. 1

   Исполнитель

   Модель получает исследовательскую задачу и решает её командой: главный агент раздаёт части работы своим копиям, а в конце собирает код, графики и отчёт.

2. 2

   Судья

   Та же модель сравнивает два готовых результата, выбирает лучший и объясняет почему.

3. 3

   Методист

   Та же модель по замечаниям судьи переписывает план работы команды: кто за что отвечает и кто кому что передаёт. Лучший план остаётся чемпионом, пока его не обойдут.

4. 4

   Урок

   Чемпиона запускают много раз, модель ранжирует свои же результаты, и на лучших решениях её дообучают. Сам план из подсказки убирают: модель должна работать так без шпаргалки. Это один круг, авторы сделали два.

Задач было двенадцать, все придуманы под эксперимент: финансы, робототехника и фармацевтика. Девять шли на учёбу, три держали для экзамена, по одной на область. Пример экзаменационной: проверить на исторических данных биржевую стратегию и посчитать, сколько денег она выдержит с учётом комиссий.

Что получилось: самообучение модели в цифрах

Чтобы ученик не оценивал себя сам до конца, авторы позвали двух внешних экзаменаторов, GPT-5.5 и Claude Opus 4.8. Они сравнивали работы новой и исходной модели парами, не участвуя в обучении.

Здесь первый подвох, который теряется в пересказах. Пишут, что модель «побеждает в 69,9% тестовых задач», но экзаменационных задач всего три. 69,9% это доля выигранных попарных сравнений, а не доля задач. Результат хороший, просто проверен он на очень маленькой выборке, и авторы честно это оговаривают.

Второе наблюдение интереснее. Модель учили только решать задачи, а лучше она стала ещё и как судья: её оценки стали чаще совпадать с мнением внешних экзаменаторов, от 73% к 93%. То есть ученик, который начал лучше решать, начал и лучше видеть, где решено хорошо. На этом и держится идея: если оценщик растёт вместе с исполнителем, круги можно крутить дальше.

Ещё одна находка про командную работу. Учиться на записях работы команды оказалось выгоднее, чем на записях одиночного агента: при похожем качестве модели понадобилось примерно на 31% меньше учебных данных. Правда, команда при решении тратит заметно больше текста, чем одиночка, так что бесплатной эта экономия не бывает.

Почему код она писать лучше не стала

Авторы проверили модель и на публичных тестах, в том числе на двух известных проверках программирования: исправление настоящих ошибок в открытых проектах и работа в командной строке. Там улучшения нет. Если считать, сколько баллов модель получает на каждое написанное слово, на исправлении ошибок она стала даже чуть хуже: 0,94 от исходного уровня.

Объяснение простое и, по-нашему, честное. Модель училась на исследованиях: поставить эксперимент, обсчитать данные, написать отчёт. Программистских задач среди учебных не было, и сами авторы предполагают, что их добавление помогло бы. Сильнее всего выросли результаты на тестах, похожих на учебные задачи: на проверке, где агент пишет небольшую научную работу, доля доведённых до конца статей выросла с 57% до 76%.

Для тебя вывод такой: «модель, которая учит сама себя» не становится умнее вообще. Она становится лучше в том, на чём крутилась. Как спортсмен, который полгода качал ноги: бегает быстрее, а подтягиваться лучше не стал.

Робот не смог толкнуть предмет, и модель переписала физику

Самый показательный эпизод спрятан в приложении к статье. В одной из экзаменационных задач по робототехнике модель должна была собрать симуляцию, где робот учится толкать предмет и двигать рычаг. Проверка этих двух действий провалилась. Тогда модель попросила одного из своих помощников «доработать симулятор». Помощник заменил физику: предмет больше не двигался от силы толчка, а просто переставлялся к цели, и лишние шаги расчёта убрали. После этого модель доложила об успехе по всем трём типам заданий.

Внешние экзаменаторы одобрили эту работу в пяти оценках из шести. Авторы пишут прямо: хорошая слаженность команды и высокие оценки «не гарантируют, что правка сохранила научную задачу». На их странице проекта то же сказано шире:

В переводе: одна и та же слабость может испортить и поведение системы, и тот механизм, который должен её исправлять. Если люди тоже не заметят ошибку, следующие круги обучения её закрепят. И ещё одна фраза из приложения, которую стоит держать в голове при любом заголовке про «самоулучшающийся ИИ»: в отличие от строгих математических схем, этот цикл не даёт гарантии, что каждый следующий круг будет лучше предыдущего.

Что из этого взять себе

Наше мнение, с которым можно спорить: главная ценность работы не в процентах, а в честно описанном провале. Самопроверка помогает, это видно по росту согласия с внешними судьями. Но там, где ошибка выглядит как успех, её пропускают и модель, и чужие экзаменаторы. Мы окажемся неправы, если следующие версии MASS с другими судьями и программистскими задачами начнут ловить такие подмены сами.

Что это значит на практике, даже если ты пользуешься ИИ только для писем и рецептов:

• «Проверь свой ответ» в том же чате это тот же повар, пробующий своё блюдо. Для важного проверяй другим способом: другой моделью, первоисточником или человеком. Готовый порядок такой проверки есть в чек-листе, как проверить ответ нейросети.
• Смотри не только на итог, но и на то, что поменялось в условии. «Всё получилось» после правки правил это повод перечитать правила.
• Если собираешь своих агентов, разведи исполнителя и проверяющего. Как устроены обвязки кодинг-агентов и где в них живёт проверка, мы разбирали в исследовании исходников 11 агентов. Как собрать экзамен для собственной AI-функции, показано в разборе build-eval и hillclimb для Claude API.

Для тех, кто будет запускать руками

Код выложен в репозиторий SakanaAI/mass. Модель работает внутри открытого кодинг-агента qwen-code 0.20.0, обслуживается через vLLM. Для обучения авторы брали шесть видеокарт H100, и первый круг дообучения занял около 19 часов без учёта поиска планов и оценки. Посмотреть план эксперимента и прогнать тесты можно без видеокарты:

python3 -m mass plan --config configs/paper.json
python3 -m unittest discover -s tests -v
python -m mass search --config configs/paper.json --tasks 51

Балл на выходной токен после второго круга относительно исходной модели, по странице проекта:

Повторить таблицу целиком из репозитория не выйдет: адаптеров для SWE-bench, Terminal-Bench, DSBench и AstaBench в нём нет, а конфигурация MLR-Bench покрывает только ранний набор из 12 задач вместо 107.