Дрейф модели отделяют от смены версии: агента для кода проверяют повтором контрольных задач

Словом «дрейф» называют разные изменения. Для рабочего решения нужны отдельные записи о том, что получал агент и как он справился.

При дрейфе входов меняется состав задач. Раньше агент правил формы, теперь получает интеграции. Исполнитель работает на другом материале.

Ухудшение качества проверяют на прежнем материале по прежнему зачёту. Новая ошибка в новой задаче ещё не показывает, что старые задачи агент решает хуже.

В ML concept drift означает изменение связи входа с правильным ответом. Новое бизнес-требование записывают как новое требование, без диагноза по одному примеру.

Те же слова задачи не гарантируют те же входы. Агент мог прочитать обновлённую документацию или получить другую историю переписки.

Постоянный набор задач даёт точку сравнения. Новые задачи дополняют его отдельной группой, чтобы рост проекта не выглядел ухудшением старой связки.

В журнале нужны и выбранная модель, и та, которая исполняла задачу. Подмена в РуБенче показала разницу между выбором пользователя и работой продукта.

Закреплённый ID сужает круг причин. Anthropic обещает постоянный снимок за ID, но допускает изменения обслуживающей инфраструктуры при прежних весах модели.

Среду тоже фиксируют. В неё входят версия агента, правила для ИИ-агентов и инструменты. Их смена меняет проверяемую связку.

Контрольная задача хранит состояние до починки. Если запускать её на сегодняшнем коде, готовое исправление или новая зависимость изменит экзамен.

Постановка задачи агенту и критерий приёмки остаются постоянными. Команда проверяет результат без доверия ответу.

Без сохранённых старых результатов нынешний прогон станет первой базой. Сравнение с памятью о прошлых ответах не подтверждает историческое ухудшение.

В РуБенче используются 25 задач, по 3 независимых попытки на каждую. Это устройство раунда, а не обязательный размер набора для вашей компании.

Командный набор покрывает свою работу. В него входят прежние удачные задачи и сохранённые ошибки, чтобы не выбрать только удобные примеры.

Проверка результата хранится отдельно от материалов агента. Иначе исполнитель сможет изменить проверку вместо починки продукта.

Открытый рейтинг помогает выбрать кандидата. На своём наборе CTO проверяет другую вещь: сохранит ли кандидат работу конкретного проекта.

Одна попытка показывает один исход. Модель отвечает с вариациями, поэтому одиночный провал и одиночный успех ещё не описывают её обычную работу.

Для первого сравнения предлагаем по 3 независимых попытки на задачу, как в РуБенче. Это стартовый протокол, а не доказательство статистической значимости.

Каждая попытка начинается с чистой копии. Следы предыдущей починки и подсказки ревьюера меняют вход, даже если текст задачи остался прежним.

Доступные старую и новую связки чередуют в одном окне. При подозрении на изменение прежнего ID текущий прогон сравнивают с сохранёнными результатами.

Дорешивание записывают отдельным режимом. Лучший ответ после подсказок нельзя сравнивать с первой самостоятельной попыткой.

У каждой попытки остаётся свой исход. Общий процент прячет ситуацию, когда агент лучше чинит формы, но перестал справляться с входом пользователя.

Зачёт проверяет состояние продукта. Фраза агента «всё работает» не заменяет запуск проверки на его патче.

Модель-ревьюер помогает разбирать поведение. Решение об ошибке опирается на критерий, а спорные случаи разбирает инженер.

Изменившийся тест тоже нуждается в проверке. Если он отвергает допустимую починку, новый незачёт ничего не говорит о деградации модели.

РуБенч дал две разные причины недоверия к результату. Их удалось отделить, потому что сохранялись журналы и исходное состояние задачи.

Подмена относилась к продукту «Claude Code + Fable 5» в июле 2026. Это не основание обвинять нынешнюю версию или говорить о дрейфе данных.

Ошибка стартового кода действовала в обратную сторону. Агент получал уже решённую задачу, поэтому зачёт приписывал ему чужую работу.

В новой колонке сентября подмен не обнаружили в 75 траекториях. Но другой снимок и другой момент прогона не дают замера дрейфа одной закреплённой модели.

Наш опыт относится к бенчмарку и машине агентов на vibecoding.ru. Своего клиентского кейса дрейфа и повторного замера неизменной связки у нас нет.

В курсе агентной разработки разбираются задачи, правила и проверки. «Разные модели под разные задачи» означает проверку роли модели, а не смену процесса по рейтингу.

Причину разбирают до замены всего процесса. При подмене нужен контроль маршрута, при испорченном старте нужен новый валидный прогон.

На выбор в закрытом контуре распространяется тот же принцип. Размещение у себя не заменяет проверки на задачах проекта.

Подтверждённый повторяемый провал пополняет контрольные задачи. Так контроль приводит к решению и следующему прогону, а не заканчивается отчётом.

Инженер ведёт машину агентов. В работе команды с агентами он выбирает задачи, принимает риск и сохраняет решение вместе с результатами контроля.

Ссылка на тест для руководителя теперь ведёт на страницу разработки. Там можно записаться на звонок и обсудить рабочий процесс.

Если вести контроль некому, можно обсудить подписку на разработку. На 8 октября 2026 тариф «Один проект» стоит 250 000 ₽ в месяц. Контроль и приёмку согласуют на старте.