Соревнование Pokemon TCG AI Battle фактически завершилось 16 августа, когда участники перестали отправлять новые решения. Несмотря на отсутствие обновлений кода, организаторы продолжают ежедневно публиковать дампы сыгранных партий. Это создало уникальное окно для проверки гипотез: теперь меняется только жеребьевка, а не поведение агентов.

Реальный прогресс против шума

Анализ данных показал, что средний счет лучшего агента за неделю после заморозки вырос на 56,4 очка (с 1248,30 до 1304,69). Тест Уэлча подтвердил, что это статистически значимое движение, а не случайный шум. Однако этот рост не является рекордом: текущий верхний показатель в 1335,04 очков — это лишь возврат к уровню начала июля после летнего спада.

Другая гипотеза о том, что поле «догоняет» лидера, не подтвердилась. Разрыв между лидером и серединой таблицы, который сокращался до июля, начал расти еще до заморозки — с 92,15 до 238,71 очка. Прирост в 159% произошел в период, когда участники еще могли вносить изменения в код, а изменения после 16 августа статистически неотличимы от шума.

Ловушка метрики эпизодов

Важным открытием стала ошибка в интерпретации индекса эпизодов. Наблюдаемое падение числа эпизодов на 40,5% (с 7819 до 4655) не означает, что участники стали меньше играть. На самом деле объем ежедневного дампа строго ограничен 20 гигабайтами. Количество эпизодов падает только потому, что сами партии стали длиннее: за два месяца средний размер одной партии вырос с 2,746 МБ до 4,613 МБ.

Математическая корреляция между числом эпизодов и их размером составляет почти минус единицу, что является следствием деления константы на переменную. Для корректного анализа данных в подобных соревнованиях необходимо нормировать показатели по байтам, а не по количеству игровых сессий.

Разрыв между таблицей и дампом

При сравнении публичной таблицы и ежедневных дампов обнаруживается существенное различие. Медиана публичной таблицы составляет 615,6 очка, в то время как медиана в дневном дампе — 1086,06. Это объясняется тем, что дамп отражает активность «верхней» части поля, которая играет наиболее часто. Более того, дневной результат лидера иногда превышает лучший результат во всей общей таблице, что указывает на различие в популяциях данных.