1. Фиксируйте прогноз до события

Сохраняйте событие, рынок, вероятность, коэффициент, время публикации и версию модели до начала. Изменение записи после результата создаёт ошибку знания задним числом.

Оставляйте видимыми выигрыши, проигрыши, возвраты и исключения. Правило исключения формулируется до того, как известен итог.

2. Отделяйте обучение от будущей проверки

Спортивные данные упорядочены во времени. Реалистичная проверка настраивает модель на более ранней информации, а измеряет на последующих событиях, не использованных при выборе параметров.

Случайное смешивание будущих и прошлых наблюдений может дать утечку. Скользящая или walk-forward проверка ближе к реальной эксплуатации.

3. Используйте несколько метрик

Accuracy показывает долю правильных классов. Brier Score измеряет квадрат ошибки вероятности, а log loss особенно сильно штрафует ошибочную высокую уверенность.

Калибровка сопоставляет заявленные проценты с реальной частотой. Ни одна цифра одновременно не описывает различимость, уверенность, правила расчёта и практическую полезность.

  • Accuracy → правильные исходы
  • Brier Score → ошибка вероятности
  • Log loss → штраф за уверенные ошибки
  • Калибровка → соответствие процентов частотам

4. Сравнивайте с понятными базами

Используйте историческую частоту, простую модель базового уровня и, когда это уместно, очищенную от маржи рыночную вероятность, зафиксированную в одинаковый момент.

Если сложная модель не улучшает прозрачную базу, дополнительная сложность может не давать новой прогнозной информации.

5. Показывайте размер выборки и неопределённость

Короткий период сильно зависит от случайности, особенно для редких исходов и узких рынков. Публикуйте число наблюдений по спорту, рынку и диапазону вероятности.

Доверительные интервалы или bootstrap-диапазоны показывают, насколько неопределённой остаётся разница. Это честнее, чем объявлять результат одной выборки постоянным свойством.

6. Следите за дрейфом после запуска

Сила команд, структура соревнований, источники данных и поведение рынков меняются. Анализируйте качество по периодам и версиям, а не объединяйте всю историю без границ.

Задокументированный процесс обновления модели помогает отличить реальное изменение от выборочного отчёта.

7. Результаты и EV измеряют разные уровни

Метрики прогноза оценивают качество вероятности. Expected Value добавляет цену и поэтому зависит от времени, маржи и правил расчёта.

Прозрачный отчёт показывает и прогнозный, и ценовой уровень, не превращая ни один из них в гарантию.