1. Brier Score — квадрат ошибки вероятности

Для бинарного события из вероятности вычитается результат: 1, если событие произошло, и 0, если нет. Разница возводится в квадрат, после чего ошибки усредняются по выборке.

Чем ниже значение, тем лучше. Если событию дали 70% и оно произошло, ошибка равна (0,70 − 1)² = 0,09. Если не произошло — (0,70 − 0)² = 0,49.

  • Прогноз 50%, событие произошло → 0,25
  • Прогноз 70%, событие произошло → 0,09
  • Прогноз 90%, событие не произошло → 0,81

2. Уверенность меняет штраф

Ошибочная высокая вероятность получает намного больший штраф, чем осторожная ошибка. Поэтому метрика полезна для сервисов, публикующих вероятности, а не только название выбранного исхода.

При этом значение сравнивается с релевантной базовой моделью и одинаковым типом событий.

3. Калибровка проверяет смысл процентов

Сгруппируйте сопоставимые прогнозы по диапазонам и сравните среднюю оценку с реальной частотой. Если события с вероятностью около 70% происходят примерно семь раз из десяти на большой выборке, диапазон близок к калиброванному.

Небольшие выборки сильно колеблются. Таблица калибровки должна показывать количество наблюдений в каждом диапазоне.

4. Калибровка не равна полезности

Модель, всегда выдающая базовую частоту, может выглядеть калиброванной, но почти не различать события. Для полезности важна разрешающая способность: действительно ли вероятности меняются между более и менее вероятными исходами.

При сравнении с рынком можно использовать прозрачную базу — например, очищенные от маржи вероятности, зафиксированные в одинаковый момент.

5. Для нескольких исходов нужно объявить формулу

Футбольный 1X2 содержит три исхода. Можно сложить квадраты ошибок вероятностей П1, X и П2, но способ масштабирования следует указать, чтобы значения сравнивались корректно.

Тоталы и форы считаются бинарными только при последовательной обработке возвратов, отмен и правил расчёта.

6. Достоверный отчёт показывает всю выборку

Публикуйте период, число рассчитанных прогнозов, исключения, формулу и результаты по диапазонам вероятности. Ошибки и возвраты должны оставаться видимыми.

Brier Score, калибровка, точность и сравнение с рынком отвечают на разные вопросы. Вместе они информативнее одной удобной цифры.