Насколько точны коэффициенты букмекеров? Калибровка и Brier score

Точность букмекерских коэффициентов проверяют по вероятностям, сохранённым до матча, и результатам, полученным после него. Важно заранее определить событие, источник котировок и время их сбора. Калибровка, Brier score и доля правильных выборов оценивают разные стороны прогноза.

Если событиям регулярно присваивается вероятность около 60%, для хорошо откалиброванного прогноза их наблюдаемая частота на достаточной выборке должна быть совместима с 60%. Это не требование к исходу следующего матча.

Посмотреть исследование рынка →

Как понимать калибровку

Возьмём много матчей, где победа хозяев оценивалась примерно в 60%. Если хозяева выиграли в 45%, вероятность этого события была завышена в данной выборке. Если в 75% — занижена. Для вывода об устойчивом отклонении нужны размер выборки и оценка случайной погрешности.

Калибровка не требует, чтобы прогноз постоянно был уверенным. При этом хорошо откалиброванный прогноз может быть малоинформативным: постоянная базовая частота иногда подходит в среднем, но не различает матчи. Поэтому дополнительно оценивают, насколько прогноз разделяет ситуации с разными шансами события.

Подготовьте вероятности для сравнения

У полного рынка 1X2 с положительным оверраундом сумма обратных коэффициентов выше 100%. Для оценки распределения вероятностей выберите и документируйте способ снятия маржи. Пошаговый расчёт содержит перевод коэффициентов в вероятность.

Положительный оверраунд не доказывает, что вероятность каждого отдельного исхода завышена относительно истинной. Метод снятия маржи распределяет её по определённому правилу; соответствие полученных оценок результатам нужно проверять отдельно.

Время котировки тоже имеет значение. Вероятности открытия и закрытия линии используют разный объём информации. Сравнивайте прогнозы при одинаковом доступе к данным и одинаковых правилах расчёта результата.

Формула Brier score

Для события «да/нет» обозначим прогноз вероятности как p. Факт y равен 1, если событие произошло, и 0, если нет. Сначала вычисляют ошибку каждого прогноза, затем среднее:

Brier = сумма (p − y)² / число прогнозов

Чем меньше значение, тем меньше ошибка по этой метрике. Прогноз 100% для неслучившегося события получает ошибку 1; правильный прогноз с полной уверенностью — 0.

Сумма ошибок равна 0,0900 + 0,1600 + 0,2025 + 0,0900 = 0,5425. Делим на четыре и получаем 0,135625, или 0,136 после округления.

При пороге 50% все четыре бинарных выбора правильны: два раза прогнозировалась победа, два раза — отсутствие победы. Brier при этом не равен нулю, поскольку вероятности не были 0 или 1. Пример объясняет арифметику; четыре специально выбранных прогноза не доказывают предсказательную силу.

Чем шкала 1X2 отличается от бинарной

Для 1X2 в каждом матче есть три вероятности, складывающиеся в 1. Индикатор реализованного исхода равен 1, два остальных — 0. В распространённой версии Brier ошибки по трём исходам суммируются, затем усредняются по матчам.

В программах встречаются разные нормировки. Перед сравнением уточняйте определение: бинарное значение нельзя напрямую сопоставлять с ненормированной суммой 1X2. Одинаковое число на разных шкалах не означает одинаковое качество.

Почему Brier — не только калибровка

На Brier влияют калибровка, разрешающая способность и исходная неопределённость события. Разрешающая способность означает умение разделять группы с разной частотой результата. Неопределённость зависит от базовой частоты события в оцениваемой совокупности.

Поэтому меньший Brier сам по себе не доказывает лучшую калибровку: улучшение может быть связано с другой составляющей. Различие описано в документации scikit-learn по калибровке, на английском языке. Для практического разбора есть калькулятор оценки вероятностей 1X2 на английском языке.

Что показывает инструмент оценки 1X2

В инструмент передаются три вероятности — П1, X, П2 — и фактический исход каждого матча. Он использует Brier как сумму трёх квадратичных ошибок на матч, то есть шкалу 0–2, а также log loss и таблицы надёжности. Проверка этих трёх исходов сама по себе не подтверждает калибровку всех ячеек точного счёта.

Основной log loss равен −ln(p фактического исхода) для исходного прогноза после нормировки суммы. Если произошедшему исходу присвоен ноль, потеря равна ∞. Инструмент отдельно показывает сравнение со сглаживанием ε = 10⁻¹⁵: все компоненты ниже ε заменяются на ε, затем весь вектор снова нормируется. Это изменённый прогноз, поэтому сглаженный результат нельзя выдавать за исходный. Brier и таблицы надёжности используют вероятности до этого сглаживания.

Какой Brier считать хорошим

Универсального порога нет: нужны событие, выборка, шкала и подходящая модель сравнения. Постоянный бинарный прогноз 50% даёт Brier 0,25 при любой последовательности результатов. Это простой ориентир, но не обязательный уровень неинформативного прогноза.

Если событие действительно происходит в 80% случаев, постоянная оценка 0,80 имеет ожидаемый Brier 0,80 × 0,20 = 0,16. При этом она не использует информацию о конкретном матче. Значение ниже 0,25 ещё не подтверждает полезный сигнал.

Сравнивайте прогноз с базовой частотой, оценённой по прошлым данным, и с вероятностями рынка без маржи — на одних и тех же матчах. Частоту, рассчитанную по результатам тестовой выборки задним числом, нельзя выдавать за ориентир, доступный до этих игр.

Как читать кривую калибровки

1. Проверяйте П1, ничью и П2 отдельно. Разделите прогнозы каждого исхода на интервалы вероятностей по заранее выбранному правилу.
2. По горизонтали отложите фактическую среднюю прогнозную вероятность внутри каждого интервала.
3. По вертикали — долю случаев, когда событие произошло.
4. Укажите количество наблюдений и неопределённость оценки в каждой группе.

На диагонали средняя вероятность совпадает с наблюдаемой частотой. Выше диагонали событие происходило чаще, чем ожидалось; ниже — реже. Малые группы сильнее колеблются. Хорошая общая средняя может скрывать противоположные ошибки у фаворитов и аутсайдеров или в разных лигах.

Что показывают исследования ImpliedScore

исследование калибровки рынка описывает ретроспективную выборку из 19 381 матча в пяти лигах. Анализ АПЛ показывает пример разбивки по соревнованию и группам фаворитизма. Исторические различия полезны для постановки гипотез, но не гарантируют сохранения эффекта в новых матчах.

трекер ЧМ-2026 содержит 104 завершённых матча. Покрытие топ-k и средняя вероятность, присвоенная фактическому исходу, отвечают на разные вопросы. Близость последней к её ориентиру не доказывает калибровку во всех диапазонах вероятностей.

Размеры выборок приведены по опубликованным страницам на 10 сентября 2026 года. Интерпретацию топ-1, топ-3 и топ-5 объясняет чтение карты вероятностей счёта. При анализе важны правила включения матчей, предматчевые срезы и определение результата.

Как сравнить модель с рынком

• Сохраняйте прогнозы до начала матча, фиксируя доступную на тот момент информацию.
• Используйте полный рынок, одинаковое время сбора котировок и единый способ снятия маржи.
• Разделяйте по времени обучение, выбор настроек и последующую проверку.
• Сравнивайте Brier на одной шкале, кривые калибровки и неопределённость различий.
• Доходность проверяйте отдельно по реально доступным ценам с учётом издержек и правил расчёта.

Модель может показать меньшую ошибку на определённой выборке, но это не означает постоянного превосходства или гарантии прибыли. методология ImpliedScore описывает подгонку к вероятностям из коэффициентов. Хорошее воспроизведение входной линии само по себе не является независимой победой над рынком.

Частые вопросы