Quão precisas são as odds? Calibração e o Brier score

As odds produzem estimativas que podem ser comparadas com resultados, mas sua precisão não cabe em uma única taxa de acerto. Você precisa saber qual evento foi previsto, com que probabilidade e em que momento. Depois, pode avaliar calibração e qualidade probabilística em jogos que ainda não tinham ocorrido.

Se um conjunto de eventos recebeu probabilidades próximas de 60%, uma previsão calibrada deve ser compatível com uma frequência de ocorrência próxima de 60% em uma amostra suficiente. Isso não significa que o evento precisa acontecer no próximo jogo.

O que significa calibração

Imagine muitas previsões de vitória da casa próximas de 60%. Se a frequência observada for 45%, as previsões superestimaram a probabilidade desse evento naquela amostra. Se for 75%, subestimaram. Antes de concluir que há um padrão persistente, considere o número de jogos e a incerteza.

Uma previsão pode ser calibrada e pouco informativa. Dar sempre a taxa histórica de um evento pode funcionar bem em média, mas não distinguir partidas fáceis de difíceis. Uma avaliação útil também verifica se as previsões separam situações com frequências diferentes e se esse desempenho se mantém fora da amostra de ajuste.

Primeiro, remova a margem de maneira consistente

Em um mercado 1X2 com overround positivo, as probabilidades brutas obtidas por 1/odd somam mais de 100%. Para comparar uma distribuição de probabilidades com os resultados, defina um método de retirada da margem, como o proporcional explicado em como converter odds em probabilidade.

O overround positivo não prova que cada resultado individual está superestimado em relação à sua probabilidade real. O método de devig distribui a margem conforme uma hipótese; a calibração das estimativas resultantes ainda precisa ser avaliada. Registre também se as odds são de abertura, de fechamento ou de outro horário fixo.

Como calcular o Brier score

Para um evento binário, use p como probabilidade prevista e y como resultado: 1 quando o evento ocorre e 0 quando não ocorre. Calcule o erro quadrático em cada jogo e tire a média:

Brier binário = soma de (p − y)² / número de jogos

Valores menores indicam menor erro nessa medida. A previsão de 100% para um evento que não ocorre recebe erro 1; uma previsão correta com certeza recebe 0.

Os erros somam 0,0900 + 0,1600 + 0,2025 + 0,0900 = 0,5425. Dividindo por quatro, o Brier é 0,135625, ou 0,136 arredondado.

Com o limiar de 50% para escolher “ocorre” ou “não ocorre”, as quatro escolhas estão corretas. Mesmo assim, o Brier não é zero, pois as probabilidades não eram certezas. Esse conjunto foi escolhido para explicar a conta; quatro exemplos não demonstram capacidade preditiva.

Brier binário e Brier 1X2 usam convenções diferentes

No 1X2, cada jogo tem três probabilidades que somam 1 e três indicadores de resultado: um vale 1 e os outros, 0. Uma convenção comum soma os três erros quadráticos antes de calcular a média entre jogos.

Alguns programas usam outras normalizações; leia a definição antes de comparar. Um Brier de um evento binário não deve ser comparado diretamente com a soma não normalizada dos três resultados do 1X2.

O Brier não mede somente calibração

O Brier combina aspectos de calibração, resolução e incerteza do evento. Resolução é a capacidade de separar grupos com frequências de ocorrência diferentes. A incerteza de base depende da frequência do evento na população avaliada. Por isso, um Brier menor não demonstra, sozinho, melhor calibração.

A calculadora de avaliação de probabilidades 1X2, em inglês permite explorar esses conceitos. A cobertura dos placares top-1, top-3 e top-5 responde a uma pergunta diferente: se o resultado caiu em um conjunto selecionado.

Para a distinção entre erro probabilístico e calibração, consulte também a documentação de calibração do scikit-learn, em inglês.

O que a ferramenta 1X2 avalia

A ferramenta recebe três probabilidades — casa, empate e fora — e o resultado observado de cada jogo. Ela usa Brier como a soma dos três erros quadráticos por jogo, na escala 0–2, além de log loss e tabelas de confiabilidade. Avaliar esses três resultados não comprova, por si só, a calibração de todas as células de placar exato.

O log loss principal é −ln(p do resultado observado), calculado com a previsão original após normalizar a soma. Se o resultado ocorrido recebeu probabilidade zero, a perda é ∞. A ferramenta mostra separadamente uma comparação suavizada com ε = 10⁻¹⁵: componentes abaixo de ε são elevados a ε e o vetor completo é renormalizado. Isso transforma a previsão; o resultado suavizado não deve ser apresentado como o original. Brier e tabelas de confiabilidade usam as probabilidades antes dessa suavização.

O que é um bom Brier score?

Depende do evento, da amostra, da escala e da referência. Prever sempre 50% para um evento binário gera Brier 0,25 em qualquer sequência de resultados. Isso é uma referência simples, não um limite universal de qualidade.

Se a taxa real de ocorrência for 80%, uma previsão constante de 0,80 tem Brier esperado de 0,80 × 0,20 = 0,16, mesmo sem informação específica sobre os jogos. Portanto, obter menos de 0,25 não basta para demonstrar valor informativo.

Compare o modelo com a taxa de base estimada em dados anteriores e com as probabilidades de mercado sem margem, usando exatamente os mesmos jogos e horários de informação. Não estime a referência retrospectivamente com os próprios resultados de teste e depois a apresente como previsão disponível antes das partidas.

Como ler uma curva de calibração

1. Examine casa, empate e fora separadamente. Agrupe as previsões de cada resultado em faixas de probabilidade, com limites definidos de forma consistente.
2. No eixo horizontal, use a probabilidade média efetiva de cada grupo.
3. No eixo vertical, use a frequência observada do evento nesse grupo.
4. Mostre o número de previsões e a incerteza de cada estimativa.

A diagonal representa igualdade entre previsão média e frequência. Acima dela, o evento ocorreu mais do que o previsto; abaixo, ocorreu menos. Grupos pequenos oscilam mais. Uma boa média geral também pode esconder erros opostos em favoritos, azarões, ligas ou períodos, então examine divisões relevantes sem selecionar somente as que favorecem uma conclusão.

O que os estudos da ImpliedScore permitem observar

O estudo de calibração do mercado apresenta uma análise retrospectiva de 19.381 jogos em cinco ligas, com recortes por mercado e perfil de favoritismo. A análise da Bundesliga é um exemplo de detalhamento por liga. Diferenças históricas podem orientar hipóteses, mas não provam que uma correção continuará funcionando em novos jogos.

O rastreador de placares da Copa 2026 reúne 104 partidas encerradas. Seus agregados de cobertura top-k e de probabilidade atribuída ao resultado real são diagnósticos distintos. A proximidade entre uma média observada e um benchmark não basta para declarar calibração em todas as faixas de probabilidade.

Os tamanhos das amostras acima são os publicados nas páginas consultadas em 10 de setembro de 2026. Este guia explica como interpretar as medidas; não apresenta uma nova validação dos dados brutos desses estudos.

Como comparar um modelo com o mercado

• Congele previsões antes do jogo e mantenha o mesmo horário de coleta das odds.
• Use mercados completos, regras de liquidação iguais e um método de devig documentado.
• Separe cronologicamente ajuste, escolha de parâmetros e teste futuro.
• Compare os mesmos jogos com referências úteis, Brier na mesma escala, curva de calibração e incerteza das diferenças.
• Avalie retorno financeiro separadamente, usando preços realmente disponíveis e custos aplicáveis.

Um modelo pode superar uma referência em uma avaliação definida. Isso não implica superioridade permanente, nem que haverá uma oportunidade de aposta lucrativa. A metodologia da ImpliedScore descreve como o site transforma preços em probabilidades de placar; reproduzir bem esses preços também não constitui um teste independente contra o mercado.

Perguntas frequentes