Foro de elhacker.net

Buenas Noches.

¿Por casualidad hay algún matemático en en Foro?

Matemático lo que es decir matemático, no creo que haya... pero gente que sabe algo de matemáticas si hay, ademas de que aquí contamos con el profesor Google que siempre está disponible para prestarnos su ayuda si sabemos hacer la pregunta adecuadamente...


Fuente: https://www.i-ciencias.com/pregunta/140542/como-calcular-la-puntuacion-de-brier-para-mas-de-dos-clases


 :rolleyes: :o :rolleyes:

Hola, me parece que kub0x sabe mucho de matemáticas.


Saludos

Desarrollo el tema.

La Puntuación de Brier es una Regla de Puntuación con la que se puede evaluar lo precisas que son las previsiones hechas en relación a los resultados (finales) reales.

Se calcula restando de la probabilidad el resultado real, y elevándolo al cuadrado.
Pongamos que hay un 70% (0,7 de 1) de que haya niebla y al final la hay.

1-> hay niebla 0-> no hay niebla

Hay niebla.

(0,7 -1)^2= 0,09 Brier


Si hay un 70% de que haya niebla, tiene que haber un 30% de que no haya niebla.
Calculo la puntuación de Brier del 30%, no habiendo niebla.

(0,3-0)^2=0,09  Algo estoy haciendo mal o no me entero.

Hola B€T€B€,

la puntuación de Brier (o Brier Score para los guiris) como bien dijeron por ahí es lo mismo que el mean squared error en el caso unidimensional, que es el que manejas en tu ejemplo.

Concretamente, en tu caso, Brier aplicado a una condición binaria, es decir, llueve o no llueve. Es el caso más simple en la teoría. Pero existe la posibilidad de enlazar probabilidades (predicción) y de resultados "reales" (forecast), de hecho la formulación original de Brier va por ahí.

Por lo tanto,

Llueve: (0.7 -1)^2 = 0.09
No llueve : (0.7 - 0)^2 = 0.49 (Aquí estaba tu error jeje) Es decir, 70% de que llueva pero no llueve, por eso tomamos el 0.7 por la predicción del 70%.

Es decir, podríamos hacer (0.3 - 1)^2 = (0.7 - 0)^2 ya que 30% de que NO llueva y llueve es (0.3-1)^2 en forma de Brier y es lo mismo que el calculo de "No llueve" anterior. Magia borrás XD

Naturalmente, cuanto menor sea el resultado, más ajustada es nuestra predicción sobre el fenómeno (o conjunto de datos) observado.

Espero que te haya servido. Un saludo.

Te entiendo, pero sigo sin poder resolver mi problema.
Te explico.

(https://i.imgur.com/jCrWwoj.jpg)

Probabilidad de que llueva/no llueva
10/90
25/75
etc

El color amarillo de las celdas indica lo al final ocurrió.
¿Cómo rellenarías tú las dos columnas (respectivas puntuaciones de Brier) de la derecha en función de lo acontecido?

https://foro.rinconmatematico.com/index.php?board=21.0

Esto es el contenido de un mensaje privado que he enviado a B€T€B€, pero lo dejo por aquí por si a alguien más le sirve la explicación:

Y el resultado es este.


(https://i.imgur.com/3BbduEO.jpg)

La columna de la derecha es correcta, la de la izquierda no. Brier score para SI y para NO es simétrico cuando Probablidad_SI=Probabilidad_NO. Entonces, es imposible que la celda del SI y la del NO den mismo valor, a no ser que ambas probabilidades sean iguales.

Saludos.

 SI       NO

10%    90%


* No llovió.
--------------------------------------------------------------------------

¿Tú cómo lo calcularías?

Tomando la probabilidad del si del 10%:

Brier score para SI ->
Brier score para NO->

Otra forma de calcular, tomando la probabilidad del NO del 90%:

Brier score para SI ->
Brier score para NO->

Para no liarte, siempre toma la probabilidad del SI como referencia, así restas el 1 para Brier score del SI y 0 para el Brier del NO.

Saludos.

¿Y eso cómo lo trasladas a la tabla?
*Si es que es factible hacerlo.
Que es lo que intento.

(https://i.imgur.com/jCrWwoj.jpeg)

Después de darlo muchas vueltas creo que lo que planteo (tal y como lo he hecho) no es factible.
Lo último que deseo es dar la sensación de que soy un vago y quiero que me lo den hecho.

Creo que la única forma de hacerlo es calcular la puntuación de Brier sobre una de las dos columnas (como dice kub0x) y el resultado obtenido será la puntuación de Brier con la que rellenar las "dos" columnas de la derecha.
Esa es la solución o es que soy muy tonto.

De cualquier otra forma la puntuación de Brier para cada columna sería diferente de la otra, y después de mucho pensarlo no me cuadra.
Al fin y al cabo la puntuación de Brier sirve para saber lo (bien o mal) calibrada que esta una predicción.
Con lo cual (independientemente del resultado final) si está bien calibrada lo será en ambas columnas, y al revés.
--------------------------------------------------------------------------
SI   NO
10   90

*No llueve.

Cogemos la columna del No.
(0,90-1)2= 0,01 P. Brier

Cogemos la columna del Si.
(0,10-0)2= 0,01 P. Brier

En este caso la P. Brier es muy próxima a 0 e indica que el pronóstico era bueno.
Como digo es acertado; el conjunto del pronostico.
Porque lo que no puede ser es que sea acertado para el SI y erróneo para el NO.
Quedaría así.


(https://i.imgur.com/szg1pkK.png)

Hola B€T€B€, ha pasado tiempo espero que hayas resuelto tu duda.

Las dos columnas son iguales porque estás introduciendo el campo amarillo que denota "lo ocurrido". Por lo tanto no nos interesa el caso contrario. Supongo que eso es lo que quieres.

Otra cosa es que el campo amarillo no exista, por lo tanto las dos columnas serían desiguales, es decir, la primera restas 1 a la probablidad del SI y luego 0 a la misma probabilidad del SI.

Saludos.

Lo que yo decía.

Gracias.