Información de Fisher

En Estadística y teoría de la información, la información de Fisher es la varianza de la puntuación (derivada logarítmica) asociada con una función de verosimilitud dada. La información de Fisher, llamada así por el famoso genetista y estadístico Ronald Fisher, puede ser interpretada como la cantidad de información contenida por una variable aleatoria observable X {\displaystyle \ X} , relativa a un parámetro no observable ϑ {\displaystyle \ \ vartheta } , en la que la distribución de probabilidad de χ {\displaystyle \ chi } . Denotando la información de Fisher con Me ( ϑ ) {\displaystyle \{\mathcal {i}} (\vartheta)} , dado que el valor esperado de la puntuación es cero, su varianza es igual a su momento de segundo orden, de modo que: donde f ( X ; ϑ ) {\displaystyle \ f (X; \ vartheta)} denota la función de verosimilitud. Una escritura equivalente es: es decir, el valor esperado de la derivada dependiendo de la función de verosimilitud con respecto a ϑ {\displaystyle \ \ vartheta } ; Por lo tanto, la información de Fisher puede leerse como una medida de la curvatura de la verosimilitud en la estimación de verosimilitud máxima para ϑ {\displaystyle \ \ vartheta } . Una probabilidad plana, con una segunda derivada modesta, resultará en menos información, mientras que una curva más grande traerá una mayor cantidad de información.

La información de Fisher es aditiva, en el sentido de que la información sobre dos experimentos independientes es la suma de la información asociada con cada uno de ellos: el resultado desciende inmediatamente del hecho de que la varianza de la suma de dos variables aleatorias independientes es la suma de sus varianzas. El resultado se desprende del criterio de factorización para la suficiencia de una estadística: si T ( ⋅ ) {\displaystyle \ T(\cdot)} es una estadística suficiente para ϑ {\displaystyle \ \ vartheta } entonces hay dos funciones Gram ( ⋅ ) {\displaystyle \ g (\cdot)} , h ( ⋅ ) {\displaystyle \ h (\cdot)} tal que: (véase el artículo suficiencia (estadísticas) para una explicación más detallada) De ello se desprende que la información contenida en una muestra aleatoria de y {\displaystyle \ n} comentarios independientes es igual a y {\displaystyle \ n} la información contenida en una sola observación. La información de Fisher contenida por una estadística suficiente es la misma que la contenida en toda la muestra X {\displaystyle \ X} sobre el que se calcula la estadística. La igualdad de la información de Fisher entonces desciende de: desde h ( X ) {\displaystyle \ h (X)} no depende de ϑ {\displaystyle \ \ vartheta } . En general, además, si T = t ( X ) {\displaystyle \ T = T (X)} es una estadística, entonces: donde la igualdad solo se aplica para estadísticas suficientes. La desigualdad de Cramér-Rao establece un vínculo entre la información de Fisher y la varianza de un estimador correcto; en particular, dado un estimador correcto para el parámetro ϑ {\displaystyle \ \ vartheta } , ϑ ^ {\displaystyle \{\hat {\vartheta }}} : .

La información de Fisher asociada se puede calcular de la siguiente manera: A {\displaystyle \ A} el número de "éxitos" , y B {\displaystyle \ B} el número de "fracasos" , con obviamente: y = A + B {\displaystyle \ n = A + B} ; entonces: el resultado está de acuerdo con la intuición sobre la naturaleza del problema bajo consideración, ya que Me ( ϑ ) {\displaystyle \ {\mathcal {i}} (\vartheta)} es en este caso el recíproco de la varianza de la media de y {\displaystyle \ n} Comentarios de Bernoullian Considere el caso de una muestra de y {\displaystyle \ n} observaciones bernoullianas independientes, cada una con una probabilidad de "éxito" ϑ {\displaystyle \ \ vartheta } .

En el caso de que haya un vector de parámetros θ = ′ ∈ R d {\displaystyle \ {\boldsymbol {\theta }}={\begin{bmatrix}\vartheta _{1}& \vartheta _{2}& \cdots & \vartheta _{d}\end{bmatrix}}''\in \mathbb {R} ^{d}} , La información de Fisher es una matriz cuadrada de dimensión d {\displaystyle \ d} , con elemento ( m , y ) {\displaystyle \ (m, n)} definido por: la información de Fisher es en este caso, también, una matriz simétrica, así como definida positiva, y define una métrica en el espacio de parámetros; estas últimas consideraciones caen dentro del alcance de la geometría diferencial (Véase también métrica de información de Fisher) Considerando un vector aleatorio x ∼ Y ( μ ( θ ) , Σ ( θ ) ) {\displaystyle \ \mathbf {x} \sim {\mathcal {N}}\left(\mu ({\boldsymbol {\theta }}), \Sigma ({\boldsymbol {\theta }})\derecho)} Tamaño Y {\displaystyle \ N} , La matriz de información de Fisher asociada tiene para el elemento de orden genérico ( m , y ) {\displaystyle \ (m, n)} : donde: y tr ( ⋅ ) {\displaystyle \ {\textrm {tr}} (\cdot)} denota el operador de seguimiento de matriz

Junto a la información Fisher, también llamada información en espera, se define la información observada, como lo contrario de la segunda derivada del log - verosimilitud calculada en correspondencia con la estimación de máxima verosimilitud: un nivel de interpretación podemos decir que la información en espera, que depende del parámetro, pero no de la muestra, es una medida de la información transportada por una muestra genérica para el experimento dado, mientras que la información observada, que depende solo de la muestra, mide la información transportada por la muestra observada Bajo supuestos apropiados, la información observada es un estimador consistente de la información esperada.

Inferencia estadística

Teorías de la Informática

Matemáticas de información y comunicación

Benchmark (Ciencias de la computación)

El término benchmark significa un conjunto de pruebas (testing o testing) de software destinadas a proporcionar una medida del rendimiento de un ordenador con r...

Campeón de Bernoullian

En Estadística definimos muestras bernoullianas aquellas muestras que se obtienen, en una encuesta por muestreo, cuando las unidades de la población se extraen ...

Teoría de la probabilidad

Esta página se basa en el artículo de Wikipedia: Fuente, Autores, Licencia Creative Commons Reconocimiento-CompartirIgual.
This page is based on the Wikipedia article: Source, Authors, Creative Commons Attribution-ShareAlike License.
contactos
Política de privacidad , Descargos de responsabilidad