Cramér-Rao inequality

Dina statistik, Ka-teusarua-an Cramér-Rao, ngaran keur ngahargaan ka Harald Cramér jeung Calyampudi Radhakrishna Rao, ngagambarkeun wates luhur dina présisi éstimator statistis, dumasar kana informasi Fisher.

Katangtuanna nyaéta informasi Fisher bulak balik, $ℐ(\theta )$, paraméter $\theta$, mangrupa wates handap variance paraméter éstimator unbiased (dilambangkeun $\hat{\theta }$).

$\mathrm{v}\mathrm{a}\mathrm{r}\left(\hat{\theta }\right)\ge \frac{1}{ℐ(\theta )}=\frac{1}{\mathrm{E}\left[{[\frac{\partial }{\partial \theta }\log f(X;\theta )]}^2\right]}$

Dina sababaraha kasus, taya unbiased éstimator kapanggih dina wates handapna.

Cramér-Rao inequality disebut ogé Cramér-Rao bounds (CRB) atawa Cramér-Rao lower bounds (CRLB) sabab dicokot tina wates handap variance $\hat{\theta }$.

Bukti

Anggap variabel random X, mibanda probability density function f(x,θ). Di dieu T = t(X) nyaéta statistic dipaké salaku estimator keur θ. Lamun V mangrupa score, nyaéta

$V=\frac{\partial }{\partial \theta }\log f(X;\theta ).$

mangka expectation V, ditulikeun E(V), sarua jeung. Lamun urang nganggap covariance cov(V, T) V sarta T urang mibanda cov(V, T) = E(VT) sabab ekspektasi V sarua jeung zero. Ngalegaan tina rumus ieu urang mibanda

$\mathrm{c}\mathrm{o}\mathrm{v}(V,T)=E(T\cdot \frac{\partial }{\partial \theta }\log f(X;\theta )).$

Ieu bisa dilegaan ku ngagunakeun identitas

$\frac{\partial }{\partial \theta }\log Q=\frac{1}{Q}\frac{dQ}{d\theta }$

sarta harti ekspektasi nu dibérékeun, sanggeus nunda f(x; θ),

$\int t(x)\{\frac{\partial }{\partial \theta }f(x;\theta )\}dx.$

Ayeuna lamun turunan ditukerkeun ku integral, mangka ieu ngan sakadar turunan (wrt θ) tina ekspektasi t(X), atawa

$\frac{\partial }{\partial \theta }E(T).$

Sabab T mangrupa unbiased, ekspektasi-na θ; we are left with 1.

Cauchy-Schwarz inequality nembongkeun yen

$\mathrm{v}\mathrm{a}\mathrm{r}T\times \mathrm{v}\mathrm{a}\mathrm{r}V\ge \mathrm{c}\mathrm{o}\mathrm{v}(V,T)=1,$

mangka dina kasus ieu

$\mathrm{v}\mathrm{a}\mathrm{r}T\ge \frac{1}{\mathrm{v}\mathrm{a}\mathrm{r}V}=\frac{1}{I(\theta )}$

di mana I(θ) mangrupa Fisher information. Ieu mangrupa kateusaruaan Cramér-Rao; aya di wates dina varian tina unbiased éstimators.

Efisiensi T dihartikeun ku

$e(T)=\frac{1/I(\theta )}{\mathrm{v}\mathrm{a}\mathrm{r}T}$

atawa varian minimum nu mungkin keur unbiased éstimator dibagi ku varian nu sabenerna. Mangka wates handap Cramér-Rao dibérékeun ku e(T) ≤ 1.