01PRA1:Kapitola7

Z WikiSkripta FJFI ČVUT v Praze
Přejít na: navigace, hledání
PDF [ znovu generovat, výstup z překladu ] Kompletní WikiSkriptum včetně všech podkapitol.
PDF Této kapitoly [ znovu generovat, výstup z překladu ] Přeložení pouze této kaptioly.
ZIPKompletní zdrojový kód včetně obrázků.

Součásti dokumentu 01PRA1

součástakcepopisposlední editacesoubor
Hlavní dokument editovatHlavní stránka dokumentu 01PRA1Karel.brinda 4. 10. 201022:39
Řídící stránka editovatDefiniční stránka dokumentu a vložených obrázkůAdmin 7. 9. 201513:49
Header editovatHlavičkový souborKarel.brinda 8. 3. 201118:28 header.tex
Kapitola0 editovatPředmluvaAdmin 4. 8. 201009:45 predmluva.tex
Kapitola1 editovatMotivaceValapet2 5. 3. 201619:43 kapitola1.tex
Kapitola2 editovatAxiomatická definice pravděpodobnostiPitrazby 18. 2. 201200:46 kapitola2.tex
Kapitola3 editovatDiskrétní náhodné veličinySnilard 8. 3. 201100:55 kapitola3.tex
Kapitola4 editovatAbsolutně spojitá rozděleníPitrazby 18. 2. 201201:06 kapitola4.tex
Kapitola5 editovatCharakteristiky náhodných veličinJakub.flaska 1. 8. 201016:49 kapitola5.tex
Kapitola6 editovatLimitní věty teorie pravděpodobnostiPitrazby 18. 2. 201201:30 kapitola6.tex
Kapitola7 editovatStatistikaJakub.flaska 1. 8. 201017:22 kapitola7.tex

Vložené soubory

soubornázev souboru pro LaTeX
Soubor:01PRA1_kap1_Uloha_na_nedeli.pdf 01PRA1_kap1_Uloha_na_nedeli.pdf
Soubor:01PRA1_kap1_Buffonuv_problem.pdf 01PRA1_kap1_Buffonuv_problem.pdf
Soubor:01_PRA1_kap1_Bertranduv_paradox.pdf 01PRA1_kap1_Bertranduv_paradox.pdf

Zdrojový kód

%\wikiskriptum{01PRA1}
\section{Statistika}
\subsection{Úvod}
V následujícím textu budeme jako $ N $ označovat libovolné přirozené číslo nebo $ +\infty $.
 
\begin{definition}
Buďte $ \left( X_j \right)_{j=1}^{N} $ náhodné veličiny na prostorech $ \left(\Omega_j,\mathcal{A}_j, \mathrm{P}_j \right) $ s rozděleními $ \mathrm{P}^{X_j} = \mathrm{P} \circ X_j^{-1} $. Definujme nyní
$$ \Omega^{(N)} = \times_{j=1}^{N} \Omega_j $$
$$ \mathcal{A}^{(N)} = \bigotimes_{j=1}^{N} \mathcal{A}_j \stackrel{d}{=} \sigma\left( \times_{k=1}^{l} \mathcal{A}_{j_k}\ :\ l \in \widehat{N} \right) = \sigma \left( \times_{k=1}^{l} A_{j_k}\ :\ A_{j_k} \in \mathcal{A}_{j_k},\ l \in \widehat{N} \right) $$
$$ \mathrm{P}^{(N)} = \mathrm{P}_1 \otimes \cdots \otimes \mathrm{P}_N $$
přičemž $ \mathrm{P}^{(N)} $ je taková pravděpodobnostní míra na prostoru $ \left( \Omega^{(N)}, \mathcal{A}^{(N)} \right) $, pro kterou platí
$$ \mathrm{P}^{(N)} \left( \times_{k=1}^{l} A_{j_k} \right) = \prod_{k=1}^{l} \mathrm{P}_{j_k} \left( A_{j_k} \right) $$
\end{definition}
 
Víme tedy, že existuje přirozené prodloužení $ \left( \widetilde{X}_j \right)_{j=1}^{N} $ na prostoru $ \left(\Omega^{(N)}, \mathcal{A}^{(N)}, \mathrm{P}^{(N)} \right) $. Tudíž $ j-$tý prvek zachovává vlastnosti $ j- $tého původního prvku a současně $ j- $tá pravděpodobnost zachovává vlastnosti $ j- $té původní pravděpodobnosti.
 
\begin{note}
V předchozí definici nelze $ \sigma- $algebru $ \mathcal{A}^{(N)} $ nadefinovat jako 
$$ \mathcal{A}^{(N)} = \times_{j=1}^{N} A_j\ \ \ \ A_j \in \mathcal{A}_j\ j \in \widehat{N} $$
protože to by nebyla $ \sigma-$algebra.
\end{note}
 
\begin{theorem}
Buďte $ \left(X_j\right)_{j=1}^{N} $ náhodné veličiny a $ \left(\widetilde{X}_j\right)_{j=1}^{N} $ buď jejich přirozeným prodloužením. Potom
\begin{enumerate}
\item $ \left(\widetilde{X}_j\right)_{j=1}^{N} $  jsou nezávislé
\item $ \mathrm{P}^{\widetilde{X}_j} = \mathrm{P}_j^{X_j} $ pro $ \forall j \in \widehat{N} $, tj.
$$ \forall B \in \mathcal{B}\ \forall j \in \widetilde{N}\  \mathrm{P}^{\widetilde{X}_j}(B) = \mathrm{P}^{X_j}(B) $$
\end{enumerate}
\end{theorem}
 
\begin{proof}
Nejdříve dokážeme stejnost rozdělení. Volme $ B_j \in \mathcal{B},\ j \in \widehat{N} $ libovolně. Potom
$$ \left\{ X_j \in B_j \right\} = \mathrm{P} \left( \Omega_1 \times \Omega_2 \times \cdots \times \Omega_{j-1} \times \left\{ X_j \in B_j \right\} \times \Omega_{j+1} \times \cdots \Omega_{N} \right) = $$
$$ = 1 \cdot 1 \cdots 1 \cdot \mathrm{P}\left( X_j \in B_j \right) \cdot 1 \cdots 1 \cdot 1 = \mathrm{P}_j \left( X_j \in B_j \right) = \mathrm{P}^{X_j}\left( B_j \right) $$
a nyní nezávislost. Chceme ukázat, že sdružená pravděpodobnost
$$ \mathrm{P}\left(X_{j_1} \in B_{j_1},X_{j_2} \in B_{j_2},\dots,X_{j_l} \in B_{j_l}\right) $$
je stejná jako součin pravděpodobností, a to lze velice jednodue ukázat přes kartézský součin (stejně jako u stejnosti rozdělení), tj.
$$ \mathrm{P}\left( \widetilde{X}_{j_k} \in B_{j_k} \right) = \mathrm{P}^{(N)}\left( \Omega_1 \times \cdots \times \Omega_{j_{k - 1}} \times \left\{ X_{j_k} \in B_{j_k} \times \Omega_{j_{k+1}} \right\} \times \cdots \times \Omega_{j_l} \right) $$
ale průnik takovýchto kartézských součinů je opět kartézský součin, a tedy
$$ \mathrm{P}^{(N)} \left( X_{k=1}^{N} \left\{X_{j_k} \in B_{j_k} \right\} \right) = \prod_{k=1}^{l} \mathrm{P}\left(X_{j_k} \in B_{j_k} \right) = \prod_{k=1}^{l} \mathrm{P}^{(N)} \left( \widetilde{X}_{j_k} \in B_{j_k} \right) $$
\end{proof}
 
\begin{note}[Komentář Kůse]
V předchozí větě jsem někde něco moc urychlil, takže je tam někde nějaký problém.
\end{note}
 
\begin{dusledek}
\
\begin{enumerate}
\item Pokud označíme $ \mathrm{P}^{X_j} = \mathrm{P}^{X} $, potom $ \left( \widetilde{X}_j \right)_{j=1}^{N} $ jsou nezávislé a mají stejné rozdělení (jsou i.i.d. s $ \mathrm{P}^{X} $).
\item Pokud $ X_j \sim \mathrm{P}^X $ pro $ \forall j \in \widehat{N} $ a současně
$$ \left( \Omega_j, \mathcal{A}_j, \mathrm{P}_j \right) = \left( \Omega, \mathcal{A}, \mathrm{P} \right)$$
potom jsou $ \left( \widetilde{X}_j\right)_{j=1}^{N} $ i.i.d. náhodné veličiny na prostoru $ \left(\Omega^{(N)},\mathcal{A}^{(N)},\mathrm{P}^{(N)} \right) $, který budeme v následujícím textu (pro matení čtenáře) značit $ \left(\Omega,\mathcal{A},\mathrm{P}\right) $.
\end{enumerate}
\end{dusledek}
 
\subsection{Statistika - základní pojmy a definice}
Statistika sice využívá modelu z předchozího důsledku, ale jednotlivým částem prostoru $ \left(\Omega,\mathcal{A},\mathrm{P}\right) $ přiřazuje mírně odlišný význam.
 
\begin{description}
\item [$ \Omega $] {- populace }
\item [$ \omega $] {- individuum, element }
\item [$ X : \Omega \to \mathbb{R} $, měřitelná] {- vlastnost $ \Omega $ }
\item [$ \omega^{(N)} \in \Omega^{(N)} $] { - výběr individuí z populace $\Omega$ }
\item [$ \mathrm{P}^{(N)} $] { - součinová pravděpodobnostní míra }
\item [pozorování] {Buďte $ \left( \widetilde{X}_j \right)_{1}^{N} $ i.i.d. s rozdělením $ \mathrm{P}^{X} $. Potom $ \widetilde{X}_j $ nazýváme pozorováními $ X $ na populaci $ \Omega $. }
\end{description}
 
\begin{note}
Budeme značit $ \widetilde{X}_j = X_j $ na prostoru $ \left( \Omega,\mathcal{A},\mathrm{P} \right) $.
\end{note}
 
Úkolem statistiky obecně je na základě realizací $ \widetilde{X}_j\left(\omega^{(N)}\right) = \widetilde{X}_j $ 
\uv{odhadnout} tvar $ \mathrm{P}^{X} $. Je to vlastně postup obrácený vzhledem k počtu pravděpodobnosti. Statistické úlohy bychom dále mohli rozdělit na:
 
\begin{description}
\item [(A) Odhad parametrů rozdělení $ \mathrm{P}^{X} $] {
\ 
\begin{description}
\item [(A1) Bodový odhad parametrů] {
Nechť $ \theta $ je nějaký parametr spojený s $ \Omega $. Úkolem je najít funkci $ \widehat{\theta}\left(\mathbf{X}\right) $, která na základě pozorování $ \mathbf{X} = \left( X_j \right)_{j=1}^{n} $ odhaduje parametr $ \theta $. }
\item [(A2) Intervalový odhad parametrů] {
Úkol je obdobný jako v případě bodového odhadu parametrů, nicméně hledáme takové borelovsky měřitelné funkce 
$$ \underline{\theta}\left(\mathbf{X}\right) $$
$$\overline{\theta}\left(\mathbf{X}\right) $$
že $ \mathrm{P}\left( \theta \in \left[ \underline{\theta}\left(\mathbf{X}\right), \overline{\theta}\left(\mathbf{X}\right) \right] \right) \geq 1 - \alpha\ \ \ \ \alpha \in (0,1) $}
\item [(A2') Konfidenční odhad parametrů] {
Hledáme obecnou množinu $ \mathbf{C}\left(\mathbf{X}\right) \subset \mathbf{R}^k $ (pro parametr $ \theta \in \mathbb{R}^k $ takovou, že
$$ \mathrm{P}\left( \theta \in \mathbf{C}\left(\mathbf{X}\right) \right) \geq 1 - \alpha\ \ \ \ \alpha \in (0,1) $$}
\end{description}}
\item [(B) Testování hypotéz o rozdělení $ \mathrm{P}^{X} $] {
Předmětem zkoumání je opět parametr, přičemž mohu vyslovit například hypotézu $ H_0 : \theta = 5 $. Abych ale o takové hypotéze vůbec něco mohl říct, potom si musím sehnat pozorování $ \mathbf{X} = \left(X_1,\dots,X_n\right) $ a na jeho základě se mohu pokusit zjistit zda
$$ \mathrm{P}\left(H_0 \textrm{ platí}\right) \geq 1 - \alpha $$
Pokud tento vztah platí, potom hypotézu přijmeme, jinak ji zamítneme. }
\end{description}
 
\subsection{Bodový odhad parametrů}
Uvažujme následující model: Buďte $ X \sim \mathrm{P}^{X}$ náhodné veličiny na prostoru $ \left(\Omega, \mathcal{A}, \mathrm{P} \right) $, a nechť parametr $ \mathbf{\theta} $, jehož hodnotu se snažíme zjistit, je $ \mathbf{\theta} \in \mathbf{\Theta} \subset \mathbb{R}^{k} $. Přitom $ \mathbf{\Theta} $ nazýváme \textbf{parametrickým prostorem}. Můžeme také odhadovat hodnotu nějaké funkce $ \tau\left( \mathbf{\theta} \right) $. Takovou funkci nazýváme \textbf{parametrickou}.
 
Postup je zhruba následující - vytáhneme si $ \omega^{(n)} = \left(\omega_1,\dots,\omega_n\right) $, proměříme je pomocí $ X $ (tj. $ \widetilde{X}_j\left(\omega^{(n)}\right) = X_j\left(\omega\right) $, a nakonec odhadneme $ \tau(\mathbf{\theta}) $.
 
\begin{definition}[Odhad parametrické funkce]
Buď $ \mathbf{X} = \left(X_j\right)_{j=1}^{n} $ je pozorování $ X $ (náhodné veličiny s rozdělením $ \mathrm{P}^{X} $). Potom libovolnou borelovsky měřitelnou funkci $ T\left(\mathbf{X}\right) : \Omega \to \mathbb{R}^s $ nazýváme \textbf{odhadem parametrické funkce} $ \tau(\mathbf{\theta}) $ na základě pozorování $ \mathbf{X} $. Specielně pro $ \tau(\theta) = \theta $ označujeme $ T(\mathbf{X}) = \widehat{\theta}(\mathbf{X}) $.
\end{definition}
 
\begin{definition}[Eficientní odhad]
$ T(\mathbf{X}) $  je eficientním (vydatným) odhadem parametrické funkce $ \tau(\theta) $, pokud 
$$ E\left(T(\mathbf{X}) - \tau(\theta) \right)^2 \leq E\left(\widetilde{T}(\mathbf{X}) - \tau(\theta) \right)^2\ \ \ \textrm{pro } \forall \widetilde{T}(\mathbf{X}) $$
\end{definition}
 
\begin{definition}[Nestranný odhad]
$ T(\mathbf{X}) $ je nestranným odhadem parametrické funkce $ \tau(\theta) $ pokud
$$ E\left(T(\mathbf{X})\right) = \tau(\theta)\ \ \ \textrm{pro } \forall \theta \in \Theta $$
\end{definition}
 
\begin{definition}[Asymptoticky nestranná posloupnost odhadů]
Buď $ \left(T_n(\mathbf{X})\right)_{n=1}^{\infty} $ taková posloupnost odhadů parametrické funkce $ \tau(\theta) $, že $ T_n(\mathbf{X}) = T_n(X_1,\dots,X_n) $ (tj. odhady jsou založeny na stále více pozorováních). Říkáme, že odhad $ \left(T_n(\mathbf{X})\right) $ je asymptoticky nestranný, pokud
$$ \lim_{n\to\infty} E\left(T_n(\mathbf{X})\right) = E\tau(\theta)\ \ \ \textrm{pro } \forall \theta \in \Theta $$
\end{definition}
 
\begin{definition}[Slabá konzistence]
Posloupnost odhadů $ \left(T_n(\mathbf{X})\right)_{n=1}^{\infty} $ je slabě konzistentním odhadem parametrické funkce $ \tau(\theta) $, pokud 
$$ T_n(\mathbf{X}) \stackrel{\mathrm{P}_{\theta}}{\to} \tau(\theta)\ \ \ \textrm{pro } \forall \theta \in \Theta $$
\end{definition}
 
\begin{definition}[Silná konzistence]
Posloupnost odhadů $ \left(T_n(\mathbf{X})\right)_{n=1}^{\infty} $ je slabě konzistentním odhadem parametrické funkce $ \tau(\theta) $, pokud 
$$ T_n(\mathbf{X}) \stackrel{s.j.}{\to} \tau(\theta)\ \ \ \textrm{pro } \forall \theta \in \Theta $$
tj. $ \mathrm{P}^{\theta}\left( \left| T_n(\mathbf{X}) - \tau(\theta) \right| < \varepsilon \right) \to 1 $.
\end{definition}
 
\begin{theorem}
Buď $ \left(T_n(\mathbf{X})\right)_{n=1}^{\infty} $ taková posloupnost odhadů parametrické funkce $ \tau(\theta) $, že
\begin{enumerate}
\item $ ET_n(\mathbf{X}) \to \tau(\theta)\ \ \ \textrm{pro } \forall \theta \in \Theta $
\item $ DT_n(\mathbf{X}) \to 0 $
\end{enumerate}
Potom je $ T_n(\mathbf{X}) $ slabě konzistentním odhadem.
\end{theorem}
 
\begin{definition}[Asymptoticky normální posloupnost odhadů]
Posloupnost odhadů $ \left( T_n(\mathbf{X})\right)_{n=1}^{\infty} $ se nazývá asymptoticky normální s kovarianční maticí $ \mathbf{C}(\theta) $ pokud
$$ \sqrt{n} \left( T_n(\mathbf{X}) - \tau(\theta)\right) \stackrel{\mathcal{D}}{\to} N_s\left(0,\mathbf{C}(\theta)\right)\ \ \ \textrm{pro } \forall \theta \in \Theta $$
tj. $ T_n(\mathbf{X}) \sim AN_s\left( \tau(\theta), \frac{1}{n}\mathbf{C}(\theta)\right) $, a specielně pro $ s = 1 $ platí $ \sqrt{n}\left( T_n(\mathbf{X}) - \tau(\theta) \right) \stackrel{\mathcal{D}}{\to} N\left(0,\sigma^{2}(\theta)\right) $, kde $ \sigma^2(\theta) $ je asymptotický rozptyl.
\end{definition}
 
\begin{note}
Nechť $ T_n(\mathbf{X}) \sim AN_s\left( \tau(\theta), \frac{1}{n} \mathbf{C}(\theta) \right) $, potom
$$ T_n(\mathbf{X}) \stackrel{\mathrm{P}}{\to} \tau(\theta) $$
\end{note}
 
\begin{theorem}
Buď $ \mathbf{X} = (X_1,\dots,X_n) $ pozorování na prostoru $ (\Omega,\mathcal{A},\mathrm{P}) $, přičemž $ \mathbf{X} \in \mathcal{L}_2 $. Potom
\begin{enumerate}
\item $$ \overline{X}_n = \frac{1}{n}\sum_{j=1}^{n} X_j $$ je konzistentním, nestranným a asymptoticky normálním odhadem $ EX $
\item $$ s_n^2 = \frac{1}{n-1} \sum_{j=1}^{n} \left(X_j - \overline{X}_n\right)^2 $$ je konzistentním a nestranným odhadem $ DX $
\item $$ \widehat{\sigma}_n^2 = \frac{1}{n} \sum_{j=1}^{n} \left( X_j - \overline{X}_n \right)^2 $$ je konzistentním a asymptoticky nestranným odhadem $ DX $
\end{enumerate}
\end{theorem}
 
\begin{proof}
\ 
\begin{enumerate}
\item {
\begin{description}
\item [konzistentnost] { Ze zákona velkých čísel přímo vyplývá, že $ \overline{X}_n \stackrel{\mathrm{P}}{\to} EX $. }
\item [nestrannost] { 
$$ E\overline{X}_n = \frac{1}{n} \sum_{j=1}^{n} EX_j = EX $$ }
\end{description}}
\item {
$$ \widehat{\sigma}_n^2 = \frac{1}{n}\sum_{j=1}^{n} \left( X_j - \overline{X}_n \right)^2 \stackrel{\mathrm{P}}{\to} DX $$
$$ s_n^2 = \frac{1}{n-1} \sum_{j=1}^{n} \left( X_j - \overline{X}_n\right)^2 = \frac{n}{n-1} \widehat{\sigma}_n^2 \stackrel{\mathrm{P}}{\to} DX  $$
$$ \widehat{\sigma}_n^2 = \frac{1}{n} \sum_{j=1}^{n} X_j^2 - \left(\overline{X}_n\right)^2 $$
$$ E\left( \overline{X}_n \right)^2 = E \left( \frac{1}{n} \sum_{j=1}^{n} X_j \right)^2 = \frac{1}{n^2} E \left( \sum_{j=1}^{n} X_j^2 + \sum_{i,j=1, i\neq j}^{n} X_i X_j \right) = $$
$$ = \frac{1}{n^2} \left( nEX^2 + n\left(n-1\right)\left(EX\right)^2\right) $$
$$ EX^2 - E\left(\overline{X}_n\right)^2 = EX^2 - \frac{EX^2}{n} - \frac{n-1}{n} \left(EX\right)^2 = \frac{n-1}{n}\left(EX^2 - \left(EX\right)^2\right) = $$
$$ = \frac{n-1}{n}DX \to DX $$
$$ E\left(s_n^2\right) = E \left( \frac{n}{n-1} \widehat{\sigma}^2_n \right) = \frac{n}{n-1} E \left( \widehat{\sigma}_n^2 \right) = DX $$ }
\end{enumerate}
\end{proof}
 
\begin{theorem}
Buď $ \mathbf{X} = (X_1,\dots,X_n) $ pozorování na prostoru $ (\Omega,\mathcal{A},\mathrm{P}) $, přičemž $ \mathbf{X} \in \mathcal{L}_r $ pro $ r \geq 2 $. Potom
\begin{enumerate}
\item $$ {m'}_r(\mathbf{X}) = \frac{1}{n} \sum_{j=1}^{n} X_j^r $$ je konzistentním odhadem $ {\mu'}_r (X) = E\left(X^r\right) $
\item $$ m_r(\mathbf{X}) = \frac{1}{n} \sum_{j=1}^{n} \left( X_j - \overline{X}_n \right)^2 $$  je konzistentním odhadem $ \mu_r(X) = E\left( E - EX \right)^r $
\end{enumerate}
\end{theorem}
 
\begin{definition}[Výběrový kvantil]
Buďte $ \left( X_j \right)_{j=1}^{n} $ pozorování $ X $, a označme $ \left( X_{(j)} \right)_{j=1}^{n} $ tato pozorování seřazená dle velikosti. Potom 
$$ \widehat{X}_{p \in (0,1)} = X_{[np] + 1} $$
nazýváme \textbf{výběrovým kvantilem}. Specielně pro $ p = 0.5 $ tento kvantil nazýváme \textbf{výběrovým mediánem}.
\end{definition}
 
\begin{note}
Pro výběrový medián zřejmě platí
$$ \widehat{X}_{0.5} = \left\{ \matrix{X_{\left(\frac{n+1}{2}\right)} & \textrm{ pro } n \textrm{ lichá} \cr \frac{1}{2} \left(X_{\left( \frac{n}{2} \right)} + X_{\left( \frac{n}{2} + 1 \right)}\right) & \textrm{ pro } n \textrm{ sudá }} \right. $$
\end{note}
 
\begin{definition}[Výběrové rozpětí]
Buď $ \left( X_j \right)_{j=1}^{n} $ pozorování $ X $. Potom \textbf{výběrové rozpětí} definujeme jako
$$ \max_{j\in\widehat{n}} X_j - \min_{j\in\widehat{n}} X_j $$
\end{definition}
 
\begin{definition}[Empirická distribuční funkce]
Buď $ \left( X_j \right)_{j=1}^{n} $ pozorování $ X $. \textbf{Empirickou distribuční funci}  poté definujeme jako
$$ F_n\left(\mathbf{X},x\right) = \frac{1}{n} \sum_{j=1}^{n} \mathbf{1}_{(-\infty,X_j]} (\mathbf{X}) $$
kde $ \mathbf{1}_{(-\infty,X_j]} (X) $ je indikátor jevu $ X_j \in (-\infty,X_j]$ (viz \ref{indikator}).
\end{definition}
 
\subsection{Nestranné odhady s minimálním rozptylem - UMVUE}
V tomto paragrafu budeme obecně hledat dolní mez střední kvadratické chyby, tj. výrazu
$$ DT(\mathbf{X}) = E\left(T(\mathbf{X}) - \tau(\theta) \right)^2 $$
Uvažujme dva nestranné odhady $ T^{(1)}_n(\mathbf{X}) $ a $ T^{(2)}_n(\mathbf{X}) $. Pokud tyto odhady budeme chtít srovnat, můžeme za \uv{lepší} považovat například ten s menším rozptylem, tj. ten pro který je menší pravděpodobnost že mi \uv{uletí} od $ ET(\mathbf{X}) = \tau(\theta) $. Pokud totiž dosadíme do Čebyševovy nerovnosti, potom
$$ \mathrm{P}\left(\left|T(\mathbf{X}) - ET(\mathbf{X})\right| \geq \varepsilon \right) = \mathrm{P}\left(\left|T(\mathbf{X}) -\tau(\theta))\right| \geq \varepsilon \right) \leq \frac{DT(\mathbf{X})}{\varepsilon^2} $$
Otázkou však zůstává, jak malého rozptylu lze vůbec u nestranných odhadů dosáhnout.
 
\begin{definition}[Regulární systém hustot v $ \mathbb{R}^1 $]
Buď $ \Theta \subset \mathbb{R} $. Potom systém hustot
$$ \mathcal{F} = \left\{ f(x,\theta)\ |\ \theta \in \Theta \right\} $$
nazveme \textbf{regulárním systémem hustot}, pokud platí
\begin{enumerate}
\item $ \mathrm{supp} f = \left\{ x\ |\ f(x,\theta) \geq 0 \right\}  $ nezávisí na $ \theta $.
\item Parciální derivace
$$ \frac{\partial f(x,\theta)}{\partial \theta} $$
existuje a je konečná pro všechna $ \theta $ a skoro všechna $ x $.
\item Střední hodnota
$$ E \left( \frac{\partial \ln f(X,\theta)}{\partial \theta} \right) = 0 $$
pro všechna $ \theta $.
\item Fisherova míra informace
$$ \mathcal{I}(\theta) = E \left( \frac{\partial \ln f(X,\theta) }{\partial \theta} \right)^2 > 0 $$
pro všechna $ \theta $.
\end{enumerate}
\end{definition}
 
\begin{note}
\ 
\begin{enumerate}
\item {Podmínka nulovosti střední hodnoty v předchozí větě je obecně splněna právě když lze $ \int f $ derivovat za integrálem, protože
$$ E \left( \frac{\partial \ln f(x,\theta)}{\partial \theta} \right) = \int \frac{\partial \ln f(x,\theta) }{\partial \theta} f(x,\theta) dx = \int \frac{f'(x,\theta)}{f(x,\theta)} f(x,\theta) dx = \int f'(x,\theta) dx = $$
$$ = \frac{d}{d\theta} \int f(x,\theta) dx = 0 $$ }
\item {Díky předchozímu bodu ale také platí, že
$$ \mathcal{I}(\theta) = D\left( \frac{\partial \ln f(x,\theta) }{\partial \theta} \right)  $$ }
\end{enumerate}
\end{note}
 
\begin{theorem}
Buďte $ \left( \widetilde{X}_j \right)_{j=1}^{n} $ nezávislé s ASR, a nechť jim odpovídají systémy hustot
$$ \mathcal{F}_j = \left\{ f_{X_j}(x_j,\theta)\ |\ \theta \in \Theta \right\} $$
regulární pro všechna $ j \in \widehat{n} $. Potom platí
$$ \mathcal{I}_{X_1,X_2} (\theta) = \sum_{j=1}^{n} \mathcal{I}_{X_j}(\theta) $$
\end{theorem}
 
\begin{proof}
Důkaz provedeme matematickou indukcí. Provedeme pouze první krok (pro $ n = 2 $), druhý krok je zřejmý.
$$ f_{X_1,X_2}(x_1,x_2,\theta) = f_{X_1}(x_1,\theta)f_{X_2}(x_2,\theta) $$
$$ \mathcal{I}_{X_1,X_2}(\theta) = E \left( \frac{\partial \ln f_{X_1,X_2}(x_1,x_2,\theta)}{\partial \theta} \right)^2 = \int \!\!\! \int \left( \frac{\partial \ln f_{X_1,X_2}}{\partial \theta} \right)^2 f_{X_1,X_2} dx_1 dx_2 = $$
$$ = \int \!\!\! \int \left( \frac{\partial f_{X_1}}{\partial \theta} \right) f_{X_1,X_2} dx_1 dx_2 + 2 \int \!\!\! \int \frac{\partial \ln f_{X_1}}{\partial \theta} \frac{\partial \ln f_{X_2}}{\partial \theta} f_{X_1} f_{X_2} dx_1 dx_2 + $$
$$ + \int \!\!\! \int \left( \frac{\partial \ln f_{X_2}}{\partial \theta} \right) f_{X_1,X_2} dx_1 dx_2 = 
 \mathcal{I}_{X_1}(\theta) + \mathcal{I}_{X_2}(\theta) $$
\end{proof}
 
\begin{dusledek}
Buďte $ \left(X_j\right)_{j=1}^{n} $ pozorování na $ X $ (tj. i.i.d). Potom zřejmě
$$ \mathcal{I}_{X_1,\dots,X_n}(\theta) = n \mathcal{I}_{X_1}(\theta) $$
\end{dusledek}
 
\begin{theorem}
Buď $ \left\{ f(x,\theta)\ |\ \theta \in \Theta \right\} $ regulární systém hustot, a nechť $ \int f $ lze dvakrát derivovat za integrálem. Potom platí
$$ \mathcal{I}(\theta) = - E\left( \frac{\partial^2 \ln f(x,\theta)}{\partial \theta^2} \right) $$
\end{theorem}
 
\begin{theorem}[Rao - Cramerova nerovnost]
Buď $ \theta \in \Theta \subset \mathbb{R} $, $ \mathcal{F} = \left\{f(\mathbf{x},\theta)\ |\ \theta \in \Theta \right\} $ nechť je regulární systém hustot a parametrická funkce $ \tau(\theta) $ nechť je diferencovatelná. $ T(\mathbf{X}) $ nechť je nějaký nestranný odhad $ \tau(\theta) $ takový, že $ E\left( T(\mathbf{X}) \right) $ lze derivovat pod znakem $ E $ pro $ \forall \theta \in \Theta $. Potom
\begin{equation}
D\left( T(\mathbf{X}) \right) \geq \frac{\left[\tau'(\theta)\right]^2}{\mathcal{I}_{\mathbf{X}} (\theta)}
\end{equation}
Přitom rovnost nastává právě když existuje $ K = K(\theta,n) $ taková, že skoro jistě (s pravděpodobností rovnou jedné) platí
\begin{equation}
\frac{\partial \ln f}{\partial \theta}(\mathbf{X},\theta) = K\left(T(\mathbf{X}) - \tau(\theta)\right)
\end{equation}
\end{theorem}
 
\begin{proof}
$$ \tau'(\theta) = \left[ ET(\mathbf{X}) \right]' = \frac{d}{d\theta} \int T(\mathbf{x}) f(\mathbf{x},\theta) d\mathbf{x} = \int T(\mathbf{x})\frac{\partial f}{\partial \theta}(\mathbf{x},\theta) d\mathbf{x} = $$ 
$$ = \int T(\mathbf{x}) \frac{\partial \ln f}{\partial \theta} (\mathbf{x},\theta) f(\mathbf{x},\theta) d\mathbf{x} = E\left( T(\mathbf{X}) \frac{\partial \ln f}{\partial \theta} \right) = \mathrm{Cov} \left( T(\mathbf{X}), \frac{\partial \ln f}{\partial \theta}(\mathbf{X},\theta) \right) $$
Ze Schwarzovy nerovnosti potom vyplývá
$$ \left| \mathrm{Cov} \left( T, \frac{\partial \ln f}{\partial \theta} \right) \right|^2 \leq DT(\mathbf{X}) D \left( \frac{\partial \ln f}{\partial \theta} \right) $$
a tedy
$$ \left[ \tau'(\theta) \right]^2 \leq D\left(T(\mathbf{X})\right)\mathcal{I}(\theta) $$
a rovnost ve Schwarzově nerovnosti nastává právě když platí
$$ \frac{\partial \ln f}{\partial \theta}(\mathbf{x},\theta) - E \left( \frac{\partial \ln f}{\partial \theta}(\mathbf{X},\theta) \right) = K\left(T(\mathbf{X}) - ET(\mathbf{X}) \right)$$
odkud již plyne tvrzení věty, protože
$$ E \left( \frac{\partial \ln f}{\partial \theta}(\mathbf{X},\theta) \right) = 0 $$
\end{proof}
 
\begin{theorem}
Buď $ T(\mathbf{X}) $ nestranný odhad $ \tau(\theta) $. Potom  $ D\left(T(\mathbf{X})\right) = RCLB(\theta) $ právě když $ f_{\mathbf{X}}(\mathbf{x},\theta) $ tvoří jednoparametrickou exponenciální třídu hustot tvaru
$$ f_{\mathbf{X}}(\mathbf{x},\theta) = h(\mathbf{x})c(\theta) \exp\left\{ Q(\theta) T(\mathbf{X}) \right\} $$
a parametrická funkce $ \tau(\theta) $ je tvaru
$$ \tau(\theta) = - \frac{1}{c(\theta)} \frac{c'(\theta)}{Q'(\theta)} $$
\end{theorem}
 
\begin{definition}
Buď $ \mathbf{\Theta} \subset \mathbb{R}^k $ otevřená množina. Potom říkáme že systém hustot 
$$ \mathcal{F} = \left\{ f_X(x,\mathbf{\theta})\ |\ \mathbf{\theta} \in \mathbf{\Theta} \subset \mathbb{R}^k \right\} $$
je regulární, pokud jsou splněny následující podmínky:
\begin{enumerate}
\item $ \mathrm{supp} f_X $ nezávisí na volbě $ \mathbf{\theta} $
\item Parciální derivace 
$$ \frac{\partial f_X}{\partial \theta_j} $$
existuje pro všechna $ j \in \widehat{k} $, pro všechna $ \mathbf{\theta} $ a pro skoro všechna $ x $.
\item Pro všechna $ j \in \widehat{k} $ a pro pro všechna $ \mathbf{\theta} \in \mathbf{\Theta} $ platí
$$ E \left[ \frac{\partial \ln f}{\partial \theta_j}(\mathbf{X},\mathbf{\theta}) \right] = 0 $$
\item Fischerovská informační matice, definovaná jako
$$ \mathbb{I}_{i,j}(\mathbf{\theta}) = E \left[ \frac{\partial \ln f}{\partial \theta_i}, \frac{\partial \ln f}{\partial \theta_j} \right] = \mathrm{Cov} \left[ \frac{\partial \ln f}{\partial \theta_i}, \frac{\partial \ln f}{\partial \theta_j} \right] = - E \left[ \frac{\partial^2 \ln f}{\partial \theta_i \partial \theta_j} \right] $$
je konečná a regulární
\end{enumerate}
\end{definition}
 
\begin{note}
Nechť jsou $ \left(X_j\right)_{j=1}^{n} $ nezávislé. Potom platí
$$ \mathbb{I}_{\mathbf{X}}(\mathbf{\theta}) = \sum_{j=1}^{n} \mathbb{I}_{X_j}(\mathbf{\theta}) $$
\end{note}
 
\begin{theorem}[Rao - Cramerova nerovnost]
Buď $ \left\{ f_{\mathbf{X}}(\mathbf{x},\mathbf{\theta})\ |\ \mathbf{\theta} \in \mathbf{\Theta} \subset \mathbb{R}^k \right\} $ regulární systém hustot a nechť $ \tau(\mathbf{\theta}) $ je taková funkce do $ \mathbb{R} $, že parciální derivace 
$$ \frac{\partial \tau(\mathbf{\theta})}{\partial \theta_j} $$
existují pro všechna $ j \in \widehat{k} $. Dále nechť $ T(\mathbf{X}) $ je takový nestranný odhad $ \tau(\mathbf{\theta}) $, že $ ET(\mathbf{X}) $ lze pro každé $ j \in \widehat{k} $ derivovat pod znakem $ E $. Potom
\begin{equation}
D\left(T(\mathbf{X})\right) \geq \tau'(\mathbf{\theta})\mathbb{I}^{-1}\left(\tau'(\mathbf{\theta})\right)^{T}
\end{equation}
\end{theorem}
 
\begin{theorem}[Bhattacharya]
Buď $ \theta \in \Theta \subset \mathbb{R} $, nechť platí stejné podmínky jako v případě Rao - Cramerovy nerovnosti, a navíc nechť pro všechna $ j \in \widehat{m}, m \geq 1 $ existují parciální derivace
$$ \frac{\partial^j ET(\mathbf{X})}{\partial \theta^j} $$
Potom platí
\begin{equation}
D\left( T(\mathbf{X}) \right) \geq \widetilde{\tau}'(\theta) \widetilde{\mathbb{I}}_{\mathbf{X}}(\theta) \left(\widetilde{\tau}'(\theta) \right)^{T}\ \ \ \textrm{pro }\forall \theta \in \Theta
\end{equation}
kde
$$ \widetilde{\tau}'(\theta)  = \left( \tau^{(1)}(\theta),\tau^{(2)}(\theta),\dots,\tau^{(m)}(\theta)\right) $$
$$ \widetilde{\mathbb{J}}_{i,j} = E \left[ \frac{\frac{\partial^{i}\ln f_{\mathbf{X}} (\mathbf{x},\theta)}{\partial \theta^i} \frac{\partial^j f_\mathbf{X}(\mathbf{x},\theta)}{\partial \theta^j}}{f_{\mathbf{X}}^{2}} \right] $$
přičemž matice $ \widetilde{\mathbb{J}} $ je konečná a nesingulární.
\end{theorem}
 
\begin{proof}
Důkaz je stejný jako v případě $ RCLB(\theta),\ \mathbf{\theta} \in \mathbf{\Theta} \subset \mathbb{R}^k $, pouze matice $ \mathbb{D} $ je definována jako
$$ \mathbb{D} = \left( \matrix{D\left(T(\mathbf{X})\right) & \left(\widetilde{\tau}'\right)^{T} \cr \widetilde{\tau}' & \widetilde{\mathbb{J}} } \right) $$
\end{proof}
 
\begin{definition}[Asymptoticky eficientní odhad]
Buď $ T_n(\mathbf{X}) $ posloupnost nestranných odhadů $ \tau(\theta) $. Potom říkáme že $ T_n(\mathbf{X}) $ je \textbf{asymptoticky eficientní} pokud platí
$$ \frac{RCLB_n(\theta)}{D\left(T_n(\mathbf{X})\right)} \to 1 $$
\end{definition}
 
\begin{note}[Nedostatky UMVUE]
\ 
\begin{enumerate}
\item Předpoklady jsou velice restriktivní.
\item Existují odhady, které sice nejsou nestranné, ale přitom mají lepší rozptyl než UMVUE.
\item Nestranný odhad nemusí existovat.
\item Pokud nestranný odhad existuje, nemusí být v praxi použitelný.
\end{enumerate}
\end{note}
 
\begin{theorem}
Buďte $ \left( X_j \right)_{j=1}^{n} $ i.i.d. náhodné veličiny s rozdělením $ \mathrm{P}^{X} $ a nechť je systém hustot 
$$ \mathcal{F} = \left\{ f_{X}(x,\theta)\ |\ \theta \in \mathbb{R}^{1} \right\} $$
regulární. Nechť je navíc platí 
\begin{enumerate}
\item Parciální derivace $$ \frac{\partial^2 f}{\partial \theta^2} $$
je spojitá v $ \theta $.
\item Existuje taková $ M(X) $, $ EM(X) < \infty $ pro kterou
$$ \left| \frac{\partial^2 \ln f}{\partial \theta^2} \right| $$
\item $ T_n(\mathbf{X})  $ je nej. $ AN\left(\tau(\theta),\frac{\sigma^2(\theta)}{n}\right) $, tj.
$$ \sqrt{n}\left( T_n - \tau(\theta)\right) \stackrel{\mathcal{D}}{\to} N\left(0,\sigma^2(\theta)\right) $$
\end{enumerate}
Potom $$ \sigma^2(\theta) \geq \frac{\left[ \tau'(\theta) \right]}{\mathcal{I}_{X_1}(\theta)} $$
až na množinu míry nula.
\end{theorem}
 
\begin{definition}[Asymptoticky eficientní odhady]
Nechť $ T_n(\mathbf{X}) $ je asymptoticky normální odhad $ AN\left(\tau(\theta),\frac{\sigma^{2}(\theta)}{n} \right) $. Říkáme, že $ T_n(\mathbf{X}) $ je (asymptoticky) eficientní, pokud 
$$ \sigma^{2}(\theta) = \frac{\left[\tau'(\theta)\right]^2}{\mathcal{I}_{X_1}(\theta)} $$
\end{definition}
 
\begin{definition}[Asymptoticky relativní eficience]
Buďte $ T_n^{(1)}(\mathbf{X}) $ a $ T_n^{(2)}(\mathbf{X}) $ dva asymptoticky normální odhady s asymptotickými rozptyly $ \sigma^{2}_{(1)}(\theta) $, $ \sigma^{2}_{(2)}(\theta) $. Potom \textbf{asymptoticky relativní eficienci} (ARE) definujeme jako
$$ e_{T^{(1)}T^{(2)}} = \frac{\sigma^{2}_{(1)}(\theta)}{\sigma^{2}_{(2)}(\theta)} $$
\end{definition}
 
\subsection{Metoda momentů}
 
Uvažujme prostor $ \left( \Omega, \mathcal{A}, \mathrm{P} \right) $, $ X $ buď náhodná veličina a $ \mathbf{X} = (X_1,\dots,X_n) $ její pozorování. Nechť $ \mathbf{\theta} \in \mathbf{\Theta} \subset \mathbb{R}^{k}$ a $ \tau(\mathbf{\theta}) $ buď odhadovaná parametrická funkce. Pro $ j \in \widehat{k} $ nechť existuje $ EX^j = \mu'_j(\mathbf{\theta}) $, a označme
$$ \mu'(\mathbf{\theta}) = \left( \mu'_1(\mathbf{\theta}),\mu'_2(\mathbf{\theta}),\dots, \mu'_k(\mathbf{\theta}) \right) $$
takže $ \mu'(\mathbf{\theta}) : \mathbb{R}^{k} \to \mathbb{R}^{k} $ a předpokládejme že existuje funkce inverzní, tj. $ \left(\mu'(\mathbf{\theta})\right)^{-1} $.
 
\begin{definition}[Momentový odhad]
Označme
$$ m'_j(\mathbf{X}) = \frac{1}{n} \sum_{k=1}^{n} X_{k}^{j} $$
Potom \textbf{momentový odhad} $ \widehat{\mathbf{\Theta}}_{M}(\mathbf{X}) $ parametru $ \mathbf{\theta} $ definujeme jako
$$ \widehat{\mathbf{\Theta}}_{M}(\mathbf{X}) = \left(\mu'\right)^{-1}\left(m'_1( \mathbf{X}),\dots, m'_k(\mathbf{X}) \right) $$
a momentový odhat $ T_{M}(\mathbf{X}) $ parametrické funkce $ \tau(\mathbf{\theta}) $ definujeme jako
$$ T_M(\mathbf{X}) = \tau\left( \widehat{\mathbf{\Theta}}_{M}(\mathbf{X}) \right) $$
\end{definition}
 
\begin{note}
\ 
\begin{enumerate}
\item Momentový odhad $ \widehat{\mathbf{\Theta}}_{M}(\mathbf{X}) $ je řešením soustavy $ k $ nelineárních rovnic
$$ \mu'_j (\mathbf{\theta}) = m'_j(\mathbf{X})\ \ \ \ j \in \widehat{k} $$
(tzv. soustava momentových rovnic)
\item Odhad $ \widehat{\mathbf{\Theta}}_{M}(\mathbf{X}) $ nemusí být určen jednoznačně.
\item Místo $ \mu'_j $ a $ m'_j $ lze použít centrální momenty $ \mu_j $ a $ m_j $.
\end{enumerate}
\end{note}
 
\begin{theorem}
Pokud je $ \left(\mu'\right)^{-1} $ funkce spojitá, potom je $ \widehat{\mathbf{\Theta}}_M(\mathbf{X}) $ konzistentním odhadem parametru $ \mathbf{\theta} $. Pokud je navíc $ \tau(\theta) $ spojitá funkce, potom je $ T_{M}(\mathbf{X}) \stackrel{\mathrm{def.}}{=} \tau(\widehat{\mathbf{\Theta}}_M) $ jejím konzistentním odhadem.
\end{theorem}
 
\begin{note}
Odhady získané metodou momentů jsou sice konzistentní, ale nejsou eficientní. Problémy jsou také se splněním předpokladů (existence momentů a spojitost).
\end{note}
 
\subsection{Metoda maximální věrohodnosti}
\begin{definition}[Věrohodnostní funkce]
Buďte $ \mathbf{X} = (X_1,\dots,X_n) $ nezávislá pozorování $ X $, tj. $ X_k,\ k\in\widehat{n} $ i.i.d. s rozdělením $ \mathrm{P}^{X} $. Potom libovolnou funkci tvaru
$$ L(\mathbf{\theta} | \mathbf{x}) = c(\mathbf{x}) f_{\mathbf{x}}(\mathbf{x},\mathbf{\theta}) $$
nazýváme \textbf{věrohodnostní funkcí}, a funkci tvaru
$$ l(\mathbf{\theta} | \mathbf{x}) = \ln L(\mathbf{\theta} | \mathbf{x}) $$
nazýváme \textbf{logaritmickou věrohodnostní funkcí}.
\end{definition}
 
\begin{definition}[Maximálně věrohodný odhad - MLE]
Buď $ \widehat{\mathbf{\Theta}}_{ML}(\mathbf{X}) $ taková borelovsky měřitelná funkce na $ \Omega $, že platí 
$$ L\left( \widehat{\mathbf{\Theta}}_{ML}(\mathbf{X}) | \mathbf{X} \right) = \sup_{\mathbf{\theta} \in \mathbf{\Theta}} L(\mathbf{\theta},\mathbf{X}) $$
Pokud $ \widehat{\mathbf{\Theta}}_{ML}(\mathbf{X})  $ závisí na $ \mathbf{X} $ a pokud je  určena jednoznačně, potom je nazývána \textbf{maximálně věrohodným odhadem} parametru $ \mathbf{\theta} $ a $ T_{ML}(\mathbf{X}) = \tau\left( \widehat{\mathbf{\Theta}}_{ML}(\mathbf{X}) \right) $ nazýváme \textbf{maximálně věrohodným odhadem} parametrické funkce $ \tau(\theta) $.
\end{definition}
 
\begin{lemma}[Jensenova nerovnost]
Buď $ X $ náhodná veličina na prostoru $ (\Omega,\mathcal{A},\mathrm{P}) $, a nechť $ X \in \mathcal{L}_1 $. Dále nechť $ \Phi(t) $ je konvexní (resp. konkávní) funkce. Potom
$$ \Phi(EX) \leq E\Phi(X) $$
$$ \textrm{resp. }\ \ \Phi(EX) \geq E\Phi(X) $$
\end{lemma}
 
\begin{theorem}
Buď $ X \sim f(x,\mathbf{\theta}) $, $ \mathbf{\theta} \in \mathbf{\Theta} \subset \mathbb{R}^k $, nechť $ \mathrm{supp} f $ nezávisí na $ \mathbf{\theta} $ a $ E|\ln f | < \infty $. Buďte $ \mathbf{X} = (X_1,\dots,X_n)  $ pozorovánína $ X $. Potom pro všechna $ \mathbf{\theta} \neq \mathbf{\theta}_0 $ platí
$$ \lim_{n\to\infty} \mathrm{P}\left( L\left(\mathbf{\theta}_0 | \mathbf{x}\right) > L\left(\mathbf{\theta} | \mathbf{x} \right) \right) = 1 $$
kde $ \mathbf{\theta}_0 $ je skutečná hodnota parametru, a $ \mathbf{\theta} \neq \mathbf{\theta}_0 $. je libovolný bod z $ \mathbf{\Theta}$.
\end{theorem}
 
\begin{proof}
$$ \left\{ L\left(\mathbf{\theta}_0 | \mathbf{X}\right) > L\left( \mathbf{\theta} | \mathbf{X} \right) \right\} = \left\{ \frac{L\left(\mathbf{\theta} | \mathbf{X}\right)}{L\left(\mathbf{\theta}_0 | \mathbf{X}\right)} < 1 \right\} = \left\{ \prod_{j=1}^{n} \frac{f_{X_j}(x_j,\mathbf{\theta})}{f_{X_j}(x_j,\mathbf{\theta}_0)} < 1 \right\} = $$
$$ = \left\{ \frac{1}{n} \sum_{j=1}^{n} \ln \left( \frac{f_{X_j}(x_j, \mathbf{\theta})}{f_{X_j}(x_j, \mathbf{\theta}_0)} \right) < 0 \right\} $$
přitom platí
$$ \frac{1}{n} \sum_{j=1}^{n} \ln \left( \frac{f_{X_j}(x_j,\mathbf{\theta})}{f_{X_j}(x_j,\mathbf{\theta}_0)} \right) \stackrel{\mathrm{P}}{\to} E \left( \ln \frac{f_{X_j}(X_j, \mathbf{\theta})}{f_{X_j}(X_j, \mathbf{\theta}_0)}  \right) $$
a tedy
$$ E_{\mathbf{\theta}_0} \left( \ln \frac{f_{X_j}(X_j,\mathbf{\theta})}{f_{X_j}(X_j,\mathbf{\theta}_0)}  \right) < \ln E \left( \frac{f_{X_j}(X_j,\mathbf{\theta})}{f_{X_j}(X_j,\mathbf{\theta}_0)} \right) = \ln \int_{\mathbb{R}} \frac{f_{X_j}(x_j,\mathbf{\theta})}{f_{X_j}(x_j,\mathbf{\theta}_0)} f_{X_j}(x_j,\mathbf{\theta}_0) dx = \ln 1 = 0 $$
\end{proof}
 
\begin{note}
Pokud je $ \mathbf{\Theta} \subset \mathbb{R}^k $ otevřená množina, $ \mathrm{supp} f $ nezávisí na $ \mathbf{\theta} $ a parciální derivace $ \frac{\partial L}{\partial \theta_j} $ existují pro všechna $ j \in \widehat{k} $, potom je odhad $ \widetilde{\mathbf{\Theta}}_{ML}(\mathbf{X}) $ řešením soustavy  věrohodnostních rovnic
$$ \frac{\partial L(\mathbf{\theta} | \mathbf{x})}{\partial \theta_j} = 0 \ \ \ \ j \in \widehat{k} $$
\end{note}
 
\begin{theorem}
Buďte $ X_1,\dots,X_n $ i.i.d. náhodné veličiny s hustotou $ f(\mathbf{x},\theta) $, $ \theta \in \Theta \subset \mathbb{R} $, přičemž $ \Theta $ je otevřená množina a nechť $ \theta_0 $ je skutečná hodnota parametru. Dále nechť existuje $ \delta' > 0 $ takové, že na intervalu $ (\theta_0 - \delta',\theta_0 + \delta') $ existuje parciální derivace
$$ \frac{\partial l(\theta,\mathbf{x})}{\partial \theta} $$
Potom s pravděpodobností jdoucí k jedné (při $ n \to \infty $) existuje takové řešení věrohodnostních rovnice, které je konsistentním odhadem $ \theta_0 $.
\end{theorem}
 
\begin{proof}
Volme $ \delta < \delta' $ a označme $ l_n = \ln L_n $. Potom
$$ \mathrm{P} \left( l_n(\theta_0) - l_n(\theta_0 - \delta) > 0 \right) \to 1 $$
$$ \mathrm{P} \left( l_n(\theta_0) - l_n(\theta_0 + \delta) > 0 \right) \to 1 $$
takže pro $ \forall \delta < \delta' $ musí (spojitá) funkce $ l_n $ nabývat maxima. Takže věrohodnostní rovnice
$$ \frac{\partial l}{\partial \theta} = 0 $$
má na intervalu $ (\theta_0 - \delta',\theta_0 + \delta') $ řešení s pravděpodobností jdoucí k 1. A to jsme chtěli dokázat.
\end{proof}
 
\begin{theorem}
Buďte $ X_1,\dots,X_n $ i.i.d. náhodné veličiny s hustotou pravděpodobnosti $ f_X(x,\theta) $, $ \theta \in \Theta \subset \mathbb{R} $ kde $ \Theta $ je otevřená množina. Buď 
$$ \mathcal{F} = \left\{ f_X(x,\theta)\ :\ \theta \in \Theta \right\}  $$
regulární systém hustot a nechť platí
$$ \left| \frac{\partial^3 \ln f_X}{\partial \theta^3}(x,\theta) \right| \leq M(x) $$
kde $ EM(X) < \infty $. Potom pro každé konzistentní řešení $ \widehat{\theta}_{ML}(\mathbf{X}) $ věrohodnostní rovnice platí
$$ \sqrt{n}\left( \widehat{\theta}_{ML}(\mathbf{X}) - \theta_0\right) \stackrel{\mathcal{D}}{\to} N\left(0,\frac{1}{\mathcal{I}_X(\theta_0)} \right) $$
tj. $ \widehat{\theta}_{ML}(\mathbf{X}) \sim AN\left(\theta_0,\frac{1}{n \mathcal{I}_X(\theta_0)} \right) $.
\end{theorem}
 
\begin{proof}
Odhad $ \widehat{\theta}_{ML}(\mathbf{X}) $ řeší věrohodnostní rovnici 
$$ \frac{\partial l}{\partial \theta}(\theta, x) = 0 $$
takže $ l'\left( \widehat{\theta}_{ML}(\mathbf{X}) \right) = 0 $. Provedeme Taylorův rozvoj v bodě $ \theta_0 $, tj.
$$ 0 = l'\left( \widehat{\theta}_{ML}(\mathbf{X}) \right) = {l'}_n(\theta_0) + {l''}_n(\theta_0)\left(\left( \widehat{\theta}_{ML}(\mathbf{X}) \right) - \theta_0 \right) + \frac{{l'''}_n(\theta_n^{*})}{2}\left( \left( \widehat{\theta}_{ML}(\mathbf{X}) \right) - \theta_0\right)^2 + \cdots $$
přičemž $ \theta_n^{*} \in (\theta_0,\widehat{\theta}_n ) $ nebo $ \theta_n^{*} \in (\widehat{\theta}_n,\theta_0) $. Potom
$$ \sqrt{n}\left(\widehat{\theta}_n - \theta_0\right) = - \frac{\sqrt{n} \ln'(\theta_0)}{\left[ \ln'' (\theta_0) + \frac{\ln'''(\widehat{\theta}_n^{*})}{2n}(\widehat{\theta}_n - \theta_0) \right]}  $$
přičemž z konzistence řešení $ \widehat{\theta}_n $ vyplývá 
$$ \left( \widehat{\theta}_n - \theta_0 \right) \stackrel{\mathrm{P}}{\to} 0 $$
Ukažme nyní omezenost vztahu
$$ \frac{\ln'''(\widehat{\theta}_n^{*})}{n} = \frac{1}{n} \sum_{1}^{n} \left| {l'''}_1 \left( \widehat{\theta}_n^{*} \right) \right| $$
a protože dle předpokladu je 
$$ \left| \frac{\partial^3 \ln f_X}{\partial \theta^3}(x,\theta) \right|leq M(x) $$
potom dle zákona velkých čísel (Kolmogorov) platí
$$ \frac{{\ln'''}\left( \widehat{\theta}_n^{*} \right)}{n} \leq \frac{1}{n} \sum_{1}^{n} M_n \to EM(X) < \infty $$
Odtud však vyplývá, že
$$ \mathrm{P}\left( \left| \frac{1}{n} \sum_{1}^{n} M_n(X) \right| \leq K \right) \to 1 $$
a celkem tedy
$$ \frac{\ln'''(\widehat{\theta}_n^{*})}{2n}(\widehat{\theta}_n - \theta_0) \stackrel{\mathrm{P}}{\to} 0  $$
Podívejme se nyní na další člen
$$ \frac{1}{n} \ln'' (\theta_0) = \frac{1}{n} \sum_{1}^{n} {l''}_1(\theta_0) \stackrel{s.j.}{\to} E\left( {l''}_1(\theta_0) \right) = E\left[ \frac{\partial^2 f_x }{\partial^2}(\theta_0) \right] = - \mathcal{I}(\theta_0)$$
a pro další člen platí
$$ \frac{1}{\sqrt{n}} \ln'(\theta_0) = \sqrt{n} \left( \frac{1}{n} \ln' (\theta_0) \right) = \sqrt{n} \left(\frac{1}{n} \sum_{1}^{n} {l'}_1 (\theta_0) - E {l'}_1(\theta_0) \right) \stackrel{CLT}{\to} N\left(0,D\left( {l'}_1(\theta_0) \right) \right) $$
Ale současně
$$ D\left( {l'}_1(\theta_0) \right) = E \left( \frac{\partial \log f_X(\theta_0)}{\partial \theta} \right) = \mathcal{I}(\theta_0) $$
přičemž dle Slutskyho lemmatu platí
$$ \sqrt{n}\left( \widehat{\theta}_n - \theta_0 \right) \stackrel{\mathcal{D}}{\to} \frac{1}{\mathcal{I}(\theta_0)} Y $$
protože $ Y \sim N\left(0,\mathcal{I}(\theta_0) \right) $.
 
\end{proof}