01PRA1 2:Kapitola12: Porovnání verzí

Z WikiSkripta FJFI ČVUT v Praze
Přejít na: navigace, hledání
(Založena nová stránka: %\wikiskriptum{01PRA1_2})
 
 
Řádka 1: Řádka 1:
 
%\wikiskriptum{01PRA1_2}
 
%\wikiskriptum{01PRA1_2}
 +
 +
\section{Odhad parametrů rozdělení}
 +
 +
\begin{define}
 +
Libovolná borelovsky měřitelná funkce $\widehat\Theta=
 +
\widehat\Theta(\mathbf X)$ se nazývá odhadem parametrů $\Theta$ na
 +
základě pozorování $X_1,\dots,X_n$. Libovolná borelovsky měřitelná
 +
funkce $T(\mathbf X)$ se nazývá odhadem parametrické funkce
 +
$\tau(\Theta)$.
 +
\end{define}
 +
 +
\begin{define}
 +
$\widehat\Theta$ se nazývá {\bf nestranný odhad} $\Theta$, pokud
 +
$E_{\Theta}(\widehat\Theta)=\Theta$ pro každé
 +
$\Theta\in\boldsymbol\Theta$. Pro parametrickou funkci:
 +
$E_\Theta[T(\mathbf X)]=\tau(\Theta)$.
 +
\end{define}
 +
 +
\begin{define}
 +
Posloupnost odhadů $\posloupnost{1}{\infty}{\Theta_n}$ nazýváme {\bf
 +
konzistentním odhadem} $\Theta$, pokud $\widehat\Theta\kp\Theta$
 +
$\forall\Theta\in\boldsymbol\Theta$. Pro parametrickou funkci:
 +
$T_n(\mathbf X)\kp\tau(\Theta)$.
 +
\end{define}
 +
 +
\begin{define}
 +
$\widehat\Theta_n^*$ nazýváme {\bf eficientním odhadem} $\Theta$,
 +
pokud pro každý jiný $\widehat\Theta_n$ platí
 +
$E(\widehat\Theta_n^*-\Theta)^2\le E(\widehat\Theta_n-\Theta)^2$
 +
$\forall \Theta\in\boldsymbol\Theta$.
 +
\end{define}
 +
 +
\begin{theorem}
 +
Buď $X$ náhodná veličina, $EX^2<+\infty$. Pak $\overline{X_n}$ je
 +
nestranný a konzistentní odhad $EX$.
 +
\begin{proof}
 +
Nestrannost:
 +
\[E\overline{X_n}=\frac1n\sum_{i=1}^n EX_i=EX.\]
 +
Konzistence: Ze zákona velkých čísel plyne $\overline{X_n}\kp EX$.
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}
 +
Buď $X$ náhodná veličina, $EX^4<+\infty$. Pak $\widehat\sigma_n^2$
 +
je konzistentní a asymptoticky nestranný odhad $DX$ a $s_n^2$ je
 +
konzistentní a nestranný odhad $DX$.
 +
\begin{proof}
 +
\[\widehat\sigma_n^2=\frac1n\sum_{i=1}^n(X_i-\overline{X_n})^2\kp DX.\]
 +
\[s_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline{X_n})^2=
 +
\frac{n}{n-1}\widehat\sigma_n^2\kp DX.\]
 +
\[\widehat\sigma_n^2=\frac1n\sum_{i=1}^n X_i^2-(\overline{X_n})^2\]
 +
\[
 +
\begin{split}
 +
E(\overline{X_n})^2&=
 +
E\left(\frac1n\sum_{i=1}^n X_i\right)^2=
 +
\frac1{n^2}E\left(\sum_{i=1}^n X_i^2+
 +
\sum_{\substack{i,j=1\\i\not=j}}^n X_iX_j\right)=\\
 +
&=\frac1{n^2}(nEX^2+n(n-1)(EX)^2)
 +
\end{split}
 +
\]
 +
\[
 +
\begin{split}
 +
EX^2-E(\overline{X_n})^2&=EX^2-\frac{EX^2}n-\frac{n-1}{n}(EX)^2=\\
 +
&=\frac{n-1}{n}(EX^2-(EX)^2)=\frac{n-1}n DX\to DX.
 +
\end{split}
 +
\]
 +
\[
 +
E(s_n^2)=E\left(\frac{n}{n-1}\widehat\sigma_n^2\right)=
 +
\frac{n}{n-1}E(\widehat\sigma_n^2)=DX.
 +
\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
\subsection{Metoda momentů}
 +
 +
Hledáme parametry rozdělení
 +
$\Theta=(\theta_1,\dots,\theta_k)$. Předpokládejme existenci momentů
 +
$\mu_1',\dots,\mu_k'$, $\mu_r'=\mu_r'(\theta_1,\dots,\theta_k)$. Dále
 +
předpokládejme, že
 +
$\boldsymbol\mu'=(\mu_1'(\Theta),\dots,\mu_k'(\Theta))$ je regulární a
 +
prosté, tudíž lze vyjádřit
 +
$\theta_j=\theta_j(\mu_1',\dots,\mu_k')$. Napočítáme výběrové momenty
 +
\[m_r'=\frac1n\sum_{i=1}^n X_i^r\]
 +
a dosadíme za $\mu_1',\dots,\mu_k'$. Dostaneme tak
 +
$\widehat\theta_j=\widehat\theta_j(\mathbf X)$. Analogicky postupujeme
 +
při odhadu $\tau(\Theta)$.
 +
 +
\begin{lemma}
 +
Buď $f:\R^2\to\R$ borelovsky měřitelná v~$(x,y)$ a spojitá v~bodě
 +
$(a,b)$, $X_n\kp a$, $Y_n\kp b$. Pak $f(X_n,Y_n)\kp f(a,b)$.
 +
\begin{proof}
 +
Funkce $f$ je spojitá v~$(a,b)$, právě když
 +
\[(\forall\epsilon>0)(\exists\delta >0)(\forall x)
 +
(\norm{(x,y)-(a,b)}<\delta\implies\abs{f(x,y)-f(a,b)}<\epsilon).\]
 +
Dále platí
 +
\[\max(\abs{x-a},\abs{y-b})<\delta\iff
 +
\abs{x-a}<\delta\wedge\abs{y-b}<\delta.\]
 +
Spojitost funkce $f$ v~$(a,b)$ lze zapsat množinově jako
 +
\[\{\omega|\abs{X(\omega)-a}<\delta\}\cap
 +
\{\omega|\abs{Y(\omega)-b}<\delta\}\subset
 +
\{\omega|\abs{f(X,Y)-f(a,b)}<\epsilon\},\]
 +
\[(\{\omega|\abs{X(\omega)-a}<\delta\}\cap
 +
\{\omega|\abs{Y(\omega)-b}<\delta\})\compl\supset
 +
(\{\omega|\abs{f(X,Y)-f(a,b)}<\epsilon\})\compl.\]
 +
Z~De Morgana pak plyne
 +
\[\{\omega|\abs{X(\omega)-a}\ge\delta\}\cup
 +
\{\omega|\abs{Y(\omega)-b}\ge\delta\}\supset
 +
\{\omega|\abs{f(X,Y)-f(a,b)}\ge\epsilon\}\]
 +
a z~Booleovy nerovnosti
 +
\[P(\abs{X(\omega)-a}\ge\delta)+
 +
P(\abs{Y(\omega)-b}\ge\delta)\ge
 +
P(\abs{f(X,Y)-f(a,b)}\ge\epsilon).\]
 +
Z~této nerovnosti pak okamžitě vyplývá tvrzení věty.
 +
\end{proof}
 +
\end{lemma}
 +
 +
\begin{theorem}
 +
Nechť mezi momenty $(\mu_1,\dots,\mu_k)$ a $(\theta_1,\dots,\theta_k)$
 +
existuje vzájemně jednoznačný vztah a nechť inverzní funkce
 +
$\theta_j=\theta_j(\mu_1',\dots,\mu_k')$ jsou spojitými funkcemi
 +
$\mu_1',\dots,\mu_k'$. Pak odhady metodou momentů
 +
$\widehat\Theta=(\widehat\theta_1,\dots,\widehat\theta_k)$ jsou
 +
konzistentní odhady $\Theta$. Je-li navíc funkce $\tau(\Theta)$
 +
spojitá, pak odhad $T(\mathbf X)$ získaný metodou momentů je
 +
konzistentní odhad $\tau(\Theta)$.
 +
\begin{proof}
 +
Pro $\widehat\theta_j$ platí
 +
\[\widehat\theta_j=\widehat\theta_j(\mathbf X)=
 +
\theta_j(m_1'(\mathbf X),\dots,m_k'(\mathbf X))\kp
 +
\theta_j(\mu_1'(\mathbf X),\dots,\mu_k'(\mathbf
 +
X))=\theta_j,\]
 +
neboť podle zákona velkých čísel $m_r'\kp\mu_r'$. Konvergence
 +
$\widehat\theta_j\kp\theta_j$ pak plyne z~předchozího lemmatu.
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{remark}
 +
Předností metody momentů jsou jednoduché rovnice a to, že dává
 +
konzistentní odhad. Problémy jsou v~předpokladech, protože momenty
 +
vůbec nemusí existovat nebo $\theta_j$ nemusí být spojité.
 +
\end{remark}
 +
 +
\subsection{Nestranné odhady s~minimálním rozptylem (MVUE)}
 +
 +
Mějme dva nestranné konzistentní odhady $\widehat\theta_n^{(1)}$ a
 +
$\widehat\theta_n^{(2)}$. Otázka je, který z~nich je \uv{lepší}. Z
 +
Čebyševovy nerovnosti
 +
\[P(\abs{X-EX}\ge\epsilon)\le\frac{DX}{\epsilon^2}\]
 +
plyne, že pro nestranný odhad $\widehat\theta$ platí
 +
\[P(\abs{\hat\theta-\theta}\ge\epsilon)\le\frac{D\widehat\theta}{\epsilon^2}\]
 +
pro každé $\epsilon$. Jinými slovy menší rozptyl mi zaručuje nižší
 +
pravděpodobnost, že ten odhad \uv{uletí}. Otázka je, jak nízko lze s
 +
rozptylem $D\widehat\theta$ jít.
 +
 +
\begin{define}
 +
Buď $\boldsymbol\Theta\subset\R^1$. Systém hustot
 +
$\mathcal F=\{f(x,\theta)|\theta\in\boldsymbol\Theta\}$ nazveme {\bf
 +
regulárním systémem hustot}, pokud
 +
\begin{enumerate}
 +
\item $\{x|f(x,\theta)>0\}=\supp f$ nezávisí na $\theta$,
 +
\item Parciální derivace
 +
\[\frac{\pd f(x,\theta)}{\pd\theta}\]
 +
existuje a je konečná pro všechna $\theta$ a pro skoro všechna $x$.
 +
\item Střední hodnota
 +
\[E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)=0\]
 +
pro všechna $\theta$.
 +
\item Fisherova míra informace
 +
\[\I(\theta)=E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)^2
 +
\in(0,\infty)\]
 +
pro všechna $\theta$.
 +
\end{enumerate}
 +
\end{define}
 +
 +
\begin{remark}
 +
Bod 3. je splněn, právě když $\int f$ lze derivovat za integrálem:
 +
\[
 +
\begin{split}
 +
E\left(\frac{\pd\ln f(x,\theta)}{\pd\theta}\right)&=
 +
\int\frac{\pd\ln f(x,\theta)}{\pd\theta}f(x,\theta)\,\d x=
 +
\int\frac{f'(x,\theta)}{f(x,\theta)}f(x,\theta)\,\d x=\\
 +
&=\int f'(x,\theta)\,\d x=
 +
\frac{\d}{\d\theta}\int f(x,\theta)\,\d x=0.
 +
\end{split}
 +
\]
 +
Platí, že
 +
\[\I(\theta)=D\left(\frac{\pd\ln f(x,\theta)}{\pd\theta}\right),\]
 +
neboť
 +
\[E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)=0.\]
 +
Body 3. a 4. lze také shrnout následovně: Náhodná veličina $\pd\ln
 +
f/\pd\theta$ má střední hodnotu $0$ a konečný kladný rozptyl.
 +
\end{remark}
 +
 +
\begin{theorem}
 +
Buďte $\mathcal E_1$, $\mathcal E_2$ dva nezávislé experimenty,
 +
$\mathcal E_1$ odpovídá regulární systém hustot
 +
$\mathcal F_1=\{f_1(x,\theta)|\theta\in\boldsymbol\Theta\}$,
 +
$\mathcal E_2$ odpovídá
 +
$\mathcal F_2=\{f_2(x,\theta)|\theta\in\boldsymbol\Theta\}$. Pak
 +
$\I_{X_1,X_2}(\theta)=\I_{X_1}(\theta)+\I_{X_2}(\theta)$.
 +
\begin{proof}
 +
\[
 +
\begin{split}
 +
\I_{X_1,X_2}(\theta)&=\iint\left[
 +
\frac{\pd\ln f_{X_1,X_2}(x_1,x_2,\theta)}{\pd\theta}
 +
\right]^2f_{X_1,X_2}\,\d x_1\d x_2=\\
 +
&=\iint\left[\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)^2+
 +
2\frac{\pd\ln f_{X_1}}{\pd\theta}\frac{\pd\ln f_{X_2}}{\pd\theta}+\right.\\
 +
&\quad+\left.\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)^2
 +
\right]f_{X_1}f_{X_2}\d x_1\d x_2=\\
 +
&=\underbrace{\int\left(\frac{\pd\ln
 +
f_{X_1}}{\pd\theta}\right)^2 f_{X_1}}_{\I_{X_1}(\theta)}
 +
\underbrace{\int f_{X_2}}_1\,\d x_1\d x_2+\\
 +
&\quad+\int\left(\frac{\pd\ln f_{X_2}}{\pd\theta}\right)^2 f_{X_2}
 +
\int f_{X_1}\,\d x_1\d x_2+
 +
E\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)
 +
E\left(\frac{\pd\ln f_{X_2}}{\pd\theta}\right).
 +
\end{split}
 +
\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{dusl}
 +
Buďte $X_1,\dots,X_n$ iid. Potom $\I_{X_1,\dots,X_n}(\theta)=n\I_{X_1}(\theta)$.
 +
\end{dusl}
 +
 +
\begin{remark}
 +
Buď $\{f(x,\theta)\}$ regulární a nechť $\int f$ lze derivovat dvakrát
 +
podle $\theta$ za integrálem. Potom
 +
\[\I(\theta)=-E\left(\frac{\pd^2\ln f}{\pd\theta^2}\right)\]
 +
pro všechna $\theta$.
 +
\begin{proof}
 +
\[0=\frac{\d}{\d\theta}\int f\,\d x=
 +
\int\frac{\pd f}{\pd\theta}\,\d x=
 +
\int\frac{\pd\ln f}{\pd\theta}f\,\d x.\]
 +
\[
 +
0=\frac{\d}{\d\theta}\int\frac{\pd\ln f}{\pd\theta}f\,d x=
 +
\int\frac{\pd^2\ln f}{\pd\theta}f+\int
 +
\frac{\pd\ln f}{\pd\theta}\frac{\pd f}{\pd\theta}=
 +
\int\frac{\pd^2\ln f}{\pd\theta}f+\int
 +
\left(\frac{\pd\ln f}{\pd\theta}\right)^2 f.
 +
\]
 +
\end{proof}
 +
\end{remark}
 +
 +
\begin{theorem}[Rao-Cramerova nerovnost]
 +
Buď $\theta\in\R^1$, $\{f(x,\theta)\}$ regulární systém hustot,
 +
$\tau(\theta)$ diferencovatelná. Nechť $T(\mathbf X)$ je nějaký
 +
nestranný odhad $\tau(\theta)$ takový, že $E(T(\mathbf X))$ je možné
 +
derivovat pod znakem $E$ pro $\forall\theta\in\boldsymbol\Theta$. Pak
 +
\[D(T(\mathbf X))\ge\frac{[\tau'(\theta)]^2}{\I(\theta)}.\]
 +
Rovnost nastává, právě když existuje $K=K(\theta,n)$ tak, že s
 +
pravděpodobností $1$ platí
 +
\[\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)=
 +
K(T(\mathbf X)-\tau(\theta)).\]
 +
\begin{proof}
 +
\[
 +
\begin{split}
 +
\tau'(\theta)&=\frac{\d}{\d\theta}[E(T(\mathbf x))]=
 +
\frac{\d}{\d\theta}
 +
\int T(\mathbf x)f(\mathbf x,\theta)\,\d\mathbf x=
 +
\int T(\mathbf x)\frac{\pd f}{\pd\theta}
 +
(\mathbf x,\theta)\,\d\mathbf x=\\
 +
&=\int T(\mathbf x)\frac{\pd\ln f}{\pd\theta}(\mathbf x,\theta)
 +
f(\mathbf x,\theta)\,\d \mathbf x=
 +
E\left(T(\mathbf X)\frac{\pd\ln f}{\pd\theta}\right)=\\
 +
&=\Cov\left(T(\mathbf X),\frac{\pd\ln f}{\pd\theta}
 +
(\mathbf X,\theta)\right).
 +
\end{split}
 +
\]
 +
Ze Schwarzovy nerovnosti potom vyplývá
 +
\[\abs{\Cov\left(T,\frac{\pd\ln f}{\pd\theta}\right)}^2\le
 +
DT(\mathbf X)D\left(\frac{\pd\ln f}{\pd\theta}\right),\]
 +
tedy $[\tau'(\theta)]^2\le D(T(\mathbf X))\I(\theta)$.
 +
Rovnost nastává právě když
 +
\[\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)-
 +
E\left(\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)\right)=
 +
K(T(\mathbf X)-E(T(\mathbf X)))\]
 +
platí s~pravděpodobností $1$. Z~toho okamžitě plyne tvrzení věty.
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{example}
 +
Nechť $f=N(\mu,1)$, tedy
 +
\[f(x)=\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{(x-\mu)^2}{2}\right).\]
 +
Budeme odhadovat parametr $\mu$.
 +
\[\ln f=-\frac12\ln 2\pi-\frac{(x-\mu)^2}{2},\]
 +
\[\frac{\pd\ln f}{\pd\mu}=(x-\mu),\]
 +
\[\frac{\pd^2\ln f}{\pd\mu^2}=-1.\]
 +
Platí tedy
 +
\[\I(\mu)=-E\left(\frac{\pd^2\ln f}{\pd\mu^2}\right)=-E(-1)=1\]
 +
a dál $\I_n(\mu)=n$, $\tau(\mu)=\mu$, $\rclb(\theta)=1/n$ ($\rclb$ je
 +
{\bf Rao-Cramer Lower Bound}, rozptyl pod který se už nelze dostat). Dále
 +
platí
 +
\[
 +
\begin{split}
 +
\frac{\pd\ln f(\mathbf x,\theta)}{\pd\theta}&=
 +
\frac{\pd\ln\prod_{i=1}^n f(x_i,\theta)}{\pd\theta}=
 +
\sum_{i=1}^n\frac{\pd\ln f}{\pd\theta}(x_i,\theta)=
 +
\sum_{i=1}^n(x_i-\mu)=\\
 +
&=n\left(\frac1n\sum_{i=1}^n X_i-\mu\right)=K(T(\mathbf X)-\mu).
 +
\end{split}
 +
\]
 +
Našli jsme tak $K$, pro které platí rovnost z~Rao-Cramera a tedy
 +
$\overline{X_n}$ je odhad s~minimálním rozptylem.
 +
\end{example}
 +
 +
\begin{remark}
 +
$\rclb$ je dosažitelná, právě když $\{f(x,\theta)\}$ tvoří
 +
jednoparametrickou exponenciální třídu hustot.
 +
\end{remark}
 +
 +
\begin{define}
 +
Buď $\boldsymbol\Theta\subset\R^k$, potom $\{f(x,\Theta)\}$ nazveme
 +
{\bf regulárním systémem hustot}, pokud
 +
\begin{enumerate}
 +
\item $\supp f$ nezávisí na $\Theta$,
 +
\item Parciální derivace
 +
\[\frac{\pd f}{\pd\theta_i}(x,\Theta)\]
 +
existují a jsou konečné pro všechna $i\in\hat k$, pro všechna $\Theta$
 +
a skoro všechna $\mathbf x$.
 +
\item Střední hodnoty
 +
\[E\left(\frac{\pd\ln f}{\pd\theta_i}(X,\Theta)\right)=0\]
 +
pro každé $i\in\hat k$ a pro každé $\Theta$.
 +
\item {\bf Fisherova informační matice}
 +
\[\mathbf I_{ij}(\Theta)=
 +
E\left(\frac{\pd\ln f}{\pd\theta_i}(X,\Theta)\frac{\pd\ln
 +
f}{\pd\theta_j}(X,\Theta)\right)\]
 +
je regulární a konečná
 +
\end{enumerate}
 +
\end{define}
 +
 +
\begin{remark}
 +
\begin{enumerate}
 +
\item \[\Imat_{ij}=-E\left(
 +
\frac{\pd^2\ln f}{\pd\theta_i\pd\theta_j}\right).\]
 +
\item Jsou-li $X_1,\dots,X_n$ iid, pak
 +
$\Imat_{X_1,\dots,X_n}(\Theta)=n\Imat_{X_1}(\Theta)$.
 +
\end{enumerate}
 +
\end{remark}
 +
 +
\begin{theorem}[Rao-Cramerova nerovnost]
 +
Buďte $X_i$ pozorování, $\theta\in\boldsymbol\Theta\subset\R^k$,
 +
$\{f(x,\Theta)|\Theta\}$ regulární systém hustot,
 +
$\tau(\Theta):\boldsymbol\Theta\mapsto\R$, nechť dále existují
 +
derivace
 +
\[\frac{\pd\tau}{\pd\theta_i}\]
 +
pro každé $i\in\hat k$, $T(\mathbf X)$ nestranný odhad $\tau(\Theta)$
 +
a nechť lze zaměnit $\pd/\pd\theta_i$ a $E(T(\mathbf X))$ pro každé
 +
$i$ a každé $\theta$. Pak
 +
\[D(T(\mathbf X))\ge\boldsymbol\tau'(\Theta)\Imat^{-1}
 +
{\boldsymbol\tau'}\trans(\Theta),\]
 +
kde
 +
\[\boldsymbol\tau'(\Theta)=
 +
\left(
 +
\frac{\pd\tau}{\pd\theta_1},\dots,\frac{\pd\tau}{\pd\theta_k}
 +
\right).\]
 +
\begin{proof}
 +
Sestrojíme matici $(k+1)\times(k+1)$:
 +
\[
 +
\mathbf M=
 +
\begin{pmatrix}
 +
D(T(\mathbf X))& \boldsymbol\tau'(\Theta)\\
 +
{\boldsymbol\tau'}\trans(\Theta) & \Imat(\Theta)\\
 +
\end{pmatrix}
 +
\]
 +
\[
 +
\begin{split}
 +
\frac{\pd\tau}{\pd\theta_i}(\Theta)&=\frac{\pd}{\pd\theta_i}
 +
(E(T(\mathbf X)))=\int T(x)\frac{\pd f(x,\Theta)}{\pd\theta_i}\,\d x=\\
 +
&=\int T(x)\frac{\pd\ln f(x,\Theta)}{\pd\theta_i}f(x,\Theta)\,\d x=
 +
E\left(T\frac{\pd\ln f}{\pd\theta_i}\right)=
 +
\Cov\left(T,\frac{\pd\ln f}{\pd\theta_i}\right).
 +
\end{split}
 +
\]
 +
Zavedeme vektor
 +
\[\left(
 +
T(\mathbf X),\frac{\pd\ln f}{\pd\theta_1},\dots,
 +
\frac{\pd\ln f}{\pd\theta_k}
 +
\right).\]
 +
Matice $\mathbf M$ je pozitivně semidefinitní a platí
 +
\[
 +
\begin{split}
 +
0\le\abs{\mathbf M}&=D(T(\mathbf X))\abs{\Imat(\Theta)}
 +
+\sum_{i=1}^k\boldsymbol\tau_i'(\Theta)(-1)^i\abs{\mathbf M_{1,i+1}}=\\
 +
&=D(T(\mathbf X))\abs{\Imat(\Theta)}+\sum_{i=1}^k\boldsymbol\tau_i'(\Theta)
 +
(-1)^i\sum_{j=1}^n(-1)^{j+1}\abs{\Imat_{i,j}(\Theta)}\boldsymbol\tau_j'(\Theta)=\\
 +
&=D(T(\mathbf X))\abs{\Imat(\Theta)}+\sum_{\substack{i=1\\j=1}}^k(-1)^{i+j+1}
 +
\boldsymbol\tau_i'(\Theta)\abs{\Imat_{i,j}(\Theta)}
 +
\boldsymbol\tau_j'(\Theta).
 +
\end{split}
 +
\]
 +
\[
 +
D(T(\boldsymbol X))\ge\sum_{\substack{i=1\\j=1}}^k(-1)^{i+j}
 +
\boldsymbol\tau_i'(\Theta)\frac{\abs{\Imat_{ij}(\Theta)}}{\abs{\Imat(\Theta)}}
 +
{\boldsymbol\tau_j'}\trans(\Theta)=\boldsymbol\tau'(\Theta)\Imat^{-1}
 +
{\boldsymbol\tau'}\trans(\Theta).
 +
\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{example}
 +
Buďte $X_1,\dots,X_n\sim N(\mu,\sigma^2)$, $\Theta=(\mu,\sigma^2)$,
 +
$\Imat(\Theta)=\Imat(\mu,\sigma^2)$,
 +
\[\ln f=-\frac12\ln 2\pi-
 +
\frac12\ln\sigma^2-\frac{(x-\mu)^2}{2\sigma^2}\]
 +
\[\Imat_{1,1}=-E\left(\frac{\pd^2\ln f}{\pd\mu^2}\right)=
 +
-E\left(-\frac1{\sigma^2}\right)=\frac1{\sigma^2}\]
 +
\[\Imat_{1,2}=-E\left(\frac{\pd^2\ln f}{\pd\mu\pd\sigma^2}\right)=
 +
-E\left(\frac{\pd}{\pd\mu}\left(-\frac1{2\sigma^2}+
 +
\frac{(X-\mu)^2}{2\sigma^4}\right)\right)=
 +
E\left(\frac1{\sigma^4}(X-\mu)\right)=0.\]
 +
\[
 +
\begin{split}
 +
\Imat_{2,2}&=-E\left(\frac{\pd^2\ln f}{\pd\sigma^2\pd\sigma^2}\right)=
 +
-E\left(\frac{\pd}{\pd\sigma^2}\left(-\frac1{2\sigma^2}+
 +
\frac{(X-\mu)^2}{2\sigma^4}\right)\right)=\\
 +
&=-\frac{1}{2\sigma^4}+\frac1{\sigma^6}E(X-\mu)^2=
 +
-\frac{1}{2\sigma^4}+\frac1{\sigma^4}=\frac1{2\sigma^4}.
 +
\end{split}
 +
\]
 +
\[
 +
\Imat(\mu,\sigma^2)=
 +
\begin{pmatrix}
 +
\frac{n}{\sigma^2}&0\\
 +
0&\frac{n}{2\sigma^4}
 +
\end{pmatrix}
 +
\]
 +
\[
 +
\Imat^{-1}(\mu,\sigma^2)=
 +
\begin{pmatrix}
 +
\frac{\sigma^2}{n}&0\\
 +
0&\frac{2\sigma^4}{n}
 +
\end{pmatrix}
 +
\]
 +
Buď $\boldsymbol\tau(\mu,\sigma^2)=\mu$, potom
 +
$\boldsymbol\tau'(\mu,\sigma^2)=(1,0)$,
 +
\[D(T(\mathbf X))\ge\frac{\sigma^2}{n}\]
 +
\[D(\overline{X_n})=\frac1{n^2}\sum_{i=1}^n D(X_i)=
 +
\frac1n DX=\frac{\sigma^2}{n}.\]
 +
Buď $\boldsymbol\tau(\mu,\sigma^2)=\sigma^2$,
 +
$\boldsymbol\tau'(\mu,\sigma^2)=(0,1)$,
 +
\[D(T(\mathbf X))\ge\frac{2\sigma^4}{n}.\]
 +
$\rclb$ není dosažitelná nestranným odhadem.
 +
\[s_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline{X_n}^2),\]
 +
\[D(s_n^2)=\frac{2\sigma^4}{n-1}.\]
 +
Pokud se vykašleme na nestrannost, můžeme dosáhnout i nižšího
 +
rozptylu:
 +
\[D(\widehat\sigma_n^2)=\frac{n-1}{n^2}2\sigma^4<\frac{2\sigma^4}{n}=
 +
\rclb(\sigma^2).\]
 +
\end{example}
 +
 +
\begin{remark}
 +
Nedostatky:
 +
\begin{enumerate}
 +
\item Metoda dává pouze nestranné odhady. Odhad, který je \uv{skoro
 +
nestranný} a má menší rozptyl než UMVUE, může být někdy užitečnější.
 +
\item UMVUE vůbec nemusí existovat, případně sice může existovat, ale
 +
je prakticky nepoužitelný.
 +
\end{enumerate}
 +
\end{remark}
 +
 +
\subsection{Asymptotické metody odhadu $\Theta$}
 +
 +
\begin{define}
 +
Buď $\widehat\theta$ nestranný odhad. Říkáme, že $\widehat\theta$ je
 +
{\bf eficientní}, právě když
 +
\[e=\frac{\rclb(\theta)}{D(\widehat\theta)}=1.\]
 +
Říkáme, že $\widehat\theta$ je {\bf asymptoticky eficientní}, právě
 +
když $e\to 1$ pro $n\to\infty$.
 +
 +
Jsou-li $\widehat\theta_1$, $\widehat\theta_2$ nestranné odhady, potom
 +
veličinu
 +
\[e_r=\frac{D(\widehat\theta_1)}{D(\widehat\theta_2)}\]
 +
nazýváme {\bf relativní eficience}.
 +
\end{define}
 +
 +
\begin{define}
 +
Buď $\widehat\Theta_n$ odhad parametru $\Theta_0$. Říkáme, že
 +
$\widehat\Theta_n$ je {\bf asymptoticky nestranný}, právě když
 +
$E(\widehat\Theta_n)\to\Theta_0$.
 +
\end{define}
 +
 +
\begin{define}
 +
Buď $T_n(\mathbf X)$ odhad parametrické funkce $\tau(\theta_0)$.
 +
Říkáme, že $\widehat T_n$ má {\bf asymptoticky normální rozdělení}
 +
se střední hodnotou $0$ a rozptylem $\sigma^2(\theta_0)$, právě když
 +
\[\sqrt{n}(T_n(\mathbf X)-\tau(\theta_0))\kd N(0,\sigma^2(\theta_0)).\]
 +
\end{define}
 +
 +
\begin{remark}
 +
\begin{enumerate}
 +
\item Z~asymptotické normálnosti neplyne nestrannost (ani
 +
asymptotická).
 +
\item Vůbec nemusí platit, že $D(\sqrt{n}T_n)\to\sigma^2(\theta_0)$.
 +
\end{enumerate}
 +
\end{remark}
 +
 +
\begin{define}
 +
Nechť $T_n(\mathbf X)$ je asymptoticky normální odhad
 +
$AN(0,\sigma^2(\theta))$. Říkáme, že $T_n$ je eficientní
 +
(resp. asymptoticky eficientní), právě když
 +
\[\sigma^2=\frac{(\tau'(\theta))^2}{\I_1(\theta)}.\]
 +
\end{define}
 +
 +
\begin{theorem}
 +
Buďte $X_1,\dots,X_n\sim f_X(x,\theta)$,
 +
$\theta\in\boldsymbol\Theta\subset\R$, $\boldsymbol\Theta$ je otevřená
 +
množina, nechť
 +
\begin{enumerate}
 +
\item $\supp f$ nezávisí na $\theta$,
 +
\item $\frac{\pd f}{\pd\theta}$ a $\frac{\pd^2 f}{\pd\theta^2}$
 +
existují a jsou spojité v~$\theta$,
 +
\item lze zaměnit $\int f$ a $\frac{\pd}{\pd\theta}$,
 +
\item Fisherova míra informace $0<\I(\theta)<\infty$,
 +
\item
 +
\[\abs{\frac{\pd^2\ln f}{\pd\theta^2}}\le M(x),\]
 +
kde $E(M(x))<\infty$.
 +
\end{enumerate}
 +
Pak pro každý asymptoticky normální odhad
 +
\[\sqrt{n}(T_N(\mathbf X)-\tau(\theta))\kd N(0,\sigma^2(\theta))\]
 +
platí
 +
\[\sigma^2(\theta)\ge\frac{\tau'(\theta)}{\I_1(\theta)}\]
 +
až na množinu Lebesguovy míry 0.
 +
\end{theorem}
 +
 +
\begin{remark}
 +
\begin{enumerate}
 +
\item Body, pro které uvedená nerovnost neplatí, nazýváme {\bf body
 +
supereficience}.
 +
\item Je-li $\I(\theta)$ spojitá na $\boldsymbol\Theta$, je spojitá i
 +
$\sigma^2(\theta)$ a nerovnost platí všude.
 +
\end{enumerate}
 +
\end{remark}
 +
 +
\begin{theorem}
 +
Pokud $\sqrt{n}(T_n-\tau)\ksd{\boldsymbol\Theta}N(0,\sigma^2)$, pak
 +
výše uvedená nerovnost platí pro každé $\theta$.
 +
\end{theorem}
 +
 +
\begin{define}
 +
Pro asymptoticky normální odhady $T_n^{(1)}\sim
 +
AN(0,\sigma_1^2(\theta))$, $T_n^{(2)}\sim AN(0,\sigma_2^2(\theta))$
 +
definujeme {\bf asymptotickou relativní eficienci}
 +
\[\mathrm{ARE}=\frac{\sigma_1^2(\theta)}{\sigma_2^2(\theta)}.\]
 +
\end{define}
 +
 +
\subsection{Odhady metodou maximální věrohodnosti}
 +
 +
\begin{define}
 +
Buďte $\mathbf X=(X_1,\dots,X_n)$ nezávislá pozorování s~rozdělením
 +
\[f_{\mathbf X}(\mathbf x,\Theta)=\prod_{j=1}^n f_{X_j}(x_j,\Theta).\]
 +
Potom libovolnou funkci $L(\Theta|\mathbf x)=c(\mathbf x)f_{\mathbf
 +
X}(\mathbf x,\Theta)$ nazýváme {\bf věrohodnostní funkcí}. Funkci
 +
$l(\Theta|\mathbf x)=\ln L(\Theta|\mathbf x)$ nazýváme {\bf
 +
logaritmickou věrohodnostní funkcí}.
 +
\end{define}
 +
 +
Odhadem metodou maximální věrohodnosti se rozumí odhad
 +
\[\widehat\Theta_\mle=
 +
\widehat\Theta_\mle(\mathbf X)=
 +
\arg\sup_{\Theta\in\boldsymbol\Theta}L(\Theta|\mathbf X),\]
 +
za předpokladu, že $\sup L$ existuje a je konečné, že
 +
$\widehat\Theta_\mle$ závisí na $\mathbf X$ a že je
 +
$\widehat\Theta_\mle$ určen
 +
jednoznačně.
 +
 +
Pro $\tau(\Theta)$ definujeme $T_\mle(\mathbf X)=\tau(
 +
\widehat\Theta_\mle)$.
 +
 +
\begin{lemma}[Jensenova nerovnost]
 +
Buď $\Phi(t)$ konvexní (resp. konkávní) funkce. Pak
 +
$E(\Phi(X))\ge\Phi(EX)$ (resp. $E(\Phi(X))\le\Phi(EX)$).
 +
\begin{proof}
 +
Buď $L(t)$ tečna k~$\Phi(t)$ v~bodě $EX$.
 +
Platí, že
 +
\[
 +
E(L(X))=E(\alpha X+\beta)=\alpha EX+\beta=L(EX).
 +
\]
 +
Potom $E(\Phi(X))\ge E(L(X))=L(EX)=\Phi(EX)$. Analogicky pro konkávní
 +
funkci.
 +
\end{proof}
 +
\end{lemma}
 +
 +
\begin{theorem}
 +
Buďte $X_1,\dots,X_n$ iid s~rozdělením $f(x_i,\theta)$,
 +
$\theta\in\boldsymbol\Theta\subset\R^1$, nechť $EX_1<\infty$. Pak
 +
\[\lim_{n\to\infty}P(L(\theta_0)>L(\theta))=1,\]
 +
kde $\theta_0$ je skutečná hodnota parametru $\theta$ a
 +
$\theta\not=\theta_0$ je libovolný bod z~$\boldsymbol\Theta$.
 +
\begin{proof}
 +
Platí, že
 +
\[
 +
\begin{split}
 +
\{L(\theta_0)>L(\theta)\}&=
 +
\left\{\frac{L(\theta)}{L(\theta_0)}<1\right\}=
 +
\left\{\log\frac{L(\theta)}{L(\theta_0)}<0\right\}=\\
 +
&=\left\{\log\frac{\prod_{i=1}^n f(x_i,\theta)}
 +
{\prod_{i=1}^n f(x_i,\theta_0)}<0\right\}=
 +
\left\{\frac1n\sum_{i=1}^n\log\frac{f(x_i,\theta)}{f(x_i,\theta_0)}<0\right\},
 +
\end{split}
 +
\]
 +
přičemž
 +
\[
 +
\frac1n\sum_{i=1}^n\log\frac{f(x_i,\theta)}{f(x_i,\theta_0)}
 +
\kp
 +
E\left(\log\frac{f(X,\theta)}{f(X,\theta_0)}\right).
 +
\]
 +
Potom
 +
\[
 +
\begin{split}
 +
E_{\theta_0}\left(
 +
\log\frac{f(X,\theta)}{f(X,\theta_0)}
 +
\right)&<
 +
\log E_{\theta_0}\left(\frac{f(X,\theta)}{f(X,\theta_0)}\right)
 +
=\log\int_\R\frac{f(x,\theta)}{f(x,\theta_0)}f(x,\theta_0)\,\d x=\\
 +
&=\log 1=0.
 +
\end{split}
 +
\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
V~praxi se používá hlavně $l(\theta,x)$, protože hodně rozdělení je
 +
exponenciálního typu.
 +
 +
Jsou-li splněny předpoklady
 +
\begin{enumerate}
 +
\item $\sup l$ se nabývá ve vnitřním bodě $\boldsymbol\Theta$,
 +
\item $\supp l=\supp f_X$ nezávisí na $\Theta$,
 +
\item existuje $\frac{\pd l(\Theta|\mathbf X)}{\pd\theta_i}$,
 +
\end{enumerate}
 +
pak $\widehat\Theta_\mle$ lze najít řešením soustavy
 +
věrohodnostních rovnic
 +
\[\frac{\pd l(\Theta|\mathbf X)}{\pd\theta_i}.\]
 +
 +
\begin{example}
 +
Buď $X\sim N(\mu,\sigma^2)$, $\Theta(\mu,\sigma)$, $X_1,\dots,X_n$
 +
pozorování na $X$.
 +
\[
 +
\begin{split}
 +
L(\mu,\sigma^2|\mathbf x)&=
 +
\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp
 +
\left(-\frac{1}{2\sigma^2}(X_i-\mu)^2\right)=\\
 +
&=\frac1{(\sqrt{2\pi})^n\sigma^n}\exp
 +
\left(-\frac1{2\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\right),
 +
\end{split}
 +
\]
 +
\[
 +
l(\mu,\sigma^2|\mathbf x)=-\frac{n}2\ln 2\pi-\frac{n}2\ln\sigma^2-
 +
\frac1{2\sigma^2}\sum_{i=1}^n(X_i-\mu)^2.
 +
\]
 +
Po provedení derivací dostáváme věrohodnostní rovnice:
 +
\[
 +
\frac{\pd l}{\pd\mu}=\frac1{\sigma^2}
 +
\sum_{i=1}^n(X_i-\mu)=0,
 +
\]
 +
\[
 +
\frac{\pd l}{\pd\sigma^2}=-\frac{n}2\frac1{\sigma^2}+
 +
\frac1{2\sigma^4}\sum_{i=1}^n(X_i-\mu)^2=0.
 +
\]
 +
Tyto rovnice řeší
 +
\[\widehat\mu_\mle=\overline{X_n},\quad\widehat\sigma_\mle^2=
 +
\frac1n\sum_{i=1}^n(X_i-\overline{X_n})=\widehat\sigma_n^2.\]
 +
\end{example}
 +
 +
\begin{theorem}
 +
Nechť systém hustot
 +
$\{f(x|\theta)|\theta\in\boldsymbol\Theta\subset\R^1\}$ je regulární,
 +
nechť $\widehat\theta(\mathbf X)$ je nestranný odhad $\theta$ takový,
 +
že $D(\widehat\theta)=\rclb(\theta)$. Pak $\widehat\theta$ je řešením
 +
věrohodnostních rovnic.
 +
\begin{proof}
 +
V~Rao-Cramerově nerovnosti nastává rovnost, takže existuje $K(\theta)$
 +
taková, že
 +
\[\frac{\pd\ln f_{\mathbf X}}{\pd\theta}=
 +
K(\theta)(\widehat\theta(\mathbf X)-\theta).\]
 +
Je-li $\widehat\theta=\theta$, pak se to rovná nule.
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}
 +
Nechť systém hustot
 +
$\{f(x|\theta)|\theta\in\boldsymbol\Theta\subset\R^1\}$ je regulární a
 +
nechť jsou splněny předpoklady Rao-Cramerovy nerovnosti, nechť
 +
$\tau(\theta)$ je prostá, nestranný odhad $T(\mathbf X)$ funkce
 +
$\tau(\theta)$ je jednoznačný a $DT=\rclb$. Pak věrohodnostní rovnice
 +
má právě jedno řešení, toto řešení je funkcí $T(\mathbf X)$ a je MLE.
 +
\begin{proof}
 +
Existence řešení vyplývá opět z~Rao-Cramerovy nerovnosti:
 +
\[\frac{\pd\ln f_{\mathbf X}}{\pd\theta}=
 +
K(\theta)(T(\mathbf X)-\tau(\theta))=0.\]
 +
Věrohodnostní rovnice splňuje
 +
$\widehat\theta=\tau^{-1}(T(\mathbf X))$. Dále, protože
 +
$0<\I_n(\theta)<\infty$, je
 +
\[\frac{\pd^2\ln f_{\mathbf X}}{\pd\theta^2}=
 +
K'(\theta)(T(\mathbf X)-\tau(\theta))-K(\theta)\tau'(\theta)\]
 +
\[\underbrace{E\left(\frac{\pd^2\ln f_{\mathbf X}}
 +
{\pd\theta^2}\right)}_{-\I_n(\theta)}=
 +
K'(\theta)(\underbrace{ET(\mathbf X)}_{\tau(\theta)}
 +
-\tau(\theta))-K(\theta)\tau'(\theta),\]
 +
takže $K(\theta)\tau'(\theta)=\I_n(\theta)>0$ a proto
 +
$K(\theta)\not=0$. Pro druhou derivaci platí
 +
\[\frac{\pd^2\ln f}{\pd\theta^2}(\widehat\theta)=0-\I_n(\widehat\theta)<0,\]
 +
je tam maximum a tedy odhad je MLE.
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}
 +
Buďte $X_1,\dots,X_n$ iid s~rozdělením $f(x,\theta)$,
 +
$\theta\in\boldsymbol\Theta\subset\R$, $\boldsymbol\Theta$ je otevřená
 +
množina, $\theta_0$ skutečná hodnota parametru. Nechť existuje
 +
$\frac{\pd\ln f}{\pd\theta}(x,\theta)$ na okolí
 +
$(\theta_0-\delta,\theta_0+\delta)$. Pak s~pravděpodobností jdoucí k~1
 +
pro $n\to\infty$ má věrohodnostní rovnice kořen $\widehat\theta_n$ ,
 +
který je konzistentním odhadem $\theta_0$.
 +
\begin{proof}
 +
Protože $P(L(\theta_0)>L(\theta))\to 1$, pro libovolné $\delta$ platí
 +
$P(l(\theta_0+\delta)-l(\theta_0)<0)\to 1$ a
 +
$P(l(\theta_0-\delta)-l(\theta_0)<0)\to 1$. Funkce $l$ je spojitá v
 +
$\theta$ a existuje derivace $\frac{\pd l}{\pd\theta}$. Z~toho
 +
vyplývá, že $l$ má na $(\theta_0-\delta,\theta_0+\delta)$ nějaké
 +
lokální maximum. Jelikož to platí pro libovolné $\delta$, s
 +
pravděpodobností jdoucí k~$1$ platí $\frac{\pd
 +
l}{\pd\theta}(\theta_0)=0$ a toto řešení je jednoznačné. Z~toho
 +
vyplývá tvrzení věty.
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{lemma}[Slutsky]
 +
Nechť $X_n\kd X$ a $Y_n\kp c$ ($c<\infty$). Pak
 +
\begin{enumerate}
 +
\item $X_n+Y_n\kd X+c$,
 +
\item $X_nY_n\kd cX$,
 +
\item $X_n/Y_n\kd X/c$ ($c\not=0$).
 +
\end{enumerate}
 +
\end{lemma}
 +
 +
\begin{theorem}
 +
Buďte $X_1,\dots,X_n$ iid s~rozdělením
 +
$f(x,\theta)$, $\theta\in\boldsymbol\Theta\subset\R$,
 +
$\boldsymbol\Theta$ je otevřená množina. Nechť
 +
\begin{enumerate}
 +
\item $\supp f$ nezávisí na $\theta$,
 +
\item existuje $\frac{\pd f}{\pd\theta_i}$ pro každé $\theta$ a skoro
 +
všechna $x$,
 +
\item $\int f'=0$, $\int f''=0$,
 +
\item $0<\I(\theta)<\infty$,
 +
\item pro každé $\theta$ a skoro všechna $x$ je
 +
\[\abs{\frac{\pd^3\log f}{\pd\theta^3}(\theta,x)}\le M(x),\]
 +
kde $EM(X)<\infty$.
 +
\end{enumerate}
 +
Pak pro každé konzistentní řešení věrohodnostní rovnice (označme ho
 +
$\widehat\theta_n$) platí
 +
\[\sqrt{n}(\widehat\theta_n-\theta)\kd N
 +
\left(0,\frac1{\I(\theta)}\right).\]
 +
\begin{proof}
 +
Nechť odhad $\widehat\theta_n$ řeší věrohodnostní rovnici a je
 +
konzistentní. Nechť $\theta_0$ je skutečná hodnota parametru. Potom
 +
\[0=l_n'(\widehat\theta_n)=l_n'(\theta_0)+
 +
(\widehat\theta_n-\theta_0)l_n''(\theta_0)+
 +
\frac12(\widehat\theta_n-\theta_0)^2l'''(\widehat\theta_*),\]
 +
kde $\widehat\theta_*\in(\widehat\theta_n,\theta_0)$ nebo
 +
$\in(\theta_0,\widehat\theta_n)$.
 +
\[
 +
\begin{split}
 +
\sqrt{n}(\widehat\theta_n-\theta_0)&=\frac{-\sqrt{n}\,l_n'(\theta_0)}
 +
{l_n''(\theta_0)+\frac12(\widehat\theta_n-\theta_0)l'''
 +
(\widehat\theta_*)}=\\
 +
&=\frac{-\frac1{\sqrt{n}}\,l_n'(\theta_0)}
 +
{\frac1n l_n''(\theta_0)+\frac1{2n}(\widehat\theta_n-\theta_0)l'''
 +
(\widehat\theta_*)}.
 +
\end{split}
 +
\]
 +
Z~konzistence $\widehat\theta_n$ plyne $(\widehat\theta_n-\theta_0)\kp
 +
0$. Ze zákona velkých čísel plyne konvergence
 +
\[\frac1n l_n''(\theta_0)=\frac1n\sum_{j=1}^nl_j''(\theta_0)\kp
 +
E(l_j''(\theta_0))=-\I_1(\theta)\]
 +
a
 +
\[\abs{\frac1n l_n'''(\widehat\theta_*)}=
 +
\abs{\frac1n\sum_{j=1}^n l_j'''(\widehat\theta_*)}\le
 +
\frac1n\sum_{j=1}^n
 +
\abs{l_j'''(\widehat\theta_*)}\le
 +
\frac1n\sum_{j=1}^n M(x)\kp E(M(X))<\infty.\]
 +
Z~toho vyplývá, že
 +
\[P\left(\abs{\frac1n l_n'''(\widehat\theta_*)}\le K\right)\to 1.\]
 +
Z~centrálního limitního teorému ($\sqrt{n}(\overline{X_n}-\mu)\kd
 +
N(0,\sigma^2)$) plyne (z bodu 3 vyplývá, že $E(l_1'(\theta_0))=0$)
 +
\[
 +
\begin{split}
 +
\frac1{\sqrt{n}}l_n'(\theta_0)&=
 +
\sqrt{n}\left(\frac1n l_n'(\theta_0)\right)=\\
 +
&=\sqrt{n}\left(\frac1n\sum_{j=1}^n
 +
l_j'(\theta_0)-\underbrace{E(l_1'(\theta_0))}_{0}\right)
 +
\kd N(0,D(l_1'(\theta_0)))=N(0,I(\theta_0)).
 +
\end{split}
 +
\]
 +
Z~předchozího lemmatu pak
 +
\[\sqrt{n}(\widehat\theta_n-\theta_0)\kd
 +
\frac{N(0,\I(\theta_0))}{\I(\theta_0)}=
 +
N\left(0,\frac1{\I(\theta_0)}\right).\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{dusl}
 +
Odhad $\widehat\theta_n$ je asymptoticky eficientní, protože
 +
$\tau(\theta)=\theta$ a $\tau'(\theta)=1$.
 +
\end{dusl}
 +
 +
\begin{remark}
 +
\begin{enumerate}
 +
\item Pokud existuje právě jedno řešení věrohodnostních rovnic, je
 +
MLE, konzistentní, asymptoticky normální a eficientní.
 +
\item Zkratkou ELE se někdy označují eficientní věrohodnostní odhady.
 +
\end{enumerate}
 +
\end{remark}
 +
 +
\begin{theorem}
 +
Buďte $\Theta=(\theta_1,\dots,\theta_k)$, $\widehat\Theta$
 +
konzistentní řešení soustavy věrohodnostních rovnic a nechť platí
 +
ostatní předpoklady analogické předchozí větě. Pak
 +
$\sqrt{n}(\widehat\Theta_n-\Theta)\kd N_k(0,\Imat^{-1}(\Theta))$.
 +
\end{theorem}
 +
 +
\begin{remark}
 +
Nevýhody metody MLE:
 +
\begin{enumerate}
 +
\item Rovnice se dost špatně řeší.
 +
\item I~když se řešení najde, neví se, zda je to globální maximum.
 +
\item MLE je jen asymptoticky eficientní, existují odhady, které jsou
 +
pro dané $n$ lepší.
 +
\end{enumerate}
 +
\end{remark}
 +
 +
\begin{define}
 +
Buďte $X_1,\dots,X_n$ pozorování. Říkáme, že $X_1,\dots,X_n$ mají {\bf
 +
sdružené normální rozdělení}, pokud
 +
\begin{enumerate}
 +
\item existuje $\mathbf Z=\lceil Z_1,\dots,Z_n\rceil$, kde $Z_j\sim
 +
N(0,1)$ a jsou nezávislé,
 +
\item existuje $\boldsymbol\mu=\lceil\mu_1,\dots,\mu_n\rceil$, kde
 +
$\mu_j\in\R$ jsou konstanty,
 +
\item existuje nesingulární matice $\mathbf A$
 +
\end{enumerate}
 +
tak, že $\mathbf X=\mathbf A\mathbf Z+\boldsymbol\mu$.
 +
\end{define}
 +
 +
Najdeme analytický tvar rozdělení $f_{\mathbf X}(\mathbf x)$.
 +
\[
 +
f_{\mathbf Z}(\mathbf z)=\prod_{j=1}^n f_{Z_j}(z_j)=
 +
\prod_{j=1}^n\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{z_j^2}{2}\right)=
 +
\frac{1}{(2\pi)^{n/2}}\exp\left(-\frac12\mathbf z\trans\mathbf
 +
z\right).
 +
\]
 +
Použijeme transformaci $\mathbf z=\mathbf A^{-1}(\mathbf
 +
x-\boldsymbol\mu)$, $\abs{\J_{\phi^{-1}}}=\abs{\det\mathbf A^{-1}}$
 +
\[
 +
\begin{split}
 +
f_{\mathbf X}(\mathbf x)&=\abs{\det\mathbf A^{-1}}f_{\mathbf Z}
 +
(\mathbf A^{-1}(\mathbf x-\boldsymbol\mu))=\\
 +
&=\frac1{(2\pi)^{n/2}}\abs{\det\mathbf A^{-1}}
 +
\exp\left(\frac12(\mathbf x-\boldsymbol\mu)(\mathbf A^{-1})\trans
 +
\mathbf A^{-1}(\mathbf x-\boldsymbol\mu)\right).
 +
\end{split}
 +
\]
 +
Označme $\mathbf C=\mathbf A\mathbf A\trans$, potom
 +
$\abs{(\mathbf A^{-1})\trans}\abs{\mathbf A^{-1}}=
 +
\abs{\mathbf C^{-1}}$, $\abs{\mathbf A^{-1}}=\sqrt{\abs{\mathbf
 +
C^{-1}}}$. Tedy
 +
\[
 +
f_{\mathbf X}(\mathbf x)=\frac{1}{(2\pi)^{n/2}}\sqrt{\abs{\mathbf C^{-1}}}
 +
\exp\left(-\frac12(\mathbf x-\boldsymbol\mu)\trans\mathbf C^{-1}
 +
(\mathbf x-\boldsymbol\mu)\right)
 +
\]
 +
 +
\begin{lemma}
 +
Matice $\mathbf C^{-1}$ je symetrická a pozitivně definitní.
 +
\begin{proof}
 +
\[(\mathbf C^{-1})\trans=((\mathbf A^{-1})\trans\mathbf A^{-1})\trans=
 +
(\mathbf A^{-1})\trans\mathbf A^{-1}=\mathbf C^{-1}.\]
 +
\[\mathbf x\trans\mathbf C^{-1}\mathbf x=
 +
\mathbf x\trans((\mathbf A^{-1})\trans\mathbf A^{-1})\mathbf x=
 +
(\mathbf A^{-1}\mathbf x)\trans(\mathbf A^{-1}\mathbf x)>0.\]
 +
\end{proof}
 +
\end{lemma}
 +
 +
\begin{theorem}
 +
Nechť $X_1,\dots,X_n$ mají $N_n$. Pak $\boldsymbol\mu=E\mathbf X$ a $\mathbf
 +
C=\Cov(\mathbf X)$.
 +
\begin{proof}
 +
\[E\mathbf X=E(\mathbf A\mathbf Z+\boldsymbol\mu)=
 +
\mathbf AE(\mathbf Z)+E\boldsymbol\mu=\boldsymbol\mu.\]
 +
\[
 +
\begin{split}
 +
\Cov(\mathbf X)&=E(\mathbf X-\boldsymbol\mu)
 +
(\mathbf X-\boldsymbol\mu)\trans=\\
 +
&=\int_{\R^n}(\mathbf x-\boldsymbol\mu)(\mathbf x-\boldsymbol\mu)\trans
 +
\frac{1}{(2\pi)^{n/2}}\frac{1}{\sqrt{\abs{\mathbf C}}}\\
 +
&\quad\exp\left(-\frac12(\mathbf x-\boldsymbol\mu)\trans
 +
\mathbf C^{-1}(\mathbf x-\boldsymbol\mu)\right)\,\d\mathbf x=\\
 +
&=\frac{1}{(2\pi)^{n/2}}\int_{\R^n}
 +
\exp\left(-\frac12\mathbf z\trans\mathbf A\trans\mathbf C^{-1}
 +
\mathbf A\mathbf z\right)\mathbf A\mathbf z\mathbf z\trans\mathbf
 +
A\trans\,\d\mathbf z=\\
 +
&=\frac{1}{(2\pi)^{n/2}}\mathbf A\underbrace{\int_{\R^n}
 +
\mathbf z\mathbf z\trans\exp\left(-\frac12 \mathbf z\trans
 +
\mathbf z\right)}_{\mathbf Q}\mathbf A\trans\,\d\mathbf z=\mathbf A\mathbf
 +
A\trans=\mathbf C,
 +
\end{split}
 +
\]
 +
neboť
 +
\[
 +
\begin{split}
 +
\mathbf Q_{jj}&=\int_{\R^n}
 +
z_j^2\exp\left(-\frac12\sum_{i=1}^n z_i^2\right)\,\d\mathbf z=\\
 +
&=\int_\R z_j^2\exp\left(-\frac12 z_j^2\right)\,\d z_j
 +
\prod_{i\not=j}^n\int_\R\exp\left(-\frac12 z_k^2\right)\,\d z_k=
 +
(\sqrt{2\pi})^n
 +
\end{split}
 +
\]
 +
a pro $j\not=k$ je $\mathbf Q_{jk}=0$.
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}
 +
Buďte $(X_1,\dots X_n)\sim N_n(\boldsymbol\mu,\mathbf C)$ a $\mathbf
 +
D$ nesingulární matice. Pak
 +
\begin{enumerate}
 +
\item $\mathbf D\mathbf X\sim N_n(\mathbf D\boldsymbol\mu,\mathbf D\mathbf
 +
C\mathbf D\trans)$.
 +
\item $(X_{i_1},\dots,X_{i_n})\sim N_n$.
 +
\item $(X_1,\dots,X_k)\sim N_k(\boldsymbol\mu_{1k},\mathbf
 +
C_{1k})$, kde $\boldsymbol\mu_{1k}=(\mu_1,\dots,\mu_k)$,
 +
\[
 +
\mathbf C_{1k}=\mathbf C
 +
\begin{pmatrix}
 +
1,\dots,k\\
 +
1,\dots,k
 +
\end{pmatrix}.
 +
\]
 +
\item $(X_{i_1},\dots,X_{i_k})\sim N_k$.
 +
\item $X_j\sim N(\mu_j,\sigma_j^2=\mathbf C_{jj})$.
 +
\item $\mathbf k\trans\mathbf X\sim N(\mathbf k\trans\boldsymbol\mu,
 +
\mathbf k\trans\mathbf C\mathbf k)$.
 +
\item $(X_1,\dots X_n)$ jsou nezávislé, právě když $\mathbf C$ je
 +
diagonální.
 +
\end{enumerate}
 +
\end{theorem}

Aktuální verze z 1. 11. 2010, 18:33

PDF [ znovu generovat, výstup z překladu ] Kompletní WikiSkriptum včetně všech podkapitol.
PDF Této kapitoly [ znovu generovat, výstup z překladu ] Přeložení pouze této kaptioly.
ZIPKompletní zdrojový kód včetně obrázků.

Součásti dokumentu 01PRA1_2

součástakcepopisposlední editacesoubor
Hlavní dokument editovatHlavní stránka dokumentu 01PRA1_2Karel.brinda 2. 11. 201012:27
Řídící stránka editovatDefiniční stránka dokumentu a vložených obrázkůValapet2 5. 3. 201618:31
Header editovatHlavičkový souborFucikrad 9. 1. 201213:04 header.tex
Kapitola1 editovatÚvodKarel.brinda 1. 11. 201018:29 kapitola1.tex
Kapitola2 editovatDiskrétní náhodné veličinyKarel.brinda 1. 11. 201018:30 kapitola2.tex
Kapitola3 editovatVícerozměrná diskrétní rozděleníKarel.brinda 1. 11. 201018:30 kapitola3.tex
Kapitola4 editovatAbsolutně spojitá rozděleníValapet2 3. 3. 201610:51 kapitola4.tex
Kapitola5 editovatFunkce náhodných veličinKarel.brinda 1. 11. 201018:31 kapitola5.tex
Kapitola6 editovatPříklady absolutně spojitých rozděleníValapet2 5. 3. 201618:35 kapitola6.tex
Kapitola7 editovatCharakteristiky náhodných veličinKarel.brinda 1. 11. 201018:32 kapitola7.tex
Kapitola8 editovatCharakteristiky vícerozměrných náhodných veličinKarel.brinda 1. 11. 201018:32 kapitola8.tex
Kapitola9 editovatKonvergence na prostoru náhodných veličinKarel.brinda 1. 11. 201018:32 kapitola9.tex
Kapitola10 editovatLimitní věty teorie pravděpodobnostiKarel.brinda 1. 11. 201018:33 kapitola10.tex
Kapitola11 editovatZákladní pojmy ze statistikyKarel.brinda 1. 11. 201018:33 kapitola11.tex
Kapitola12 editovatOdhad parametrů rozděleníKarel.brinda 1. 11. 201018:33 kapitola12.tex

Vložené soubory

soubornázev souboru pro LaTeX
Image:Gauss.eps Gauss.eps
Image:Fisher.eps Fisher.eps
Image:Gamma.eps Gamma.eps
Image:Chi2.eps Chi2.eps
Image:Pravd.eps Pravd.eps
Image:Gauss1.pdf Gauss.pdf
Image:Fisher.eps Fisher.pdf
Image:Gamma.pdf Gamma.pdf
Image:Chi2.pdf Chi2.pdf
Image:Beta.pdf Beta.pdf

Zdrojový kód

%\wikiskriptum{01PRA1_2}
 
\section{Odhad parametrů rozdělení}
 
\begin{define}
Libovolná borelovsky měřitelná funkce $\widehat\Theta=
\widehat\Theta(\mathbf X)$ se nazývá odhadem parametrů $\Theta$ na
základě pozorování $X_1,\dots,X_n$. Libovolná borelovsky měřitelná
funkce $T(\mathbf X)$ se nazývá odhadem parametrické funkce
$\tau(\Theta)$.
\end{define}
 
\begin{define}
$\widehat\Theta$ se nazývá {\bf nestranný odhad} $\Theta$, pokud
$E_{\Theta}(\widehat\Theta)=\Theta$ pro každé
$\Theta\in\boldsymbol\Theta$. Pro parametrickou funkci:
$E_\Theta[T(\mathbf X)]=\tau(\Theta)$.
\end{define}
 
\begin{define}
Posloupnost odhadů $\posloupnost{1}{\infty}{\Theta_n}$ nazýváme {\bf
konzistentním odhadem} $\Theta$, pokud $\widehat\Theta\kp\Theta$
$\forall\Theta\in\boldsymbol\Theta$. Pro parametrickou funkci:
$T_n(\mathbf X)\kp\tau(\Theta)$.
\end{define}
 
\begin{define}
$\widehat\Theta_n^*$ nazýváme {\bf eficientním odhadem} $\Theta$,
pokud pro každý jiný $\widehat\Theta_n$ platí
$E(\widehat\Theta_n^*-\Theta)^2\le E(\widehat\Theta_n-\Theta)^2$
$\forall \Theta\in\boldsymbol\Theta$.
\end{define}
 
\begin{theorem}
Buď $X$ náhodná veličina, $EX^2<+\infty$. Pak $\overline{X_n}$ je
nestranný a konzistentní odhad $EX$.
\begin{proof}
Nestrannost:
\[E\overline{X_n}=\frac1n\sum_{i=1}^n EX_i=EX.\]
Konzistence: Ze zákona velkých čísel plyne $\overline{X_n}\kp EX$.
\end{proof}
\end{theorem}
 
\begin{theorem}
Buď $X$ náhodná veličina, $EX^4<+\infty$. Pak $\widehat\sigma_n^2$
je konzistentní a asymptoticky nestranný odhad $DX$ a $s_n^2$ je
konzistentní a nestranný odhad $DX$.
\begin{proof}
\[\widehat\sigma_n^2=\frac1n\sum_{i=1}^n(X_i-\overline{X_n})^2\kp DX.\]
\[s_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline{X_n})^2=
\frac{n}{n-1}\widehat\sigma_n^2\kp DX.\]
\[\widehat\sigma_n^2=\frac1n\sum_{i=1}^n X_i^2-(\overline{X_n})^2\]
\[
\begin{split}
E(\overline{X_n})^2&=
E\left(\frac1n\sum_{i=1}^n X_i\right)^2=
\frac1{n^2}E\left(\sum_{i=1}^n X_i^2+
\sum_{\substack{i,j=1\\i\not=j}}^n X_iX_j\right)=\\
&=\frac1{n^2}(nEX^2+n(n-1)(EX)^2)
\end{split}
\]
\[
\begin{split}
EX^2-E(\overline{X_n})^2&=EX^2-\frac{EX^2}n-\frac{n-1}{n}(EX)^2=\\
&=\frac{n-1}{n}(EX^2-(EX)^2)=\frac{n-1}n DX\to DX.
\end{split}
\]
\[
E(s_n^2)=E\left(\frac{n}{n-1}\widehat\sigma_n^2\right)=
\frac{n}{n-1}E(\widehat\sigma_n^2)=DX.
\]
\end{proof}
\end{theorem}
 
\subsection{Metoda momentů}
 
Hledáme parametry rozdělení
$\Theta=(\theta_1,\dots,\theta_k)$. Předpokládejme existenci momentů
$\mu_1',\dots,\mu_k'$, $\mu_r'=\mu_r'(\theta_1,\dots,\theta_k)$. Dále
předpokládejme, že
$\boldsymbol\mu'=(\mu_1'(\Theta),\dots,\mu_k'(\Theta))$ je regulární a
prosté, tudíž lze vyjádřit
$\theta_j=\theta_j(\mu_1',\dots,\mu_k')$. Napočítáme výběrové momenty
\[m_r'=\frac1n\sum_{i=1}^n X_i^r\]
a dosadíme za $\mu_1',\dots,\mu_k'$. Dostaneme tak
$\widehat\theta_j=\widehat\theta_j(\mathbf X)$. Analogicky postupujeme
při odhadu $\tau(\Theta)$.
 
\begin{lemma}
Buď $f:\R^2\to\R$ borelovsky měřitelná v~$(x,y)$ a spojitá v~bodě
$(a,b)$, $X_n\kp a$, $Y_n\kp b$. Pak $f(X_n,Y_n)\kp f(a,b)$.
\begin{proof}
Funkce $f$ je spojitá v~$(a,b)$, právě když
\[(\forall\epsilon>0)(\exists\delta >0)(\forall x)
(\norm{(x,y)-(a,b)}<\delta\implies\abs{f(x,y)-f(a,b)}<\epsilon).\]
Dále platí
\[\max(\abs{x-a},\abs{y-b})<\delta\iff
\abs{x-a}<\delta\wedge\abs{y-b}<\delta.\]
Spojitost funkce $f$ v~$(a,b)$ lze zapsat množinově jako
\[\{\omega|\abs{X(\omega)-a}<\delta\}\cap
\{\omega|\abs{Y(\omega)-b}<\delta\}\subset
\{\omega|\abs{f(X,Y)-f(a,b)}<\epsilon\},\]
\[(\{\omega|\abs{X(\omega)-a}<\delta\}\cap
\{\omega|\abs{Y(\omega)-b}<\delta\})\compl\supset
(\{\omega|\abs{f(X,Y)-f(a,b)}<\epsilon\})\compl.\]
Z~De Morgana pak plyne
\[\{\omega|\abs{X(\omega)-a}\ge\delta\}\cup
\{\omega|\abs{Y(\omega)-b}\ge\delta\}\supset
\{\omega|\abs{f(X,Y)-f(a,b)}\ge\epsilon\}\]
a z~Booleovy nerovnosti
\[P(\abs{X(\omega)-a}\ge\delta)+
P(\abs{Y(\omega)-b}\ge\delta)\ge
P(\abs{f(X,Y)-f(a,b)}\ge\epsilon).\]
Z~této nerovnosti pak okamžitě vyplývá tvrzení věty.
\end{proof}
\end{lemma}
 
\begin{theorem}
Nechť mezi momenty $(\mu_1,\dots,\mu_k)$ a $(\theta_1,\dots,\theta_k)$
existuje vzájemně jednoznačný vztah a nechť inverzní funkce
$\theta_j=\theta_j(\mu_1',\dots,\mu_k')$ jsou spojitými funkcemi
$\mu_1',\dots,\mu_k'$. Pak odhady metodou momentů
$\widehat\Theta=(\widehat\theta_1,\dots,\widehat\theta_k)$ jsou
konzistentní odhady $\Theta$. Je-li navíc funkce $\tau(\Theta)$
spojitá, pak odhad $T(\mathbf X)$ získaný metodou momentů je
konzistentní odhad $\tau(\Theta)$.
\begin{proof}
Pro $\widehat\theta_j$ platí
\[\widehat\theta_j=\widehat\theta_j(\mathbf X)=
\theta_j(m_1'(\mathbf X),\dots,m_k'(\mathbf X))\kp
\theta_j(\mu_1'(\mathbf X),\dots,\mu_k'(\mathbf
X))=\theta_j,\]
neboť podle zákona velkých čísel $m_r'\kp\mu_r'$. Konvergence
$\widehat\theta_j\kp\theta_j$ pak plyne z~předchozího lemmatu.
\end{proof}
\end{theorem}
 
\begin{remark}
Předností metody momentů jsou jednoduché rovnice a to, že dává
konzistentní odhad. Problémy jsou v~předpokladech, protože momenty
vůbec nemusí existovat nebo $\theta_j$ nemusí být spojité.
\end{remark}
 
\subsection{Nestranné odhady s~minimálním rozptylem (MVUE)}
 
Mějme dva nestranné konzistentní odhady $\widehat\theta_n^{(1)}$ a
$\widehat\theta_n^{(2)}$. Otázka je, který z~nich je \uv{lepší}. Z
Čebyševovy nerovnosti
\[P(\abs{X-EX}\ge\epsilon)\le\frac{DX}{\epsilon^2}\]
plyne, že pro nestranný odhad $\widehat\theta$ platí
\[P(\abs{\hat\theta-\theta}\ge\epsilon)\le\frac{D\widehat\theta}{\epsilon^2}\]
pro každé $\epsilon$. Jinými slovy menší rozptyl mi zaručuje nižší
pravděpodobnost, že ten odhad \uv{uletí}. Otázka je, jak nízko lze s
rozptylem $D\widehat\theta$ jít.
 
\begin{define}
Buď $\boldsymbol\Theta\subset\R^1$. Systém hustot
$\mathcal F=\{f(x,\theta)|\theta\in\boldsymbol\Theta\}$ nazveme {\bf
regulárním systémem hustot}, pokud
\begin{enumerate}
\item $\{x|f(x,\theta)>0\}=\supp f$ nezávisí na $\theta$,
\item Parciální derivace
\[\frac{\pd f(x,\theta)}{\pd\theta}\]
existuje a je konečná pro všechna $\theta$ a pro skoro všechna $x$.
\item Střední hodnota
\[E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)=0\]
pro všechna $\theta$.
\item Fisherova míra informace
\[\I(\theta)=E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)^2
\in(0,\infty)\]
pro všechna $\theta$.
\end{enumerate}
\end{define}
 
\begin{remark}
Bod 3. je splněn, právě když $\int f$ lze derivovat za integrálem:
\[
\begin{split}
E\left(\frac{\pd\ln f(x,\theta)}{\pd\theta}\right)&=
\int\frac{\pd\ln f(x,\theta)}{\pd\theta}f(x,\theta)\,\d x=
\int\frac{f'(x,\theta)}{f(x,\theta)}f(x,\theta)\,\d x=\\
&=\int f'(x,\theta)\,\d x=
\frac{\d}{\d\theta}\int f(x,\theta)\,\d x=0.
\end{split}
\]
Platí, že
\[\I(\theta)=D\left(\frac{\pd\ln f(x,\theta)}{\pd\theta}\right),\]
neboť
\[E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)=0.\]
Body 3. a 4. lze také shrnout následovně: Náhodná veličina $\pd\ln
f/\pd\theta$ má střední hodnotu $0$ a konečný kladný rozptyl.
\end{remark}
 
\begin{theorem}
Buďte $\mathcal E_1$, $\mathcal E_2$ dva nezávislé experimenty,
$\mathcal E_1$ odpovídá regulární systém hustot
$\mathcal F_1=\{f_1(x,\theta)|\theta\in\boldsymbol\Theta\}$,
$\mathcal E_2$ odpovídá 
$\mathcal F_2=\{f_2(x,\theta)|\theta\in\boldsymbol\Theta\}$. Pak
$\I_{X_1,X_2}(\theta)=\I_{X_1}(\theta)+\I_{X_2}(\theta)$.
\begin{proof}
\[
\begin{split}
\I_{X_1,X_2}(\theta)&=\iint\left[
\frac{\pd\ln f_{X_1,X_2}(x_1,x_2,\theta)}{\pd\theta}
\right]^2f_{X_1,X_2}\,\d x_1\d x_2=\\
&=\iint\left[\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)^2+
2\frac{\pd\ln f_{X_1}}{\pd\theta}\frac{\pd\ln f_{X_2}}{\pd\theta}+\right.\\
&\quad+\left.\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)^2
\right]f_{X_1}f_{X_2}\d x_1\d x_2=\\
&=\underbrace{\int\left(\frac{\pd\ln
f_{X_1}}{\pd\theta}\right)^2 f_{X_1}}_{\I_{X_1}(\theta)}
\underbrace{\int f_{X_2}}_1\,\d x_1\d x_2+\\
&\quad+\int\left(\frac{\pd\ln f_{X_2}}{\pd\theta}\right)^2 f_{X_2}
\int f_{X_1}\,\d x_1\d x_2+
E\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)
E\left(\frac{\pd\ln f_{X_2}}{\pd\theta}\right).
\end{split}
\]
\end{proof}
\end{theorem}
 
\begin{dusl}
Buďte $X_1,\dots,X_n$ iid. Potom $\I_{X_1,\dots,X_n}(\theta)=n\I_{X_1}(\theta)$.
\end{dusl}
 
\begin{remark}
Buď $\{f(x,\theta)\}$ regulární a nechť $\int f$ lze derivovat dvakrát
podle $\theta$ za integrálem. Potom
\[\I(\theta)=-E\left(\frac{\pd^2\ln f}{\pd\theta^2}\right)\]
pro všechna $\theta$.
\begin{proof}
\[0=\frac{\d}{\d\theta}\int f\,\d x=
\int\frac{\pd f}{\pd\theta}\,\d x=
\int\frac{\pd\ln f}{\pd\theta}f\,\d x.\]
\[
0=\frac{\d}{\d\theta}\int\frac{\pd\ln f}{\pd\theta}f\,d x=
\int\frac{\pd^2\ln f}{\pd\theta}f+\int
\frac{\pd\ln f}{\pd\theta}\frac{\pd f}{\pd\theta}=
\int\frac{\pd^2\ln f}{\pd\theta}f+\int
\left(\frac{\pd\ln f}{\pd\theta}\right)^2 f.
\]
\end{proof}
\end{remark}
 
\begin{theorem}[Rao-Cramerova nerovnost]
Buď $\theta\in\R^1$, $\{f(x,\theta)\}$ regulární systém hustot,
$\tau(\theta)$ diferencovatelná. Nechť $T(\mathbf X)$ je nějaký
nestranný odhad $\tau(\theta)$ takový, že $E(T(\mathbf X))$ je možné
derivovat pod znakem $E$ pro $\forall\theta\in\boldsymbol\Theta$. Pak
\[D(T(\mathbf X))\ge\frac{[\tau'(\theta)]^2}{\I(\theta)}.\]
Rovnost nastává, právě když existuje $K=K(\theta,n)$ tak, že s
pravděpodobností $1$ platí
\[\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)=
K(T(\mathbf X)-\tau(\theta)).\]
\begin{proof}
\[
\begin{split}
\tau'(\theta)&=\frac{\d}{\d\theta}[E(T(\mathbf x))]=
\frac{\d}{\d\theta}
\int T(\mathbf x)f(\mathbf x,\theta)\,\d\mathbf x=
\int T(\mathbf x)\frac{\pd f}{\pd\theta}
(\mathbf x,\theta)\,\d\mathbf x=\\
&=\int T(\mathbf x)\frac{\pd\ln f}{\pd\theta}(\mathbf x,\theta)
f(\mathbf x,\theta)\,\d \mathbf x=
E\left(T(\mathbf X)\frac{\pd\ln f}{\pd\theta}\right)=\\
&=\Cov\left(T(\mathbf X),\frac{\pd\ln f}{\pd\theta}
(\mathbf X,\theta)\right).
\end{split}
\]
Ze Schwarzovy nerovnosti potom vyplývá
\[\abs{\Cov\left(T,\frac{\pd\ln f}{\pd\theta}\right)}^2\le
DT(\mathbf X)D\left(\frac{\pd\ln f}{\pd\theta}\right),\]
tedy $[\tau'(\theta)]^2\le D(T(\mathbf X))\I(\theta)$.
Rovnost nastává právě když
\[\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)-
E\left(\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)\right)=
K(T(\mathbf X)-E(T(\mathbf X)))\]
platí s~pravděpodobností $1$. Z~toho okamžitě plyne tvrzení věty.
\end{proof}
\end{theorem}
 
\begin{example}
Nechť $f=N(\mu,1)$, tedy
\[f(x)=\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{(x-\mu)^2}{2}\right).\]
Budeme odhadovat parametr $\mu$.
\[\ln f=-\frac12\ln 2\pi-\frac{(x-\mu)^2}{2},\]
\[\frac{\pd\ln f}{\pd\mu}=(x-\mu),\]
\[\frac{\pd^2\ln f}{\pd\mu^2}=-1.\]
Platí tedy
\[\I(\mu)=-E\left(\frac{\pd^2\ln f}{\pd\mu^2}\right)=-E(-1)=1\]
a dál $\I_n(\mu)=n$, $\tau(\mu)=\mu$, $\rclb(\theta)=1/n$ ($\rclb$ je
{\bf Rao-Cramer Lower Bound}, rozptyl pod který se už nelze dostat). Dále
platí
\[
\begin{split}
\frac{\pd\ln f(\mathbf x,\theta)}{\pd\theta}&=
\frac{\pd\ln\prod_{i=1}^n f(x_i,\theta)}{\pd\theta}=
\sum_{i=1}^n\frac{\pd\ln f}{\pd\theta}(x_i,\theta)=
\sum_{i=1}^n(x_i-\mu)=\\
&=n\left(\frac1n\sum_{i=1}^n X_i-\mu\right)=K(T(\mathbf X)-\mu).
\end{split}
\]
Našli jsme tak $K$, pro které platí rovnost z~Rao-Cramera a tedy
$\overline{X_n}$ je odhad s~minimálním rozptylem.
\end{example}
 
\begin{remark}
$\rclb$ je dosažitelná, právě když $\{f(x,\theta)\}$ tvoří
jednoparametrickou exponenciální třídu hustot.
\end{remark}
 
\begin{define}
Buď $\boldsymbol\Theta\subset\R^k$, potom $\{f(x,\Theta)\}$ nazveme
{\bf regulárním systémem hustot}, pokud
\begin{enumerate}
\item $\supp f$ nezávisí na $\Theta$,
\item Parciální derivace
\[\frac{\pd f}{\pd\theta_i}(x,\Theta)\]
existují a jsou konečné pro všechna $i\in\hat k$, pro všechna $\Theta$
a skoro všechna $\mathbf x$.
\item Střední hodnoty
\[E\left(\frac{\pd\ln f}{\pd\theta_i}(X,\Theta)\right)=0\]
pro každé $i\in\hat k$ a pro každé $\Theta$.
\item {\bf Fisherova informační matice}
\[\mathbf I_{ij}(\Theta)=
E\left(\frac{\pd\ln f}{\pd\theta_i}(X,\Theta)\frac{\pd\ln
f}{\pd\theta_j}(X,\Theta)\right)\]
je regulární a konečná
\end{enumerate}
\end{define}
 
\begin{remark}
\begin{enumerate}
\item \[\Imat_{ij}=-E\left(
\frac{\pd^2\ln f}{\pd\theta_i\pd\theta_j}\right).\]
\item Jsou-li $X_1,\dots,X_n$ iid, pak
$\Imat_{X_1,\dots,X_n}(\Theta)=n\Imat_{X_1}(\Theta)$.
\end{enumerate}
\end{remark}
 
\begin{theorem}[Rao-Cramerova nerovnost]
Buďte $X_i$ pozorování, $\theta\in\boldsymbol\Theta\subset\R^k$,
$\{f(x,\Theta)|\Theta\}$ regulární systém hustot,
$\tau(\Theta):\boldsymbol\Theta\mapsto\R$, nechť dále existují
derivace
\[\frac{\pd\tau}{\pd\theta_i}\]
pro každé $i\in\hat k$, $T(\mathbf X)$ nestranný odhad $\tau(\Theta)$
a nechť lze zaměnit $\pd/\pd\theta_i$ a $E(T(\mathbf X))$ pro každé
$i$ a každé $\theta$. Pak
\[D(T(\mathbf X))\ge\boldsymbol\tau'(\Theta)\Imat^{-1}
{\boldsymbol\tau'}\trans(\Theta),\]
kde
\[\boldsymbol\tau'(\Theta)=
\left(
\frac{\pd\tau}{\pd\theta_1},\dots,\frac{\pd\tau}{\pd\theta_k}
\right).\]
\begin{proof}
Sestrojíme matici $(k+1)\times(k+1)$:
\[
\mathbf M=
\begin{pmatrix}
D(T(\mathbf X))& \boldsymbol\tau'(\Theta)\\
{\boldsymbol\tau'}\trans(\Theta) & \Imat(\Theta)\\
\end{pmatrix}
\]
\[
\begin{split}
\frac{\pd\tau}{\pd\theta_i}(\Theta)&=\frac{\pd}{\pd\theta_i}
(E(T(\mathbf X)))=\int T(x)\frac{\pd f(x,\Theta)}{\pd\theta_i}\,\d x=\\
&=\int T(x)\frac{\pd\ln f(x,\Theta)}{\pd\theta_i}f(x,\Theta)\,\d x=
E\left(T\frac{\pd\ln f}{\pd\theta_i}\right)=
\Cov\left(T,\frac{\pd\ln f}{\pd\theta_i}\right).
\end{split}
\]
Zavedeme vektor
\[\left(
T(\mathbf X),\frac{\pd\ln f}{\pd\theta_1},\dots,
\frac{\pd\ln f}{\pd\theta_k}
\right).\]
Matice $\mathbf M$ je pozitivně semidefinitní a platí
\[
\begin{split}
0\le\abs{\mathbf M}&=D(T(\mathbf X))\abs{\Imat(\Theta)}
+\sum_{i=1}^k\boldsymbol\tau_i'(\Theta)(-1)^i\abs{\mathbf M_{1,i+1}}=\\
&=D(T(\mathbf X))\abs{\Imat(\Theta)}+\sum_{i=1}^k\boldsymbol\tau_i'(\Theta)
(-1)^i\sum_{j=1}^n(-1)^{j+1}\abs{\Imat_{i,j}(\Theta)}\boldsymbol\tau_j'(\Theta)=\\
&=D(T(\mathbf X))\abs{\Imat(\Theta)}+\sum_{\substack{i=1\\j=1}}^k(-1)^{i+j+1}
\boldsymbol\tau_i'(\Theta)\abs{\Imat_{i,j}(\Theta)}
\boldsymbol\tau_j'(\Theta).
\end{split}
\]
\[
D(T(\boldsymbol X))\ge\sum_{\substack{i=1\\j=1}}^k(-1)^{i+j}
\boldsymbol\tau_i'(\Theta)\frac{\abs{\Imat_{ij}(\Theta)}}{\abs{\Imat(\Theta)}}
{\boldsymbol\tau_j'}\trans(\Theta)=\boldsymbol\tau'(\Theta)\Imat^{-1}
{\boldsymbol\tau'}\trans(\Theta).
\]
\end{proof}
\end{theorem}
 
\begin{example}
Buďte $X_1,\dots,X_n\sim N(\mu,\sigma^2)$, $\Theta=(\mu,\sigma^2)$,
$\Imat(\Theta)=\Imat(\mu,\sigma^2)$,
\[\ln f=-\frac12\ln 2\pi-
\frac12\ln\sigma^2-\frac{(x-\mu)^2}{2\sigma^2}\]
\[\Imat_{1,1}=-E\left(\frac{\pd^2\ln f}{\pd\mu^2}\right)=
-E\left(-\frac1{\sigma^2}\right)=\frac1{\sigma^2}\]
\[\Imat_{1,2}=-E\left(\frac{\pd^2\ln f}{\pd\mu\pd\sigma^2}\right)=
-E\left(\frac{\pd}{\pd\mu}\left(-\frac1{2\sigma^2}+
\frac{(X-\mu)^2}{2\sigma^4}\right)\right)=
E\left(\frac1{\sigma^4}(X-\mu)\right)=0.\]
\[
\begin{split}
\Imat_{2,2}&=-E\left(\frac{\pd^2\ln f}{\pd\sigma^2\pd\sigma^2}\right)=
-E\left(\frac{\pd}{\pd\sigma^2}\left(-\frac1{2\sigma^2}+
\frac{(X-\mu)^2}{2\sigma^4}\right)\right)=\\
&=-\frac{1}{2\sigma^4}+\frac1{\sigma^6}E(X-\mu)^2=
-\frac{1}{2\sigma^4}+\frac1{\sigma^4}=\frac1{2\sigma^4}.
\end{split}
\]
\[
\Imat(\mu,\sigma^2)=
\begin{pmatrix}
\frac{n}{\sigma^2}&0\\
0&\frac{n}{2\sigma^4}
\end{pmatrix}
\]
\[
\Imat^{-1}(\mu,\sigma^2)=
\begin{pmatrix}
\frac{\sigma^2}{n}&0\\
0&\frac{2\sigma^4}{n}
\end{pmatrix}
\]
Buď $\boldsymbol\tau(\mu,\sigma^2)=\mu$, potom
$\boldsymbol\tau'(\mu,\sigma^2)=(1,0)$,
\[D(T(\mathbf X))\ge\frac{\sigma^2}{n}\]
\[D(\overline{X_n})=\frac1{n^2}\sum_{i=1}^n D(X_i)=
\frac1n DX=\frac{\sigma^2}{n}.\]
Buď $\boldsymbol\tau(\mu,\sigma^2)=\sigma^2$,
$\boldsymbol\tau'(\mu,\sigma^2)=(0,1)$,
\[D(T(\mathbf X))\ge\frac{2\sigma^4}{n}.\]
$\rclb$ není dosažitelná nestranným odhadem.
\[s_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline{X_n}^2),\]
\[D(s_n^2)=\frac{2\sigma^4}{n-1}.\]
Pokud se vykašleme na nestrannost, můžeme dosáhnout i nižšího
rozptylu:
\[D(\widehat\sigma_n^2)=\frac{n-1}{n^2}2\sigma^4<\frac{2\sigma^4}{n}=
\rclb(\sigma^2).\]
\end{example}
 
\begin{remark}
Nedostatky:
\begin{enumerate}
\item Metoda dává pouze nestranné odhady. Odhad, který je \uv{skoro
nestranný} a má menší rozptyl než UMVUE, může být někdy užitečnější.
\item UMVUE vůbec nemusí existovat, případně sice může existovat, ale
je prakticky nepoužitelný.
\end{enumerate}
\end{remark}
 
\subsection{Asymptotické metody odhadu $\Theta$}
 
\begin{define}
Buď $\widehat\theta$ nestranný odhad. Říkáme, že $\widehat\theta$ je
{\bf eficientní}, právě když
\[e=\frac{\rclb(\theta)}{D(\widehat\theta)}=1.\]
Říkáme, že $\widehat\theta$ je {\bf asymptoticky eficientní}, právě
když $e\to 1$ pro $n\to\infty$.
 
Jsou-li $\widehat\theta_1$, $\widehat\theta_2$ nestranné odhady, potom
veličinu
\[e_r=\frac{D(\widehat\theta_1)}{D(\widehat\theta_2)}\]
nazýváme {\bf relativní eficience}.
\end{define}
 
\begin{define}
Buď $\widehat\Theta_n$ odhad parametru $\Theta_0$. Říkáme, že
$\widehat\Theta_n$ je {\bf asymptoticky nestranný}, právě když
$E(\widehat\Theta_n)\to\Theta_0$.
\end{define}
 
\begin{define}
Buď $T_n(\mathbf X)$ odhad parametrické funkce $\tau(\theta_0)$.
Říkáme, že $\widehat T_n${\bf asymptoticky normální rozdělení}
se střední hodnotou $0$ a rozptylem $\sigma^2(\theta_0)$, právě když
\[\sqrt{n}(T_n(\mathbf X)-\tau(\theta_0))\kd N(0,\sigma^2(\theta_0)).\]
\end{define}
 
\begin{remark}
\begin{enumerate}
\item Z~asymptotické normálnosti neplyne nestrannost (ani
asymptotická).
\item Vůbec nemusí platit, že $D(\sqrt{n}T_n)\to\sigma^2(\theta_0)$.
\end{enumerate}
\end{remark}
 
\begin{define}
Nechť $T_n(\mathbf X)$ je asymptoticky normální odhad
$AN(0,\sigma^2(\theta))$. Říkáme, že $T_n$ je eficientní
(resp. asymptoticky eficientní), právě když
\[\sigma^2=\frac{(\tau'(\theta))^2}{\I_1(\theta)}.\]
\end{define}
 
\begin{theorem}
Buďte $X_1,\dots,X_n\sim f_X(x,\theta)$,
$\theta\in\boldsymbol\Theta\subset\R$, $\boldsymbol\Theta$ je otevřená
množina, nechť
\begin{enumerate}
\item $\supp f$ nezávisí na $\theta$,
\item $\frac{\pd f}{\pd\theta}$ a $\frac{\pd^2 f}{\pd\theta^2}$
existují a jsou spojité v~$\theta$,
\item lze zaměnit $\int f$ a $\frac{\pd}{\pd\theta}$,
\item Fisherova míra informace $0<\I(\theta)<\infty$,
\item
\[\abs{\frac{\pd^2\ln f}{\pd\theta^2}}\le M(x),\]
kde $E(M(x))<\infty$.
\end{enumerate}
Pak pro každý asymptoticky normální odhad
\[\sqrt{n}(T_N(\mathbf X)-\tau(\theta))\kd N(0,\sigma^2(\theta))\]
platí
\[\sigma^2(\theta)\ge\frac{\tau'(\theta)}{\I_1(\theta)}\]
až na množinu Lebesguovy míry 0.
\end{theorem}
 
\begin{remark}
\begin{enumerate}
\item Body, pro které uvedená nerovnost neplatí, nazýváme {\bf body
supereficience}.
\item Je-li $\I(\theta)$ spojitá na $\boldsymbol\Theta$, je spojitá i
$\sigma^2(\theta)$ a nerovnost platí všude.
\end{enumerate}
\end{remark}
 
\begin{theorem}
Pokud $\sqrt{n}(T_n-\tau)\ksd{\boldsymbol\Theta}N(0,\sigma^2)$, pak
výše uvedená nerovnost platí pro každé $\theta$.
\end{theorem}
 
\begin{define}
Pro asymptoticky normální odhady $T_n^{(1)}\sim
AN(0,\sigma_1^2(\theta))$, $T_n^{(2)}\sim AN(0,\sigma_2^2(\theta))$
definujeme {\bf asymptotickou relativní eficienci}
\[\mathrm{ARE}=\frac{\sigma_1^2(\theta)}{\sigma_2^2(\theta)}.\]
\end{define}
 
\subsection{Odhady metodou maximální věrohodnosti}
 
\begin{define}
Buďte $\mathbf X=(X_1,\dots,X_n)$ nezávislá pozorování s~rozdělením
\[f_{\mathbf X}(\mathbf x,\Theta)=\prod_{j=1}^n f_{X_j}(x_j,\Theta).\]
Potom libovolnou funkci $L(\Theta|\mathbf x)=c(\mathbf x)f_{\mathbf
X}(\mathbf x,\Theta)$ nazýváme {\bf věrohodnostní funkcí}. Funkci
$l(\Theta|\mathbf x)=\ln L(\Theta|\mathbf x)$ nazýváme {\bf
logaritmickou věrohodnostní funkcí}.
\end{define}
 
Odhadem metodou maximální věrohodnosti se rozumí odhad
\[\widehat\Theta_\mle=
\widehat\Theta_\mle(\mathbf X)=
\arg\sup_{\Theta\in\boldsymbol\Theta}L(\Theta|\mathbf X),\]
za předpokladu, že $\sup L$ existuje a je konečné, že
$\widehat\Theta_\mle$ závisí na $\mathbf X$ a že je
$\widehat\Theta_\mle$ určen
jednoznačně.
 
Pro $\tau(\Theta)$ definujeme $T_\mle(\mathbf X)=\tau(
\widehat\Theta_\mle)$.
 
\begin{lemma}[Jensenova nerovnost]
Buď $\Phi(t)$ konvexní (resp. konkávní) funkce. Pak
$E(\Phi(X))\ge\Phi(EX)$ (resp. $E(\Phi(X))\le\Phi(EX)$).
\begin{proof}
Buď $L(t)$ tečna k~$\Phi(t)$ v~bodě $EX$. 
Platí, že
\[
E(L(X))=E(\alpha X+\beta)=\alpha EX+\beta=L(EX).
\]
Potom $E(\Phi(X))\ge E(L(X))=L(EX)=\Phi(EX)$. Analogicky pro konkávní
funkci.
\end{proof}
\end{lemma}
 
\begin{theorem}
Buďte $X_1,\dots,X_n$ iid s~rozdělením $f(x_i,\theta)$,
$\theta\in\boldsymbol\Theta\subset\R^1$, nechť $EX_1<\infty$. Pak
\[\lim_{n\to\infty}P(L(\theta_0)>L(\theta))=1,\]
kde $\theta_0$ je skutečná hodnota parametru $\theta$ a
$\theta\not=\theta_0$ je libovolný bod z~$\boldsymbol\Theta$.
\begin{proof}
Platí, že
\[
\begin{split}
\{L(\theta_0)>L(\theta)\}&=
\left\{\frac{L(\theta)}{L(\theta_0)}<1\right\}=
\left\{\log\frac{L(\theta)}{L(\theta_0)}<0\right\}=\\
&=\left\{\log\frac{\prod_{i=1}^n f(x_i,\theta)}
{\prod_{i=1}^n f(x_i,\theta_0)}<0\right\}=
\left\{\frac1n\sum_{i=1}^n\log\frac{f(x_i,\theta)}{f(x_i,\theta_0)}<0\right\},
\end{split}
\]
přičemž
\[
\frac1n\sum_{i=1}^n\log\frac{f(x_i,\theta)}{f(x_i,\theta_0)}
\kp
E\left(\log\frac{f(X,\theta)}{f(X,\theta_0)}\right).
\]
Potom
\[
\begin{split}
E_{\theta_0}\left(
\log\frac{f(X,\theta)}{f(X,\theta_0)}
\right)&<
\log E_{\theta_0}\left(\frac{f(X,\theta)}{f(X,\theta_0)}\right)
=\log\int_\R\frac{f(x,\theta)}{f(x,\theta_0)}f(x,\theta_0)\,\d x=\\
&=\log 1=0.
\end{split}
\]
\end{proof}
\end{theorem}
 
V~praxi se používá hlavně $l(\theta,x)$, protože hodně rozdělení je
exponenciálního typu.
 
Jsou-li splněny předpoklady
\begin{enumerate}
\item $\sup l$ se nabývá ve vnitřním bodě $\boldsymbol\Theta$,
\item $\supp l=\supp f_X$ nezávisí na $\Theta$,
\item existuje $\frac{\pd l(\Theta|\mathbf X)}{\pd\theta_i}$,
\end{enumerate}
pak $\widehat\Theta_\mle$ lze najít řešením soustavy
věrohodnostních rovnic
\[\frac{\pd l(\Theta|\mathbf X)}{\pd\theta_i}.\]
 
\begin{example}
Buď $X\sim N(\mu,\sigma^2)$, $\Theta(\mu,\sigma)$, $X_1,\dots,X_n$
pozorování na $X$.
\[
\begin{split}
L(\mu,\sigma^2|\mathbf x)&=
\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp
\left(-\frac{1}{2\sigma^2}(X_i-\mu)^2\right)=\\
&=\frac1{(\sqrt{2\pi})^n\sigma^n}\exp
\left(-\frac1{2\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\right),
\end{split}
\]
\[
l(\mu,\sigma^2|\mathbf x)=-\frac{n}2\ln 2\pi-\frac{n}2\ln\sigma^2-
\frac1{2\sigma^2}\sum_{i=1}^n(X_i-\mu)^2.
\]
Po provedení derivací dostáváme věrohodnostní rovnice:
\[
\frac{\pd l}{\pd\mu}=\frac1{\sigma^2}
\sum_{i=1}^n(X_i-\mu)=0,
\]
\[
\frac{\pd l}{\pd\sigma^2}=-\frac{n}2\frac1{\sigma^2}+
\frac1{2\sigma^4}\sum_{i=1}^n(X_i-\mu)^2=0.
\]
Tyto rovnice řeší
\[\widehat\mu_\mle=\overline{X_n},\quad\widehat\sigma_\mle^2=
\frac1n\sum_{i=1}^n(X_i-\overline{X_n})=\widehat\sigma_n^2.\]
\end{example}
 
\begin{theorem}
Nechť systém hustot
$\{f(x|\theta)|\theta\in\boldsymbol\Theta\subset\R^1\}$ je regulární,
nechť $\widehat\theta(\mathbf X)$ je nestranný odhad $\theta$ takový,
že $D(\widehat\theta)=\rclb(\theta)$. Pak $\widehat\theta$ je řešením
věrohodnostních rovnic.
\begin{proof}
V~Rao-Cramerově nerovnosti nastává rovnost, takže existuje $K(\theta)$
taková, že
\[\frac{\pd\ln f_{\mathbf X}}{\pd\theta}=
K(\theta)(\widehat\theta(\mathbf X)-\theta).\]
Je-li $\widehat\theta=\theta$, pak se to rovná nule.
\end{proof}
\end{theorem}
 
\begin{theorem}
Nechť systém hustot
$\{f(x|\theta)|\theta\in\boldsymbol\Theta\subset\R^1\}$ je regulární a
nechť jsou splněny předpoklady Rao-Cramerovy nerovnosti, nechť
$\tau(\theta)$ je prostá, nestranný odhad $T(\mathbf X)$ funkce
$\tau(\theta)$ je jednoznačný a $DT=\rclb$. Pak věrohodnostní rovnice
má právě jedno řešení, toto řešení je funkcí $T(\mathbf X)$ a je MLE.
\begin{proof}
Existence řešení vyplývá opět z~Rao-Cramerovy nerovnosti:
\[\frac{\pd\ln f_{\mathbf X}}{\pd\theta}=
K(\theta)(T(\mathbf X)-\tau(\theta))=0.\]
Věrohodnostní rovnice splňuje
$\widehat\theta=\tau^{-1}(T(\mathbf X))$. Dále, protože
$0<\I_n(\theta)<\infty$, je
\[\frac{\pd^2\ln f_{\mathbf X}}{\pd\theta^2}=
K'(\theta)(T(\mathbf X)-\tau(\theta))-K(\theta)\tau'(\theta)\]
\[\underbrace{E\left(\frac{\pd^2\ln f_{\mathbf X}}
{\pd\theta^2}\right)}_{-\I_n(\theta)}=
K'(\theta)(\underbrace{ET(\mathbf X)}_{\tau(\theta)}
-\tau(\theta))-K(\theta)\tau'(\theta),\]
takže $K(\theta)\tau'(\theta)=\I_n(\theta)>0$ a proto
$K(\theta)\not=0$. Pro druhou derivaci platí
\[\frac{\pd^2\ln f}{\pd\theta^2}(\widehat\theta)=0-\I_n(\widehat\theta)<0,\]
je tam maximum a tedy odhad je MLE.
\end{proof}
\end{theorem}
 
\begin{theorem}
Buďte $X_1,\dots,X_n$ iid s~rozdělením $f(x,\theta)$,
$\theta\in\boldsymbol\Theta\subset\R$, $\boldsymbol\Theta$ je otevřená
množina, $\theta_0$ skutečná hodnota parametru. Nechť existuje
$\frac{\pd\ln f}{\pd\theta}(x,\theta)$ na okolí
$(\theta_0-\delta,\theta_0+\delta)$. Pak s~pravděpodobností jdoucí k~1
pro $n\to\infty$ má věrohodnostní rovnice kořen $\widehat\theta_n$ ,
který je konzistentním odhadem $\theta_0$.
\begin{proof}
Protože $P(L(\theta_0)>L(\theta))\to 1$, pro libovolné $\delta$ platí
$P(l(\theta_0+\delta)-l(\theta_0)<0)\to 1$ a
$P(l(\theta_0-\delta)-l(\theta_0)<0)\to 1$. Funkce $l$ je spojitá v
$\theta$ a existuje derivace $\frac{\pd l}{\pd\theta}$. Z~toho
vyplývá, že $l$ má na $(\theta_0-\delta,\theta_0+\delta)$ nějaké
lokální maximum. Jelikož to platí pro libovolné $\delta$, s
pravděpodobností jdoucí k~$1$ platí $\frac{\pd
l}{\pd\theta}(\theta_0)=0$ a toto řešení je jednoznačné. Z~toho
vyplývá tvrzení věty.
\end{proof}
\end{theorem}
 
\begin{lemma}[Slutsky]
Nechť $X_n\kd X$ a $Y_n\kp c$ ($c<\infty$). Pak
\begin{enumerate}
\item $X_n+Y_n\kd X+c$,
\item $X_nY_n\kd cX$,
\item $X_n/Y_n\kd X/c$ ($c\not=0$).
\end{enumerate}
\end{lemma}
 
\begin{theorem}
Buďte $X_1,\dots,X_n$ iid s~rozdělením
$f(x,\theta)$, $\theta\in\boldsymbol\Theta\subset\R$,
$\boldsymbol\Theta$ je otevřená množina. Nechť
\begin{enumerate}
\item $\supp f$ nezávisí na $\theta$,
\item existuje $\frac{\pd f}{\pd\theta_i}$ pro každé $\theta$ a skoro
všechna $x$,
\item $\int f'=0$, $\int f''=0$,
\item $0<\I(\theta)<\infty$,
\item pro každé $\theta$ a skoro všechna $x$ je
\[\abs{\frac{\pd^3\log f}{\pd\theta^3}(\theta,x)}\le M(x),\]
kde $EM(X)<\infty$.
\end{enumerate}
Pak pro každé konzistentní řešení věrohodnostní rovnice (označme ho
$\widehat\theta_n$) platí
\[\sqrt{n}(\widehat\theta_n-\theta)\kd N
\left(0,\frac1{\I(\theta)}\right).\]
\begin{proof}
Nechť odhad $\widehat\theta_n$ řeší věrohodnostní rovnici a je
konzistentní. Nechť $\theta_0$ je skutečná hodnota parametru. Potom
\[0=l_n'(\widehat\theta_n)=l_n'(\theta_0)+
(\widehat\theta_n-\theta_0)l_n''(\theta_0)+
\frac12(\widehat\theta_n-\theta_0)^2l'''(\widehat\theta_*),\]
kde $\widehat\theta_*\in(\widehat\theta_n,\theta_0)$ nebo
$\in(\theta_0,\widehat\theta_n)$.
\[
\begin{split}
\sqrt{n}(\widehat\theta_n-\theta_0)&=\frac{-\sqrt{n}\,l_n'(\theta_0)}
{l_n''(\theta_0)+\frac12(\widehat\theta_n-\theta_0)l'''
(\widehat\theta_*)}=\\
&=\frac{-\frac1{\sqrt{n}}\,l_n'(\theta_0)}
{\frac1n l_n''(\theta_0)+\frac1{2n}(\widehat\theta_n-\theta_0)l'''
(\widehat\theta_*)}.
\end{split}
\]
Z~konzistence $\widehat\theta_n$ plyne $(\widehat\theta_n-\theta_0)\kp
0$. Ze zákona velkých čísel plyne konvergence
\[\frac1n l_n''(\theta_0)=\frac1n\sum_{j=1}^nl_j''(\theta_0)\kp
E(l_j''(\theta_0))=-\I_1(\theta)\]
a
\[\abs{\frac1n l_n'''(\widehat\theta_*)}=
\abs{\frac1n\sum_{j=1}^n l_j'''(\widehat\theta_*)}\le
\frac1n\sum_{j=1}^n
\abs{l_j'''(\widehat\theta_*)}\le
\frac1n\sum_{j=1}^n M(x)\kp E(M(X))<\infty.\]
Z~toho vyplývá, že
\[P\left(\abs{\frac1n l_n'''(\widehat\theta_*)}\le K\right)\to 1.\]
Z~centrálního limitního teorému ($\sqrt{n}(\overline{X_n}-\mu)\kd
N(0,\sigma^2)$) plyne (z bodu 3 vyplývá, že $E(l_1'(\theta_0))=0$)
\[
\begin{split}
\frac1{\sqrt{n}}l_n'(\theta_0)&=
\sqrt{n}\left(\frac1n l_n'(\theta_0)\right)=\\
&=\sqrt{n}\left(\frac1n\sum_{j=1}^n 
l_j'(\theta_0)-\underbrace{E(l_1'(\theta_0))}_{0}\right)
\kd N(0,D(l_1'(\theta_0)))=N(0,I(\theta_0)).
\end{split}
\]
Z~předchozího lemmatu pak
\[\sqrt{n}(\widehat\theta_n-\theta_0)\kd
\frac{N(0,\I(\theta_0))}{\I(\theta_0)}=
N\left(0,\frac1{\I(\theta_0)}\right).\]
\end{proof}
\end{theorem}
 
\begin{dusl}
Odhad $\widehat\theta_n$ je asymptoticky eficientní, protože
$\tau(\theta)=\theta$ a $\tau'(\theta)=1$.
\end{dusl}
 
\begin{remark}
\begin{enumerate}
\item Pokud existuje právě jedno řešení věrohodnostních rovnic, je
MLE, konzistentní, asymptoticky normální a eficientní.
\item Zkratkou ELE se někdy označují eficientní věrohodnostní odhady.
\end{enumerate}
\end{remark}
 
\begin{theorem}
Buďte $\Theta=(\theta_1,\dots,\theta_k)$, $\widehat\Theta$
konzistentní řešení soustavy věrohodnostních rovnic a nechť platí
ostatní předpoklady analogické předchozí větě. Pak
$\sqrt{n}(\widehat\Theta_n-\Theta)\kd N_k(0,\Imat^{-1}(\Theta))$.
\end{theorem}
 
\begin{remark}
Nevýhody metody MLE:
\begin{enumerate}
\item Rovnice se dost špatně řeší.
\item I~když se řešení najde, neví se, zda je to globální maximum.
\item MLE je jen asymptoticky eficientní, existují odhady, které jsou
pro dané $n$ lepší.
\end{enumerate}
\end{remark}
 
\begin{define}
Buďte $X_1,\dots,X_n$ pozorování. Říkáme, že $X_1,\dots,X_n$ mají {\bf
sdružené normální rozdělení}, pokud
\begin{enumerate}
\item existuje $\mathbf Z=\lceil Z_1,\dots,Z_n\rceil$, kde $Z_j\sim
N(0,1)$ a jsou nezávislé,
\item existuje $\boldsymbol\mu=\lceil\mu_1,\dots,\mu_n\rceil$, kde
$\mu_j\in\R$ jsou konstanty,
\item existuje nesingulární matice $\mathbf A$
\end{enumerate}
tak, že $\mathbf X=\mathbf A\mathbf Z+\boldsymbol\mu$.
\end{define}
 
Najdeme analytický tvar rozdělení $f_{\mathbf X}(\mathbf x)$.
\[
f_{\mathbf Z}(\mathbf z)=\prod_{j=1}^n f_{Z_j}(z_j)=
\prod_{j=1}^n\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{z_j^2}{2}\right)=
\frac{1}{(2\pi)^{n/2}}\exp\left(-\frac12\mathbf z\trans\mathbf
z\right).
\]
Použijeme transformaci $\mathbf z=\mathbf A^{-1}(\mathbf
x-\boldsymbol\mu)$, $\abs{\J_{\phi^{-1}}}=\abs{\det\mathbf A^{-1}}$
\[
\begin{split}
f_{\mathbf X}(\mathbf x)&=\abs{\det\mathbf A^{-1}}f_{\mathbf Z}
(\mathbf A^{-1}(\mathbf x-\boldsymbol\mu))=\\
&=\frac1{(2\pi)^{n/2}}\abs{\det\mathbf A^{-1}}
\exp\left(\frac12(\mathbf x-\boldsymbol\mu)(\mathbf A^{-1})\trans
\mathbf A^{-1}(\mathbf x-\boldsymbol\mu)\right).
\end{split}
\]
Označme $\mathbf C=\mathbf A\mathbf A\trans$, potom
$\abs{(\mathbf A^{-1})\trans}\abs{\mathbf A^{-1}}=
\abs{\mathbf C^{-1}}$, $\abs{\mathbf A^{-1}}=\sqrt{\abs{\mathbf
C^{-1}}}$. Tedy
\[
f_{\mathbf X}(\mathbf x)=\frac{1}{(2\pi)^{n/2}}\sqrt{\abs{\mathbf C^{-1}}}
\exp\left(-\frac12(\mathbf x-\boldsymbol\mu)\trans\mathbf C^{-1}
(\mathbf x-\boldsymbol\mu)\right)
\]
 
\begin{lemma}
Matice $\mathbf C^{-1}$ je symetrická a pozitivně definitní.
\begin{proof}
\[(\mathbf C^{-1})\trans=((\mathbf A^{-1})\trans\mathbf A^{-1})\trans=
(\mathbf A^{-1})\trans\mathbf A^{-1}=\mathbf C^{-1}.\]
\[\mathbf x\trans\mathbf C^{-1}\mathbf x=
\mathbf x\trans((\mathbf A^{-1})\trans\mathbf A^{-1})\mathbf x=
(\mathbf A^{-1}\mathbf x)\trans(\mathbf A^{-1}\mathbf x)>0.\]
\end{proof}
\end{lemma}
 
\begin{theorem}
Nechť $X_1,\dots,X_n$ mají $N_n$. Pak $\boldsymbol\mu=E\mathbf X$ a $\mathbf
C=\Cov(\mathbf X)$.
\begin{proof}
\[E\mathbf X=E(\mathbf A\mathbf Z+\boldsymbol\mu)=
\mathbf AE(\mathbf Z)+E\boldsymbol\mu=\boldsymbol\mu.\]
\[
\begin{split}
\Cov(\mathbf X)&=E(\mathbf X-\boldsymbol\mu)
(\mathbf X-\boldsymbol\mu)\trans=\\
&=\int_{\R^n}(\mathbf x-\boldsymbol\mu)(\mathbf x-\boldsymbol\mu)\trans
\frac{1}{(2\pi)^{n/2}}\frac{1}{\sqrt{\abs{\mathbf C}}}\\
&\quad\exp\left(-\frac12(\mathbf x-\boldsymbol\mu)\trans
\mathbf C^{-1}(\mathbf x-\boldsymbol\mu)\right)\,\d\mathbf x=\\
&=\frac{1}{(2\pi)^{n/2}}\int_{\R^n}
\exp\left(-\frac12\mathbf z\trans\mathbf A\trans\mathbf C^{-1}
\mathbf A\mathbf z\right)\mathbf A\mathbf z\mathbf z\trans\mathbf
A\trans\,\d\mathbf z=\\
&=\frac{1}{(2\pi)^{n/2}}\mathbf A\underbrace{\int_{\R^n}
\mathbf z\mathbf z\trans\exp\left(-\frac12 \mathbf z\trans
\mathbf z\right)}_{\mathbf Q}\mathbf A\trans\,\d\mathbf z=\mathbf A\mathbf
A\trans=\mathbf C,
\end{split}
\]
neboť
\[
\begin{split}
\mathbf Q_{jj}&=\int_{\R^n}
z_j^2\exp\left(-\frac12\sum_{i=1}^n z_i^2\right)\,\d\mathbf z=\\
&=\int_\R z_j^2\exp\left(-\frac12 z_j^2\right)\,\d z_j
\prod_{i\not=j}^n\int_\R\exp\left(-\frac12 z_k^2\right)\,\d z_k=
(\sqrt{2\pi})^n
\end{split}
\]
a pro $j\not=k$ je $\mathbf Q_{jk}=0$.
\end{proof}
\end{theorem}
 
\begin{theorem}
Buďte $(X_1,\dots X_n)\sim N_n(\boldsymbol\mu,\mathbf C)$ a $\mathbf
D$ nesingulární matice. Pak
\begin{enumerate}
\item $\mathbf D\mathbf X\sim N_n(\mathbf D\boldsymbol\mu,\mathbf D\mathbf
C\mathbf D\trans)$.
\item $(X_{i_1},\dots,X_{i_n})\sim N_n$.
\item $(X_1,\dots,X_k)\sim N_k(\boldsymbol\mu_{1k},\mathbf
C_{1k})$, kde $\boldsymbol\mu_{1k}=(\mu_1,\dots,\mu_k)$, 
\[
\mathbf C_{1k}=\mathbf C
\begin{pmatrix}
1,\dots,k\\
1,\dots,k
\end{pmatrix}.
\]
\item $(X_{i_1},\dots,X_{i_k})\sim N_k$.
\item $X_j\sim N(\mu_j,\sigma_j^2=\mathbf C_{jj})$.
\item $\mathbf k\trans\mathbf X\sim N(\mathbf k\trans\boldsymbol\mu,
\mathbf k\trans\mathbf C\mathbf k)$.
\item $(X_1,\dots X_n)$ jsou nezávislé, právě když $\mathbf C$ je
diagonální.
\end{enumerate}
\end{theorem}