01PRA1 2:Kapitola12: Porovnání verzí
Z WikiSkripta FJFI ČVUT v Praze
(Založena nová stránka: %\wikiskriptum{01PRA1_2}) |
|||
Řádka 1: | Řádka 1: | ||
%\wikiskriptum{01PRA1_2} | %\wikiskriptum{01PRA1_2} | ||
+ | |||
+ | \section{Odhad parametrů rozdělení} | ||
+ | |||
+ | \begin{define} | ||
+ | Libovolná borelovsky měřitelná funkce $\widehat\Theta= | ||
+ | \widehat\Theta(\mathbf X)$ se nazývá odhadem parametrů $\Theta$ na | ||
+ | základě pozorování $X_1,\dots,X_n$. Libovolná borelovsky měřitelná | ||
+ | funkce $T(\mathbf X)$ se nazývá odhadem parametrické funkce | ||
+ | $\tau(\Theta)$. | ||
+ | \end{define} | ||
+ | |||
+ | \begin{define} | ||
+ | $\widehat\Theta$ se nazývá {\bf nestranný odhad} $\Theta$, pokud | ||
+ | $E_{\Theta}(\widehat\Theta)=\Theta$ pro každé | ||
+ | $\Theta\in\boldsymbol\Theta$. Pro parametrickou funkci: | ||
+ | $E_\Theta[T(\mathbf X)]=\tau(\Theta)$. | ||
+ | \end{define} | ||
+ | |||
+ | \begin{define} | ||
+ | Posloupnost odhadů $\posloupnost{1}{\infty}{\Theta_n}$ nazýváme {\bf | ||
+ | konzistentním odhadem} $\Theta$, pokud $\widehat\Theta\kp\Theta$ | ||
+ | $\forall\Theta\in\boldsymbol\Theta$. Pro parametrickou funkci: | ||
+ | $T_n(\mathbf X)\kp\tau(\Theta)$. | ||
+ | \end{define} | ||
+ | |||
+ | \begin{define} | ||
+ | $\widehat\Theta_n^*$ nazýváme {\bf eficientním odhadem} $\Theta$, | ||
+ | pokud pro každý jiný $\widehat\Theta_n$ platí | ||
+ | $E(\widehat\Theta_n^*-\Theta)^2\le E(\widehat\Theta_n-\Theta)^2$ | ||
+ | $\forall \Theta\in\boldsymbol\Theta$. | ||
+ | \end{define} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buď $X$ náhodná veličina, $EX^2<+\infty$. Pak $\overline{X_n}$ je | ||
+ | nestranný a konzistentní odhad $EX$. | ||
+ | \begin{proof} | ||
+ | Nestrannost: | ||
+ | \[E\overline{X_n}=\frac1n\sum_{i=1}^n EX_i=EX.\] | ||
+ | Konzistence: Ze zákona velkých čísel plyne $\overline{X_n}\kp EX$. | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buď $X$ náhodná veličina, $EX^4<+\infty$. Pak $\widehat\sigma_n^2$ | ||
+ | je konzistentní a asymptoticky nestranný odhad $DX$ a $s_n^2$ je | ||
+ | konzistentní a nestranný odhad $DX$. | ||
+ | \begin{proof} | ||
+ | \[\widehat\sigma_n^2=\frac1n\sum_{i=1}^n(X_i-\overline{X_n})^2\kp DX.\] | ||
+ | \[s_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline{X_n})^2= | ||
+ | \frac{n}{n-1}\widehat\sigma_n^2\kp DX.\] | ||
+ | \[\widehat\sigma_n^2=\frac1n\sum_{i=1}^n X_i^2-(\overline{X_n})^2\] | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | E(\overline{X_n})^2&= | ||
+ | E\left(\frac1n\sum_{i=1}^n X_i\right)^2= | ||
+ | \frac1{n^2}E\left(\sum_{i=1}^n X_i^2+ | ||
+ | \sum_{\substack{i,j=1\\i\not=j}}^n X_iX_j\right)=\\ | ||
+ | &=\frac1{n^2}(nEX^2+n(n-1)(EX)^2) | ||
+ | \end{split} | ||
+ | \] | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | EX^2-E(\overline{X_n})^2&=EX^2-\frac{EX^2}n-\frac{n-1}{n}(EX)^2=\\ | ||
+ | &=\frac{n-1}{n}(EX^2-(EX)^2)=\frac{n-1}n DX\to DX. | ||
+ | \end{split} | ||
+ | \] | ||
+ | \[ | ||
+ | E(s_n^2)=E\left(\frac{n}{n-1}\widehat\sigma_n^2\right)= | ||
+ | \frac{n}{n-1}E(\widehat\sigma_n^2)=DX. | ||
+ | \] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \subsection{Metoda momentů} | ||
+ | |||
+ | Hledáme parametry rozdělení | ||
+ | $\Theta=(\theta_1,\dots,\theta_k)$. Předpokládejme existenci momentů | ||
+ | $\mu_1',\dots,\mu_k'$, $\mu_r'=\mu_r'(\theta_1,\dots,\theta_k)$. Dále | ||
+ | předpokládejme, že | ||
+ | $\boldsymbol\mu'=(\mu_1'(\Theta),\dots,\mu_k'(\Theta))$ je regulární a | ||
+ | prosté, tudíž lze vyjádřit | ||
+ | $\theta_j=\theta_j(\mu_1',\dots,\mu_k')$. Napočítáme výběrové momenty | ||
+ | \[m_r'=\frac1n\sum_{i=1}^n X_i^r\] | ||
+ | a dosadíme za $\mu_1',\dots,\mu_k'$. Dostaneme tak | ||
+ | $\widehat\theta_j=\widehat\theta_j(\mathbf X)$. Analogicky postupujeme | ||
+ | při odhadu $\tau(\Theta)$. | ||
+ | |||
+ | \begin{lemma} | ||
+ | Buď $f:\R^2\to\R$ borelovsky měřitelná v~$(x,y)$ a spojitá v~bodě | ||
+ | $(a,b)$, $X_n\kp a$, $Y_n\kp b$. Pak $f(X_n,Y_n)\kp f(a,b)$. | ||
+ | \begin{proof} | ||
+ | Funkce $f$ je spojitá v~$(a,b)$, právě když | ||
+ | \[(\forall\epsilon>0)(\exists\delta >0)(\forall x) | ||
+ | (\norm{(x,y)-(a,b)}<\delta\implies\abs{f(x,y)-f(a,b)}<\epsilon).\] | ||
+ | Dále platí | ||
+ | \[\max(\abs{x-a},\abs{y-b})<\delta\iff | ||
+ | \abs{x-a}<\delta\wedge\abs{y-b}<\delta.\] | ||
+ | Spojitost funkce $f$ v~$(a,b)$ lze zapsat množinově jako | ||
+ | \[\{\omega|\abs{X(\omega)-a}<\delta\}\cap | ||
+ | \{\omega|\abs{Y(\omega)-b}<\delta\}\subset | ||
+ | \{\omega|\abs{f(X,Y)-f(a,b)}<\epsilon\},\] | ||
+ | \[(\{\omega|\abs{X(\omega)-a}<\delta\}\cap | ||
+ | \{\omega|\abs{Y(\omega)-b}<\delta\})\compl\supset | ||
+ | (\{\omega|\abs{f(X,Y)-f(a,b)}<\epsilon\})\compl.\] | ||
+ | Z~De Morgana pak plyne | ||
+ | \[\{\omega|\abs{X(\omega)-a}\ge\delta\}\cup | ||
+ | \{\omega|\abs{Y(\omega)-b}\ge\delta\}\supset | ||
+ | \{\omega|\abs{f(X,Y)-f(a,b)}\ge\epsilon\}\] | ||
+ | a z~Booleovy nerovnosti | ||
+ | \[P(\abs{X(\omega)-a}\ge\delta)+ | ||
+ | P(\abs{Y(\omega)-b}\ge\delta)\ge | ||
+ | P(\abs{f(X,Y)-f(a,b)}\ge\epsilon).\] | ||
+ | Z~této nerovnosti pak okamžitě vyplývá tvrzení věty. | ||
+ | \end{proof} | ||
+ | \end{lemma} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Nechť mezi momenty $(\mu_1,\dots,\mu_k)$ a $(\theta_1,\dots,\theta_k)$ | ||
+ | existuje vzájemně jednoznačný vztah a nechť inverzní funkce | ||
+ | $\theta_j=\theta_j(\mu_1',\dots,\mu_k')$ jsou spojitými funkcemi | ||
+ | $\mu_1',\dots,\mu_k'$. Pak odhady metodou momentů | ||
+ | $\widehat\Theta=(\widehat\theta_1,\dots,\widehat\theta_k)$ jsou | ||
+ | konzistentní odhady $\Theta$. Je-li navíc funkce $\tau(\Theta)$ | ||
+ | spojitá, pak odhad $T(\mathbf X)$ získaný metodou momentů je | ||
+ | konzistentní odhad $\tau(\Theta)$. | ||
+ | \begin{proof} | ||
+ | Pro $\widehat\theta_j$ platí | ||
+ | \[\widehat\theta_j=\widehat\theta_j(\mathbf X)= | ||
+ | \theta_j(m_1'(\mathbf X),\dots,m_k'(\mathbf X))\kp | ||
+ | \theta_j(\mu_1'(\mathbf X),\dots,\mu_k'(\mathbf | ||
+ | X))=\theta_j,\] | ||
+ | neboť podle zákona velkých čísel $m_r'\kp\mu_r'$. Konvergence | ||
+ | $\widehat\theta_j\kp\theta_j$ pak plyne z~předchozího lemmatu. | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{remark} | ||
+ | Předností metody momentů jsou jednoduché rovnice a to, že dává | ||
+ | konzistentní odhad. Problémy jsou v~předpokladech, protože momenty | ||
+ | vůbec nemusí existovat nebo $\theta_j$ nemusí být spojité. | ||
+ | \end{remark} | ||
+ | |||
+ | \subsection{Nestranné odhady s~minimálním rozptylem (MVUE)} | ||
+ | |||
+ | Mějme dva nestranné konzistentní odhady $\widehat\theta_n^{(1)}$ a | ||
+ | $\widehat\theta_n^{(2)}$. Otázka je, který z~nich je \uv{lepší}. Z | ||
+ | Čebyševovy nerovnosti | ||
+ | \[P(\abs{X-EX}\ge\epsilon)\le\frac{DX}{\epsilon^2}\] | ||
+ | plyne, že pro nestranný odhad $\widehat\theta$ platí | ||
+ | \[P(\abs{\hat\theta-\theta}\ge\epsilon)\le\frac{D\widehat\theta}{\epsilon^2}\] | ||
+ | pro každé $\epsilon$. Jinými slovy menší rozptyl mi zaručuje nižší | ||
+ | pravděpodobnost, že ten odhad \uv{uletí}. Otázka je, jak nízko lze s | ||
+ | rozptylem $D\widehat\theta$ jít. | ||
+ | |||
+ | \begin{define} | ||
+ | Buď $\boldsymbol\Theta\subset\R^1$. Systém hustot | ||
+ | $\mathcal F=\{f(x,\theta)|\theta\in\boldsymbol\Theta\}$ nazveme {\bf | ||
+ | regulárním systémem hustot}, pokud | ||
+ | \begin{enumerate} | ||
+ | \item $\{x|f(x,\theta)>0\}=\supp f$ nezávisí na $\theta$, | ||
+ | \item Parciální derivace | ||
+ | \[\frac{\pd f(x,\theta)}{\pd\theta}\] | ||
+ | existuje a je konečná pro všechna $\theta$ a pro skoro všechna $x$. | ||
+ | \item Střední hodnota | ||
+ | \[E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)=0\] | ||
+ | pro všechna $\theta$. | ||
+ | \item Fisherova míra informace | ||
+ | \[\I(\theta)=E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)^2 | ||
+ | \in(0,\infty)\] | ||
+ | pro všechna $\theta$. | ||
+ | \end{enumerate} | ||
+ | \end{define} | ||
+ | |||
+ | \begin{remark} | ||
+ | Bod 3. je splněn, právě když $\int f$ lze derivovat za integrálem: | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | E\left(\frac{\pd\ln f(x,\theta)}{\pd\theta}\right)&= | ||
+ | \int\frac{\pd\ln f(x,\theta)}{\pd\theta}f(x,\theta)\,\d x= | ||
+ | \int\frac{f'(x,\theta)}{f(x,\theta)}f(x,\theta)\,\d x=\\ | ||
+ | &=\int f'(x,\theta)\,\d x= | ||
+ | \frac{\d}{\d\theta}\int f(x,\theta)\,\d x=0. | ||
+ | \end{split} | ||
+ | \] | ||
+ | Platí, že | ||
+ | \[\I(\theta)=D\left(\frac{\pd\ln f(x,\theta)}{\pd\theta}\right),\] | ||
+ | neboť | ||
+ | \[E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)=0.\] | ||
+ | Body 3. a 4. lze také shrnout následovně: Náhodná veličina $\pd\ln | ||
+ | f/\pd\theta$ má střední hodnotu $0$ a konečný kladný rozptyl. | ||
+ | \end{remark} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $\mathcal E_1$, $\mathcal E_2$ dva nezávislé experimenty, | ||
+ | $\mathcal E_1$ odpovídá regulární systém hustot | ||
+ | $\mathcal F_1=\{f_1(x,\theta)|\theta\in\boldsymbol\Theta\}$, | ||
+ | $\mathcal E_2$ odpovídá | ||
+ | $\mathcal F_2=\{f_2(x,\theta)|\theta\in\boldsymbol\Theta\}$. Pak | ||
+ | $\I_{X_1,X_2}(\theta)=\I_{X_1}(\theta)+\I_{X_2}(\theta)$. | ||
+ | \begin{proof} | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \I_{X_1,X_2}(\theta)&=\iint\left[ | ||
+ | \frac{\pd\ln f_{X_1,X_2}(x_1,x_2,\theta)}{\pd\theta} | ||
+ | \right]^2f_{X_1,X_2}\,\d x_1\d x_2=\\ | ||
+ | &=\iint\left[\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)^2+ | ||
+ | 2\frac{\pd\ln f_{X_1}}{\pd\theta}\frac{\pd\ln f_{X_2}}{\pd\theta}+\right.\\ | ||
+ | &\quad+\left.\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)^2 | ||
+ | \right]f_{X_1}f_{X_2}\d x_1\d x_2=\\ | ||
+ | &=\underbrace{\int\left(\frac{\pd\ln | ||
+ | f_{X_1}}{\pd\theta}\right)^2 f_{X_1}}_{\I_{X_1}(\theta)} | ||
+ | \underbrace{\int f_{X_2}}_1\,\d x_1\d x_2+\\ | ||
+ | &\quad+\int\left(\frac{\pd\ln f_{X_2}}{\pd\theta}\right)^2 f_{X_2} | ||
+ | \int f_{X_1}\,\d x_1\d x_2+ | ||
+ | E\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right) | ||
+ | E\left(\frac{\pd\ln f_{X_2}}{\pd\theta}\right). | ||
+ | \end{split} | ||
+ | \] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{dusl} | ||
+ | Buďte $X_1,\dots,X_n$ iid. Potom $\I_{X_1,\dots,X_n}(\theta)=n\I_{X_1}(\theta)$. | ||
+ | \end{dusl} | ||
+ | |||
+ | \begin{remark} | ||
+ | Buď $\{f(x,\theta)\}$ regulární a nechť $\int f$ lze derivovat dvakrát | ||
+ | podle $\theta$ za integrálem. Potom | ||
+ | \[\I(\theta)=-E\left(\frac{\pd^2\ln f}{\pd\theta^2}\right)\] | ||
+ | pro všechna $\theta$. | ||
+ | \begin{proof} | ||
+ | \[0=\frac{\d}{\d\theta}\int f\,\d x= | ||
+ | \int\frac{\pd f}{\pd\theta}\,\d x= | ||
+ | \int\frac{\pd\ln f}{\pd\theta}f\,\d x.\] | ||
+ | \[ | ||
+ | 0=\frac{\d}{\d\theta}\int\frac{\pd\ln f}{\pd\theta}f\,d x= | ||
+ | \int\frac{\pd^2\ln f}{\pd\theta}f+\int | ||
+ | \frac{\pd\ln f}{\pd\theta}\frac{\pd f}{\pd\theta}= | ||
+ | \int\frac{\pd^2\ln f}{\pd\theta}f+\int | ||
+ | \left(\frac{\pd\ln f}{\pd\theta}\right)^2 f. | ||
+ | \] | ||
+ | \end{proof} | ||
+ | \end{remark} | ||
+ | |||
+ | \begin{theorem}[Rao-Cramerova nerovnost] | ||
+ | Buď $\theta\in\R^1$, $\{f(x,\theta)\}$ regulární systém hustot, | ||
+ | $\tau(\theta)$ diferencovatelná. Nechť $T(\mathbf X)$ je nějaký | ||
+ | nestranný odhad $\tau(\theta)$ takový, že $E(T(\mathbf X))$ je možné | ||
+ | derivovat pod znakem $E$ pro $\forall\theta\in\boldsymbol\Theta$. Pak | ||
+ | \[D(T(\mathbf X))\ge\frac{[\tau'(\theta)]^2}{\I(\theta)}.\] | ||
+ | Rovnost nastává, právě když existuje $K=K(\theta,n)$ tak, že s | ||
+ | pravděpodobností $1$ platí | ||
+ | \[\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)= | ||
+ | K(T(\mathbf X)-\tau(\theta)).\] | ||
+ | \begin{proof} | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \tau'(\theta)&=\frac{\d}{\d\theta}[E(T(\mathbf x))]= | ||
+ | \frac{\d}{\d\theta} | ||
+ | \int T(\mathbf x)f(\mathbf x,\theta)\,\d\mathbf x= | ||
+ | \int T(\mathbf x)\frac{\pd f}{\pd\theta} | ||
+ | (\mathbf x,\theta)\,\d\mathbf x=\\ | ||
+ | &=\int T(\mathbf x)\frac{\pd\ln f}{\pd\theta}(\mathbf x,\theta) | ||
+ | f(\mathbf x,\theta)\,\d \mathbf x= | ||
+ | E\left(T(\mathbf X)\frac{\pd\ln f}{\pd\theta}\right)=\\ | ||
+ | &=\Cov\left(T(\mathbf X),\frac{\pd\ln f}{\pd\theta} | ||
+ | (\mathbf X,\theta)\right). | ||
+ | \end{split} | ||
+ | \] | ||
+ | Ze Schwarzovy nerovnosti potom vyplývá | ||
+ | \[\abs{\Cov\left(T,\frac{\pd\ln f}{\pd\theta}\right)}^2\le | ||
+ | DT(\mathbf X)D\left(\frac{\pd\ln f}{\pd\theta}\right),\] | ||
+ | tedy $[\tau'(\theta)]^2\le D(T(\mathbf X))\I(\theta)$. | ||
+ | Rovnost nastává právě když | ||
+ | \[\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)- | ||
+ | E\left(\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)\right)= | ||
+ | K(T(\mathbf X)-E(T(\mathbf X)))\] | ||
+ | platí s~pravděpodobností $1$. Z~toho okamžitě plyne tvrzení věty. | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{example} | ||
+ | Nechť $f=N(\mu,1)$, tedy | ||
+ | \[f(x)=\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{(x-\mu)^2}{2}\right).\] | ||
+ | Budeme odhadovat parametr $\mu$. | ||
+ | \[\ln f=-\frac12\ln 2\pi-\frac{(x-\mu)^2}{2},\] | ||
+ | \[\frac{\pd\ln f}{\pd\mu}=(x-\mu),\] | ||
+ | \[\frac{\pd^2\ln f}{\pd\mu^2}=-1.\] | ||
+ | Platí tedy | ||
+ | \[\I(\mu)=-E\left(\frac{\pd^2\ln f}{\pd\mu^2}\right)=-E(-1)=1\] | ||
+ | a dál $\I_n(\mu)=n$, $\tau(\mu)=\mu$, $\rclb(\theta)=1/n$ ($\rclb$ je | ||
+ | {\bf Rao-Cramer Lower Bound}, rozptyl pod který se už nelze dostat). Dále | ||
+ | platí | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \frac{\pd\ln f(\mathbf x,\theta)}{\pd\theta}&= | ||
+ | \frac{\pd\ln\prod_{i=1}^n f(x_i,\theta)}{\pd\theta}= | ||
+ | \sum_{i=1}^n\frac{\pd\ln f}{\pd\theta}(x_i,\theta)= | ||
+ | \sum_{i=1}^n(x_i-\mu)=\\ | ||
+ | &=n\left(\frac1n\sum_{i=1}^n X_i-\mu\right)=K(T(\mathbf X)-\mu). | ||
+ | \end{split} | ||
+ | \] | ||
+ | Našli jsme tak $K$, pro které platí rovnost z~Rao-Cramera a tedy | ||
+ | $\overline{X_n}$ je odhad s~minimálním rozptylem. | ||
+ | \end{example} | ||
+ | |||
+ | \begin{remark} | ||
+ | $\rclb$ je dosažitelná, právě když $\{f(x,\theta)\}$ tvoří | ||
+ | jednoparametrickou exponenciální třídu hustot. | ||
+ | \end{remark} | ||
+ | |||
+ | \begin{define} | ||
+ | Buď $\boldsymbol\Theta\subset\R^k$, potom $\{f(x,\Theta)\}$ nazveme | ||
+ | {\bf regulárním systémem hustot}, pokud | ||
+ | \begin{enumerate} | ||
+ | \item $\supp f$ nezávisí na $\Theta$, | ||
+ | \item Parciální derivace | ||
+ | \[\frac{\pd f}{\pd\theta_i}(x,\Theta)\] | ||
+ | existují a jsou konečné pro všechna $i\in\hat k$, pro všechna $\Theta$ | ||
+ | a skoro všechna $\mathbf x$. | ||
+ | \item Střední hodnoty | ||
+ | \[E\left(\frac{\pd\ln f}{\pd\theta_i}(X,\Theta)\right)=0\] | ||
+ | pro každé $i\in\hat k$ a pro každé $\Theta$. | ||
+ | \item {\bf Fisherova informační matice} | ||
+ | \[\mathbf I_{ij}(\Theta)= | ||
+ | E\left(\frac{\pd\ln f}{\pd\theta_i}(X,\Theta)\frac{\pd\ln | ||
+ | f}{\pd\theta_j}(X,\Theta)\right)\] | ||
+ | je regulární a konečná | ||
+ | \end{enumerate} | ||
+ | \end{define} | ||
+ | |||
+ | \begin{remark} | ||
+ | \begin{enumerate} | ||
+ | \item \[\Imat_{ij}=-E\left( | ||
+ | \frac{\pd^2\ln f}{\pd\theta_i\pd\theta_j}\right).\] | ||
+ | \item Jsou-li $X_1,\dots,X_n$ iid, pak | ||
+ | $\Imat_{X_1,\dots,X_n}(\Theta)=n\Imat_{X_1}(\Theta)$. | ||
+ | \end{enumerate} | ||
+ | \end{remark} | ||
+ | |||
+ | \begin{theorem}[Rao-Cramerova nerovnost] | ||
+ | Buďte $X_i$ pozorování, $\theta\in\boldsymbol\Theta\subset\R^k$, | ||
+ | $\{f(x,\Theta)|\Theta\}$ regulární systém hustot, | ||
+ | $\tau(\Theta):\boldsymbol\Theta\mapsto\R$, nechť dále existují | ||
+ | derivace | ||
+ | \[\frac{\pd\tau}{\pd\theta_i}\] | ||
+ | pro každé $i\in\hat k$, $T(\mathbf X)$ nestranný odhad $\tau(\Theta)$ | ||
+ | a nechť lze zaměnit $\pd/\pd\theta_i$ a $E(T(\mathbf X))$ pro každé | ||
+ | $i$ a každé $\theta$. Pak | ||
+ | \[D(T(\mathbf X))\ge\boldsymbol\tau'(\Theta)\Imat^{-1} | ||
+ | {\boldsymbol\tau'}\trans(\Theta),\] | ||
+ | kde | ||
+ | \[\boldsymbol\tau'(\Theta)= | ||
+ | \left( | ||
+ | \frac{\pd\tau}{\pd\theta_1},\dots,\frac{\pd\tau}{\pd\theta_k} | ||
+ | \right).\] | ||
+ | \begin{proof} | ||
+ | Sestrojíme matici $(k+1)\times(k+1)$: | ||
+ | \[ | ||
+ | \mathbf M= | ||
+ | \begin{pmatrix} | ||
+ | D(T(\mathbf X))& \boldsymbol\tau'(\Theta)\\ | ||
+ | {\boldsymbol\tau'}\trans(\Theta) & \Imat(\Theta)\\ | ||
+ | \end{pmatrix} | ||
+ | \] | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \frac{\pd\tau}{\pd\theta_i}(\Theta)&=\frac{\pd}{\pd\theta_i} | ||
+ | (E(T(\mathbf X)))=\int T(x)\frac{\pd f(x,\Theta)}{\pd\theta_i}\,\d x=\\ | ||
+ | &=\int T(x)\frac{\pd\ln f(x,\Theta)}{\pd\theta_i}f(x,\Theta)\,\d x= | ||
+ | E\left(T\frac{\pd\ln f}{\pd\theta_i}\right)= | ||
+ | \Cov\left(T,\frac{\pd\ln f}{\pd\theta_i}\right). | ||
+ | \end{split} | ||
+ | \] | ||
+ | Zavedeme vektor | ||
+ | \[\left( | ||
+ | T(\mathbf X),\frac{\pd\ln f}{\pd\theta_1},\dots, | ||
+ | \frac{\pd\ln f}{\pd\theta_k} | ||
+ | \right).\] | ||
+ | Matice $\mathbf M$ je pozitivně semidefinitní a platí | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | 0\le\abs{\mathbf M}&=D(T(\mathbf X))\abs{\Imat(\Theta)} | ||
+ | +\sum_{i=1}^k\boldsymbol\tau_i'(\Theta)(-1)^i\abs{\mathbf M_{1,i+1}}=\\ | ||
+ | &=D(T(\mathbf X))\abs{\Imat(\Theta)}+\sum_{i=1}^k\boldsymbol\tau_i'(\Theta) | ||
+ | (-1)^i\sum_{j=1}^n(-1)^{j+1}\abs{\Imat_{i,j}(\Theta)}\boldsymbol\tau_j'(\Theta)=\\ | ||
+ | &=D(T(\mathbf X))\abs{\Imat(\Theta)}+\sum_{\substack{i=1\\j=1}}^k(-1)^{i+j+1} | ||
+ | \boldsymbol\tau_i'(\Theta)\abs{\Imat_{i,j}(\Theta)} | ||
+ | \boldsymbol\tau_j'(\Theta). | ||
+ | \end{split} | ||
+ | \] | ||
+ | \[ | ||
+ | D(T(\boldsymbol X))\ge\sum_{\substack{i=1\\j=1}}^k(-1)^{i+j} | ||
+ | \boldsymbol\tau_i'(\Theta)\frac{\abs{\Imat_{ij}(\Theta)}}{\abs{\Imat(\Theta)}} | ||
+ | {\boldsymbol\tau_j'}\trans(\Theta)=\boldsymbol\tau'(\Theta)\Imat^{-1} | ||
+ | {\boldsymbol\tau'}\trans(\Theta). | ||
+ | \] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{example} | ||
+ | Buďte $X_1,\dots,X_n\sim N(\mu,\sigma^2)$, $\Theta=(\mu,\sigma^2)$, | ||
+ | $\Imat(\Theta)=\Imat(\mu,\sigma^2)$, | ||
+ | \[\ln f=-\frac12\ln 2\pi- | ||
+ | \frac12\ln\sigma^2-\frac{(x-\mu)^2}{2\sigma^2}\] | ||
+ | \[\Imat_{1,1}=-E\left(\frac{\pd^2\ln f}{\pd\mu^2}\right)= | ||
+ | -E\left(-\frac1{\sigma^2}\right)=\frac1{\sigma^2}\] | ||
+ | \[\Imat_{1,2}=-E\left(\frac{\pd^2\ln f}{\pd\mu\pd\sigma^2}\right)= | ||
+ | -E\left(\frac{\pd}{\pd\mu}\left(-\frac1{2\sigma^2}+ | ||
+ | \frac{(X-\mu)^2}{2\sigma^4}\right)\right)= | ||
+ | E\left(\frac1{\sigma^4}(X-\mu)\right)=0.\] | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \Imat_{2,2}&=-E\left(\frac{\pd^2\ln f}{\pd\sigma^2\pd\sigma^2}\right)= | ||
+ | -E\left(\frac{\pd}{\pd\sigma^2}\left(-\frac1{2\sigma^2}+ | ||
+ | \frac{(X-\mu)^2}{2\sigma^4}\right)\right)=\\ | ||
+ | &=-\frac{1}{2\sigma^4}+\frac1{\sigma^6}E(X-\mu)^2= | ||
+ | -\frac{1}{2\sigma^4}+\frac1{\sigma^4}=\frac1{2\sigma^4}. | ||
+ | \end{split} | ||
+ | \] | ||
+ | \[ | ||
+ | \Imat(\mu,\sigma^2)= | ||
+ | \begin{pmatrix} | ||
+ | \frac{n}{\sigma^2}&0\\ | ||
+ | 0&\frac{n}{2\sigma^4} | ||
+ | \end{pmatrix} | ||
+ | \] | ||
+ | \[ | ||
+ | \Imat^{-1}(\mu,\sigma^2)= | ||
+ | \begin{pmatrix} | ||
+ | \frac{\sigma^2}{n}&0\\ | ||
+ | 0&\frac{2\sigma^4}{n} | ||
+ | \end{pmatrix} | ||
+ | \] | ||
+ | Buď $\boldsymbol\tau(\mu,\sigma^2)=\mu$, potom | ||
+ | $\boldsymbol\tau'(\mu,\sigma^2)=(1,0)$, | ||
+ | \[D(T(\mathbf X))\ge\frac{\sigma^2}{n}\] | ||
+ | \[D(\overline{X_n})=\frac1{n^2}\sum_{i=1}^n D(X_i)= | ||
+ | \frac1n DX=\frac{\sigma^2}{n}.\] | ||
+ | Buď $\boldsymbol\tau(\mu,\sigma^2)=\sigma^2$, | ||
+ | $\boldsymbol\tau'(\mu,\sigma^2)=(0,1)$, | ||
+ | \[D(T(\mathbf X))\ge\frac{2\sigma^4}{n}.\] | ||
+ | $\rclb$ není dosažitelná nestranným odhadem. | ||
+ | \[s_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline{X_n}^2),\] | ||
+ | \[D(s_n^2)=\frac{2\sigma^4}{n-1}.\] | ||
+ | Pokud se vykašleme na nestrannost, můžeme dosáhnout i nižšího | ||
+ | rozptylu: | ||
+ | \[D(\widehat\sigma_n^2)=\frac{n-1}{n^2}2\sigma^4<\frac{2\sigma^4}{n}= | ||
+ | \rclb(\sigma^2).\] | ||
+ | \end{example} | ||
+ | |||
+ | \begin{remark} | ||
+ | Nedostatky: | ||
+ | \begin{enumerate} | ||
+ | \item Metoda dává pouze nestranné odhady. Odhad, který je \uv{skoro | ||
+ | nestranný} a má menší rozptyl než UMVUE, může být někdy užitečnější. | ||
+ | \item UMVUE vůbec nemusí existovat, případně sice může existovat, ale | ||
+ | je prakticky nepoužitelný. | ||
+ | \end{enumerate} | ||
+ | \end{remark} | ||
+ | |||
+ | \subsection{Asymptotické metody odhadu $\Theta$} | ||
+ | |||
+ | \begin{define} | ||
+ | Buď $\widehat\theta$ nestranný odhad. Říkáme, že $\widehat\theta$ je | ||
+ | {\bf eficientní}, právě když | ||
+ | \[e=\frac{\rclb(\theta)}{D(\widehat\theta)}=1.\] | ||
+ | Říkáme, že $\widehat\theta$ je {\bf asymptoticky eficientní}, právě | ||
+ | když $e\to 1$ pro $n\to\infty$. | ||
+ | |||
+ | Jsou-li $\widehat\theta_1$, $\widehat\theta_2$ nestranné odhady, potom | ||
+ | veličinu | ||
+ | \[e_r=\frac{D(\widehat\theta_1)}{D(\widehat\theta_2)}\] | ||
+ | nazýváme {\bf relativní eficience}. | ||
+ | \end{define} | ||
+ | |||
+ | \begin{define} | ||
+ | Buď $\widehat\Theta_n$ odhad parametru $\Theta_0$. Říkáme, že | ||
+ | $\widehat\Theta_n$ je {\bf asymptoticky nestranný}, právě když | ||
+ | $E(\widehat\Theta_n)\to\Theta_0$. | ||
+ | \end{define} | ||
+ | |||
+ | \begin{define} | ||
+ | Buď $T_n(\mathbf X)$ odhad parametrické funkce $\tau(\theta_0)$. | ||
+ | Říkáme, že $\widehat T_n$ má {\bf asymptoticky normální rozdělení} | ||
+ | se střední hodnotou $0$ a rozptylem $\sigma^2(\theta_0)$, právě když | ||
+ | \[\sqrt{n}(T_n(\mathbf X)-\tau(\theta_0))\kd N(0,\sigma^2(\theta_0)).\] | ||
+ | \end{define} | ||
+ | |||
+ | \begin{remark} | ||
+ | \begin{enumerate} | ||
+ | \item Z~asymptotické normálnosti neplyne nestrannost (ani | ||
+ | asymptotická). | ||
+ | \item Vůbec nemusí platit, že $D(\sqrt{n}T_n)\to\sigma^2(\theta_0)$. | ||
+ | \end{enumerate} | ||
+ | \end{remark} | ||
+ | |||
+ | \begin{define} | ||
+ | Nechť $T_n(\mathbf X)$ je asymptoticky normální odhad | ||
+ | $AN(0,\sigma^2(\theta))$. Říkáme, že $T_n$ je eficientní | ||
+ | (resp. asymptoticky eficientní), právě když | ||
+ | \[\sigma^2=\frac{(\tau'(\theta))^2}{\I_1(\theta)}.\] | ||
+ | \end{define} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $X_1,\dots,X_n\sim f_X(x,\theta)$, | ||
+ | $\theta\in\boldsymbol\Theta\subset\R$, $\boldsymbol\Theta$ je otevřená | ||
+ | množina, nechť | ||
+ | \begin{enumerate} | ||
+ | \item $\supp f$ nezávisí na $\theta$, | ||
+ | \item $\frac{\pd f}{\pd\theta}$ a $\frac{\pd^2 f}{\pd\theta^2}$ | ||
+ | existují a jsou spojité v~$\theta$, | ||
+ | \item lze zaměnit $\int f$ a $\frac{\pd}{\pd\theta}$, | ||
+ | \item Fisherova míra informace $0<\I(\theta)<\infty$, | ||
+ | \item | ||
+ | \[\abs{\frac{\pd^2\ln f}{\pd\theta^2}}\le M(x),\] | ||
+ | kde $E(M(x))<\infty$. | ||
+ | \end{enumerate} | ||
+ | Pak pro každý asymptoticky normální odhad | ||
+ | \[\sqrt{n}(T_N(\mathbf X)-\tau(\theta))\kd N(0,\sigma^2(\theta))\] | ||
+ | platí | ||
+ | \[\sigma^2(\theta)\ge\frac{\tau'(\theta)}{\I_1(\theta)}\] | ||
+ | až na množinu Lebesguovy míry 0. | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{remark} | ||
+ | \begin{enumerate} | ||
+ | \item Body, pro které uvedená nerovnost neplatí, nazýváme {\bf body | ||
+ | supereficience}. | ||
+ | \item Je-li $\I(\theta)$ spojitá na $\boldsymbol\Theta$, je spojitá i | ||
+ | $\sigma^2(\theta)$ a nerovnost platí všude. | ||
+ | \end{enumerate} | ||
+ | \end{remark} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Pokud $\sqrt{n}(T_n-\tau)\ksd{\boldsymbol\Theta}N(0,\sigma^2)$, pak | ||
+ | výše uvedená nerovnost platí pro každé $\theta$. | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{define} | ||
+ | Pro asymptoticky normální odhady $T_n^{(1)}\sim | ||
+ | AN(0,\sigma_1^2(\theta))$, $T_n^{(2)}\sim AN(0,\sigma_2^2(\theta))$ | ||
+ | definujeme {\bf asymptotickou relativní eficienci} | ||
+ | \[\mathrm{ARE}=\frac{\sigma_1^2(\theta)}{\sigma_2^2(\theta)}.\] | ||
+ | \end{define} | ||
+ | |||
+ | \subsection{Odhady metodou maximální věrohodnosti} | ||
+ | |||
+ | \begin{define} | ||
+ | Buďte $\mathbf X=(X_1,\dots,X_n)$ nezávislá pozorování s~rozdělením | ||
+ | \[f_{\mathbf X}(\mathbf x,\Theta)=\prod_{j=1}^n f_{X_j}(x_j,\Theta).\] | ||
+ | Potom libovolnou funkci $L(\Theta|\mathbf x)=c(\mathbf x)f_{\mathbf | ||
+ | X}(\mathbf x,\Theta)$ nazýváme {\bf věrohodnostní funkcí}. Funkci | ||
+ | $l(\Theta|\mathbf x)=\ln L(\Theta|\mathbf x)$ nazýváme {\bf | ||
+ | logaritmickou věrohodnostní funkcí}. | ||
+ | \end{define} | ||
+ | |||
+ | Odhadem metodou maximální věrohodnosti se rozumí odhad | ||
+ | \[\widehat\Theta_\mle= | ||
+ | \widehat\Theta_\mle(\mathbf X)= | ||
+ | \arg\sup_{\Theta\in\boldsymbol\Theta}L(\Theta|\mathbf X),\] | ||
+ | za předpokladu, že $\sup L$ existuje a je konečné, že | ||
+ | $\widehat\Theta_\mle$ závisí na $\mathbf X$ a že je | ||
+ | $\widehat\Theta_\mle$ určen | ||
+ | jednoznačně. | ||
+ | |||
+ | Pro $\tau(\Theta)$ definujeme $T_\mle(\mathbf X)=\tau( | ||
+ | \widehat\Theta_\mle)$. | ||
+ | |||
+ | \begin{lemma}[Jensenova nerovnost] | ||
+ | Buď $\Phi(t)$ konvexní (resp. konkávní) funkce. Pak | ||
+ | $E(\Phi(X))\ge\Phi(EX)$ (resp. $E(\Phi(X))\le\Phi(EX)$). | ||
+ | \begin{proof} | ||
+ | Buď $L(t)$ tečna k~$\Phi(t)$ v~bodě $EX$. | ||
+ | Platí, že | ||
+ | \[ | ||
+ | E(L(X))=E(\alpha X+\beta)=\alpha EX+\beta=L(EX). | ||
+ | \] | ||
+ | Potom $E(\Phi(X))\ge E(L(X))=L(EX)=\Phi(EX)$. Analogicky pro konkávní | ||
+ | funkci. | ||
+ | \end{proof} | ||
+ | \end{lemma} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $X_1,\dots,X_n$ iid s~rozdělením $f(x_i,\theta)$, | ||
+ | $\theta\in\boldsymbol\Theta\subset\R^1$, nechť $EX_1<\infty$. Pak | ||
+ | \[\lim_{n\to\infty}P(L(\theta_0)>L(\theta))=1,\] | ||
+ | kde $\theta_0$ je skutečná hodnota parametru $\theta$ a | ||
+ | $\theta\not=\theta_0$ je libovolný bod z~$\boldsymbol\Theta$. | ||
+ | \begin{proof} | ||
+ | Platí, že | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \{L(\theta_0)>L(\theta)\}&= | ||
+ | \left\{\frac{L(\theta)}{L(\theta_0)}<1\right\}= | ||
+ | \left\{\log\frac{L(\theta)}{L(\theta_0)}<0\right\}=\\ | ||
+ | &=\left\{\log\frac{\prod_{i=1}^n f(x_i,\theta)} | ||
+ | {\prod_{i=1}^n f(x_i,\theta_0)}<0\right\}= | ||
+ | \left\{\frac1n\sum_{i=1}^n\log\frac{f(x_i,\theta)}{f(x_i,\theta_0)}<0\right\}, | ||
+ | \end{split} | ||
+ | \] | ||
+ | přičemž | ||
+ | \[ | ||
+ | \frac1n\sum_{i=1}^n\log\frac{f(x_i,\theta)}{f(x_i,\theta_0)} | ||
+ | \kp | ||
+ | E\left(\log\frac{f(X,\theta)}{f(X,\theta_0)}\right). | ||
+ | \] | ||
+ | Potom | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | E_{\theta_0}\left( | ||
+ | \log\frac{f(X,\theta)}{f(X,\theta_0)} | ||
+ | \right)&< | ||
+ | \log E_{\theta_0}\left(\frac{f(X,\theta)}{f(X,\theta_0)}\right) | ||
+ | =\log\int_\R\frac{f(x,\theta)}{f(x,\theta_0)}f(x,\theta_0)\,\d x=\\ | ||
+ | &=\log 1=0. | ||
+ | \end{split} | ||
+ | \] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | V~praxi se používá hlavně $l(\theta,x)$, protože hodně rozdělení je | ||
+ | exponenciálního typu. | ||
+ | |||
+ | Jsou-li splněny předpoklady | ||
+ | \begin{enumerate} | ||
+ | \item $\sup l$ se nabývá ve vnitřním bodě $\boldsymbol\Theta$, | ||
+ | \item $\supp l=\supp f_X$ nezávisí na $\Theta$, | ||
+ | \item existuje $\frac{\pd l(\Theta|\mathbf X)}{\pd\theta_i}$, | ||
+ | \end{enumerate} | ||
+ | pak $\widehat\Theta_\mle$ lze najít řešením soustavy | ||
+ | věrohodnostních rovnic | ||
+ | \[\frac{\pd l(\Theta|\mathbf X)}{\pd\theta_i}.\] | ||
+ | |||
+ | \begin{example} | ||
+ | Buď $X\sim N(\mu,\sigma^2)$, $\Theta(\mu,\sigma)$, $X_1,\dots,X_n$ | ||
+ | pozorování na $X$. | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | L(\mu,\sigma^2|\mathbf x)&= | ||
+ | \prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp | ||
+ | \left(-\frac{1}{2\sigma^2}(X_i-\mu)^2\right)=\\ | ||
+ | &=\frac1{(\sqrt{2\pi})^n\sigma^n}\exp | ||
+ | \left(-\frac1{2\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\right), | ||
+ | \end{split} | ||
+ | \] | ||
+ | \[ | ||
+ | l(\mu,\sigma^2|\mathbf x)=-\frac{n}2\ln 2\pi-\frac{n}2\ln\sigma^2- | ||
+ | \frac1{2\sigma^2}\sum_{i=1}^n(X_i-\mu)^2. | ||
+ | \] | ||
+ | Po provedení derivací dostáváme věrohodnostní rovnice: | ||
+ | \[ | ||
+ | \frac{\pd l}{\pd\mu}=\frac1{\sigma^2} | ||
+ | \sum_{i=1}^n(X_i-\mu)=0, | ||
+ | \] | ||
+ | \[ | ||
+ | \frac{\pd l}{\pd\sigma^2}=-\frac{n}2\frac1{\sigma^2}+ | ||
+ | \frac1{2\sigma^4}\sum_{i=1}^n(X_i-\mu)^2=0. | ||
+ | \] | ||
+ | Tyto rovnice řeší | ||
+ | \[\widehat\mu_\mle=\overline{X_n},\quad\widehat\sigma_\mle^2= | ||
+ | \frac1n\sum_{i=1}^n(X_i-\overline{X_n})=\widehat\sigma_n^2.\] | ||
+ | \end{example} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Nechť systém hustot | ||
+ | $\{f(x|\theta)|\theta\in\boldsymbol\Theta\subset\R^1\}$ je regulární, | ||
+ | nechť $\widehat\theta(\mathbf X)$ je nestranný odhad $\theta$ takový, | ||
+ | že $D(\widehat\theta)=\rclb(\theta)$. Pak $\widehat\theta$ je řešením | ||
+ | věrohodnostních rovnic. | ||
+ | \begin{proof} | ||
+ | V~Rao-Cramerově nerovnosti nastává rovnost, takže existuje $K(\theta)$ | ||
+ | taková, že | ||
+ | \[\frac{\pd\ln f_{\mathbf X}}{\pd\theta}= | ||
+ | K(\theta)(\widehat\theta(\mathbf X)-\theta).\] | ||
+ | Je-li $\widehat\theta=\theta$, pak se to rovná nule. | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Nechť systém hustot | ||
+ | $\{f(x|\theta)|\theta\in\boldsymbol\Theta\subset\R^1\}$ je regulární a | ||
+ | nechť jsou splněny předpoklady Rao-Cramerovy nerovnosti, nechť | ||
+ | $\tau(\theta)$ je prostá, nestranný odhad $T(\mathbf X)$ funkce | ||
+ | $\tau(\theta)$ je jednoznačný a $DT=\rclb$. Pak věrohodnostní rovnice | ||
+ | má právě jedno řešení, toto řešení je funkcí $T(\mathbf X)$ a je MLE. | ||
+ | \begin{proof} | ||
+ | Existence řešení vyplývá opět z~Rao-Cramerovy nerovnosti: | ||
+ | \[\frac{\pd\ln f_{\mathbf X}}{\pd\theta}= | ||
+ | K(\theta)(T(\mathbf X)-\tau(\theta))=0.\] | ||
+ | Věrohodnostní rovnice splňuje | ||
+ | $\widehat\theta=\tau^{-1}(T(\mathbf X))$. Dále, protože | ||
+ | $0<\I_n(\theta)<\infty$, je | ||
+ | \[\frac{\pd^2\ln f_{\mathbf X}}{\pd\theta^2}= | ||
+ | K'(\theta)(T(\mathbf X)-\tau(\theta))-K(\theta)\tau'(\theta)\] | ||
+ | \[\underbrace{E\left(\frac{\pd^2\ln f_{\mathbf X}} | ||
+ | {\pd\theta^2}\right)}_{-\I_n(\theta)}= | ||
+ | K'(\theta)(\underbrace{ET(\mathbf X)}_{\tau(\theta)} | ||
+ | -\tau(\theta))-K(\theta)\tau'(\theta),\] | ||
+ | takže $K(\theta)\tau'(\theta)=\I_n(\theta)>0$ a proto | ||
+ | $K(\theta)\not=0$. Pro druhou derivaci platí | ||
+ | \[\frac{\pd^2\ln f}{\pd\theta^2}(\widehat\theta)=0-\I_n(\widehat\theta)<0,\] | ||
+ | je tam maximum a tedy odhad je MLE. | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $X_1,\dots,X_n$ iid s~rozdělením $f(x,\theta)$, | ||
+ | $\theta\in\boldsymbol\Theta\subset\R$, $\boldsymbol\Theta$ je otevřená | ||
+ | množina, $\theta_0$ skutečná hodnota parametru. Nechť existuje | ||
+ | $\frac{\pd\ln f}{\pd\theta}(x,\theta)$ na okolí | ||
+ | $(\theta_0-\delta,\theta_0+\delta)$. Pak s~pravděpodobností jdoucí k~1 | ||
+ | pro $n\to\infty$ má věrohodnostní rovnice kořen $\widehat\theta_n$ , | ||
+ | který je konzistentním odhadem $\theta_0$. | ||
+ | \begin{proof} | ||
+ | Protože $P(L(\theta_0)>L(\theta))\to 1$, pro libovolné $\delta$ platí | ||
+ | $P(l(\theta_0+\delta)-l(\theta_0)<0)\to 1$ a | ||
+ | $P(l(\theta_0-\delta)-l(\theta_0)<0)\to 1$. Funkce $l$ je spojitá v | ||
+ | $\theta$ a existuje derivace $\frac{\pd l}{\pd\theta}$. Z~toho | ||
+ | vyplývá, že $l$ má na $(\theta_0-\delta,\theta_0+\delta)$ nějaké | ||
+ | lokální maximum. Jelikož to platí pro libovolné $\delta$, s | ||
+ | pravděpodobností jdoucí k~$1$ platí $\frac{\pd | ||
+ | l}{\pd\theta}(\theta_0)=0$ a toto řešení je jednoznačné. Z~toho | ||
+ | vyplývá tvrzení věty. | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{lemma}[Slutsky] | ||
+ | Nechť $X_n\kd X$ a $Y_n\kp c$ ($c<\infty$). Pak | ||
+ | \begin{enumerate} | ||
+ | \item $X_n+Y_n\kd X+c$, | ||
+ | \item $X_nY_n\kd cX$, | ||
+ | \item $X_n/Y_n\kd X/c$ ($c\not=0$). | ||
+ | \end{enumerate} | ||
+ | \end{lemma} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $X_1,\dots,X_n$ iid s~rozdělením | ||
+ | $f(x,\theta)$, $\theta\in\boldsymbol\Theta\subset\R$, | ||
+ | $\boldsymbol\Theta$ je otevřená množina. Nechť | ||
+ | \begin{enumerate} | ||
+ | \item $\supp f$ nezávisí na $\theta$, | ||
+ | \item existuje $\frac{\pd f}{\pd\theta_i}$ pro každé $\theta$ a skoro | ||
+ | všechna $x$, | ||
+ | \item $\int f'=0$, $\int f''=0$, | ||
+ | \item $0<\I(\theta)<\infty$, | ||
+ | \item pro každé $\theta$ a skoro všechna $x$ je | ||
+ | \[\abs{\frac{\pd^3\log f}{\pd\theta^3}(\theta,x)}\le M(x),\] | ||
+ | kde $EM(X)<\infty$. | ||
+ | \end{enumerate} | ||
+ | Pak pro každé konzistentní řešení věrohodnostní rovnice (označme ho | ||
+ | $\widehat\theta_n$) platí | ||
+ | \[\sqrt{n}(\widehat\theta_n-\theta)\kd N | ||
+ | \left(0,\frac1{\I(\theta)}\right).\] | ||
+ | \begin{proof} | ||
+ | Nechť odhad $\widehat\theta_n$ řeší věrohodnostní rovnici a je | ||
+ | konzistentní. Nechť $\theta_0$ je skutečná hodnota parametru. Potom | ||
+ | \[0=l_n'(\widehat\theta_n)=l_n'(\theta_0)+ | ||
+ | (\widehat\theta_n-\theta_0)l_n''(\theta_0)+ | ||
+ | \frac12(\widehat\theta_n-\theta_0)^2l'''(\widehat\theta_*),\] | ||
+ | kde $\widehat\theta_*\in(\widehat\theta_n,\theta_0)$ nebo | ||
+ | $\in(\theta_0,\widehat\theta_n)$. | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \sqrt{n}(\widehat\theta_n-\theta_0)&=\frac{-\sqrt{n}\,l_n'(\theta_0)} | ||
+ | {l_n''(\theta_0)+\frac12(\widehat\theta_n-\theta_0)l''' | ||
+ | (\widehat\theta_*)}=\\ | ||
+ | &=\frac{-\frac1{\sqrt{n}}\,l_n'(\theta_0)} | ||
+ | {\frac1n l_n''(\theta_0)+\frac1{2n}(\widehat\theta_n-\theta_0)l''' | ||
+ | (\widehat\theta_*)}. | ||
+ | \end{split} | ||
+ | \] | ||
+ | Z~konzistence $\widehat\theta_n$ plyne $(\widehat\theta_n-\theta_0)\kp | ||
+ | 0$. Ze zákona velkých čísel plyne konvergence | ||
+ | \[\frac1n l_n''(\theta_0)=\frac1n\sum_{j=1}^nl_j''(\theta_0)\kp | ||
+ | E(l_j''(\theta_0))=-\I_1(\theta)\] | ||
+ | a | ||
+ | \[\abs{\frac1n l_n'''(\widehat\theta_*)}= | ||
+ | \abs{\frac1n\sum_{j=1}^n l_j'''(\widehat\theta_*)}\le | ||
+ | \frac1n\sum_{j=1}^n | ||
+ | \abs{l_j'''(\widehat\theta_*)}\le | ||
+ | \frac1n\sum_{j=1}^n M(x)\kp E(M(X))<\infty.\] | ||
+ | Z~toho vyplývá, že | ||
+ | \[P\left(\abs{\frac1n l_n'''(\widehat\theta_*)}\le K\right)\to 1.\] | ||
+ | Z~centrálního limitního teorému ($\sqrt{n}(\overline{X_n}-\mu)\kd | ||
+ | N(0,\sigma^2)$) plyne (z bodu 3 vyplývá, že $E(l_1'(\theta_0))=0$) | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \frac1{\sqrt{n}}l_n'(\theta_0)&= | ||
+ | \sqrt{n}\left(\frac1n l_n'(\theta_0)\right)=\\ | ||
+ | &=\sqrt{n}\left(\frac1n\sum_{j=1}^n | ||
+ | l_j'(\theta_0)-\underbrace{E(l_1'(\theta_0))}_{0}\right) | ||
+ | \kd N(0,D(l_1'(\theta_0)))=N(0,I(\theta_0)). | ||
+ | \end{split} | ||
+ | \] | ||
+ | Z~předchozího lemmatu pak | ||
+ | \[\sqrt{n}(\widehat\theta_n-\theta_0)\kd | ||
+ | \frac{N(0,\I(\theta_0))}{\I(\theta_0)}= | ||
+ | N\left(0,\frac1{\I(\theta_0)}\right).\] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{dusl} | ||
+ | Odhad $\widehat\theta_n$ je asymptoticky eficientní, protože | ||
+ | $\tau(\theta)=\theta$ a $\tau'(\theta)=1$. | ||
+ | \end{dusl} | ||
+ | |||
+ | \begin{remark} | ||
+ | \begin{enumerate} | ||
+ | \item Pokud existuje právě jedno řešení věrohodnostních rovnic, je | ||
+ | MLE, konzistentní, asymptoticky normální a eficientní. | ||
+ | \item Zkratkou ELE se někdy označují eficientní věrohodnostní odhady. | ||
+ | \end{enumerate} | ||
+ | \end{remark} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $\Theta=(\theta_1,\dots,\theta_k)$, $\widehat\Theta$ | ||
+ | konzistentní řešení soustavy věrohodnostních rovnic a nechť platí | ||
+ | ostatní předpoklady analogické předchozí větě. Pak | ||
+ | $\sqrt{n}(\widehat\Theta_n-\Theta)\kd N_k(0,\Imat^{-1}(\Theta))$. | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{remark} | ||
+ | Nevýhody metody MLE: | ||
+ | \begin{enumerate} | ||
+ | \item Rovnice se dost špatně řeší. | ||
+ | \item I~když se řešení najde, neví se, zda je to globální maximum. | ||
+ | \item MLE je jen asymptoticky eficientní, existují odhady, které jsou | ||
+ | pro dané $n$ lepší. | ||
+ | \end{enumerate} | ||
+ | \end{remark} | ||
+ | |||
+ | \begin{define} | ||
+ | Buďte $X_1,\dots,X_n$ pozorování. Říkáme, že $X_1,\dots,X_n$ mají {\bf | ||
+ | sdružené normální rozdělení}, pokud | ||
+ | \begin{enumerate} | ||
+ | \item existuje $\mathbf Z=\lceil Z_1,\dots,Z_n\rceil$, kde $Z_j\sim | ||
+ | N(0,1)$ a jsou nezávislé, | ||
+ | \item existuje $\boldsymbol\mu=\lceil\mu_1,\dots,\mu_n\rceil$, kde | ||
+ | $\mu_j\in\R$ jsou konstanty, | ||
+ | \item existuje nesingulární matice $\mathbf A$ | ||
+ | \end{enumerate} | ||
+ | tak, že $\mathbf X=\mathbf A\mathbf Z+\boldsymbol\mu$. | ||
+ | \end{define} | ||
+ | |||
+ | Najdeme analytický tvar rozdělení $f_{\mathbf X}(\mathbf x)$. | ||
+ | \[ | ||
+ | f_{\mathbf Z}(\mathbf z)=\prod_{j=1}^n f_{Z_j}(z_j)= | ||
+ | \prod_{j=1}^n\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{z_j^2}{2}\right)= | ||
+ | \frac{1}{(2\pi)^{n/2}}\exp\left(-\frac12\mathbf z\trans\mathbf | ||
+ | z\right). | ||
+ | \] | ||
+ | Použijeme transformaci $\mathbf z=\mathbf A^{-1}(\mathbf | ||
+ | x-\boldsymbol\mu)$, $\abs{\J_{\phi^{-1}}}=\abs{\det\mathbf A^{-1}}$ | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | f_{\mathbf X}(\mathbf x)&=\abs{\det\mathbf A^{-1}}f_{\mathbf Z} | ||
+ | (\mathbf A^{-1}(\mathbf x-\boldsymbol\mu))=\\ | ||
+ | &=\frac1{(2\pi)^{n/2}}\abs{\det\mathbf A^{-1}} | ||
+ | \exp\left(\frac12(\mathbf x-\boldsymbol\mu)(\mathbf A^{-1})\trans | ||
+ | \mathbf A^{-1}(\mathbf x-\boldsymbol\mu)\right). | ||
+ | \end{split} | ||
+ | \] | ||
+ | Označme $\mathbf C=\mathbf A\mathbf A\trans$, potom | ||
+ | $\abs{(\mathbf A^{-1})\trans}\abs{\mathbf A^{-1}}= | ||
+ | \abs{\mathbf C^{-1}}$, $\abs{\mathbf A^{-1}}=\sqrt{\abs{\mathbf | ||
+ | C^{-1}}}$. Tedy | ||
+ | \[ | ||
+ | f_{\mathbf X}(\mathbf x)=\frac{1}{(2\pi)^{n/2}}\sqrt{\abs{\mathbf C^{-1}}} | ||
+ | \exp\left(-\frac12(\mathbf x-\boldsymbol\mu)\trans\mathbf C^{-1} | ||
+ | (\mathbf x-\boldsymbol\mu)\right) | ||
+ | \] | ||
+ | |||
+ | \begin{lemma} | ||
+ | Matice $\mathbf C^{-1}$ je symetrická a pozitivně definitní. | ||
+ | \begin{proof} | ||
+ | \[(\mathbf C^{-1})\trans=((\mathbf A^{-1})\trans\mathbf A^{-1})\trans= | ||
+ | (\mathbf A^{-1})\trans\mathbf A^{-1}=\mathbf C^{-1}.\] | ||
+ | \[\mathbf x\trans\mathbf C^{-1}\mathbf x= | ||
+ | \mathbf x\trans((\mathbf A^{-1})\trans\mathbf A^{-1})\mathbf x= | ||
+ | (\mathbf A^{-1}\mathbf x)\trans(\mathbf A^{-1}\mathbf x)>0.\] | ||
+ | \end{proof} | ||
+ | \end{lemma} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Nechť $X_1,\dots,X_n$ mají $N_n$. Pak $\boldsymbol\mu=E\mathbf X$ a $\mathbf | ||
+ | C=\Cov(\mathbf X)$. | ||
+ | \begin{proof} | ||
+ | \[E\mathbf X=E(\mathbf A\mathbf Z+\boldsymbol\mu)= | ||
+ | \mathbf AE(\mathbf Z)+E\boldsymbol\mu=\boldsymbol\mu.\] | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \Cov(\mathbf X)&=E(\mathbf X-\boldsymbol\mu) | ||
+ | (\mathbf X-\boldsymbol\mu)\trans=\\ | ||
+ | &=\int_{\R^n}(\mathbf x-\boldsymbol\mu)(\mathbf x-\boldsymbol\mu)\trans | ||
+ | \frac{1}{(2\pi)^{n/2}}\frac{1}{\sqrt{\abs{\mathbf C}}}\\ | ||
+ | &\quad\exp\left(-\frac12(\mathbf x-\boldsymbol\mu)\trans | ||
+ | \mathbf C^{-1}(\mathbf x-\boldsymbol\mu)\right)\,\d\mathbf x=\\ | ||
+ | &=\frac{1}{(2\pi)^{n/2}}\int_{\R^n} | ||
+ | \exp\left(-\frac12\mathbf z\trans\mathbf A\trans\mathbf C^{-1} | ||
+ | \mathbf A\mathbf z\right)\mathbf A\mathbf z\mathbf z\trans\mathbf | ||
+ | A\trans\,\d\mathbf z=\\ | ||
+ | &=\frac{1}{(2\pi)^{n/2}}\mathbf A\underbrace{\int_{\R^n} | ||
+ | \mathbf z\mathbf z\trans\exp\left(-\frac12 \mathbf z\trans | ||
+ | \mathbf z\right)}_{\mathbf Q}\mathbf A\trans\,\d\mathbf z=\mathbf A\mathbf | ||
+ | A\trans=\mathbf C, | ||
+ | \end{split} | ||
+ | \] | ||
+ | neboť | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \mathbf Q_{jj}&=\int_{\R^n} | ||
+ | z_j^2\exp\left(-\frac12\sum_{i=1}^n z_i^2\right)\,\d\mathbf z=\\ | ||
+ | &=\int_\R z_j^2\exp\left(-\frac12 z_j^2\right)\,\d z_j | ||
+ | \prod_{i\not=j}^n\int_\R\exp\left(-\frac12 z_k^2\right)\,\d z_k= | ||
+ | (\sqrt{2\pi})^n | ||
+ | \end{split} | ||
+ | \] | ||
+ | a pro $j\not=k$ je $\mathbf Q_{jk}=0$. | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $(X_1,\dots X_n)\sim N_n(\boldsymbol\mu,\mathbf C)$ a $\mathbf | ||
+ | D$ nesingulární matice. Pak | ||
+ | \begin{enumerate} | ||
+ | \item $\mathbf D\mathbf X\sim N_n(\mathbf D\boldsymbol\mu,\mathbf D\mathbf | ||
+ | C\mathbf D\trans)$. | ||
+ | \item $(X_{i_1},\dots,X_{i_n})\sim N_n$. | ||
+ | \item $(X_1,\dots,X_k)\sim N_k(\boldsymbol\mu_{1k},\mathbf | ||
+ | C_{1k})$, kde $\boldsymbol\mu_{1k}=(\mu_1,\dots,\mu_k)$, | ||
+ | \[ | ||
+ | \mathbf C_{1k}=\mathbf C | ||
+ | \begin{pmatrix} | ||
+ | 1,\dots,k\\ | ||
+ | 1,\dots,k | ||
+ | \end{pmatrix}. | ||
+ | \] | ||
+ | \item $(X_{i_1},\dots,X_{i_k})\sim N_k$. | ||
+ | \item $X_j\sim N(\mu_j,\sigma_j^2=\mathbf C_{jj})$. | ||
+ | \item $\mathbf k\trans\mathbf X\sim N(\mathbf k\trans\boldsymbol\mu, | ||
+ | \mathbf k\trans\mathbf C\mathbf k)$. | ||
+ | \item $(X_1,\dots X_n)$ jsou nezávislé, právě když $\mathbf C$ je | ||
+ | diagonální. | ||
+ | \end{enumerate} | ||
+ | \end{theorem} |
Aktuální verze z 1. 11. 2010, 18:33
[ znovu generovat, | výstup z překladu ] | Kompletní WikiSkriptum včetně všech podkapitol. | |
PDF Této kapitoly | [ znovu generovat, | výstup z překladu ] | Přeložení pouze této kaptioly. |
ZIP | Kompletní zdrojový kód včetně obrázků. |
Součásti dokumentu 01PRA1_2
součást | akce | popis | poslední editace | soubor | |||
---|---|---|---|---|---|---|---|
Hlavní dokument | editovat | Hlavní stránka dokumentu 01PRA1_2 | Karel.brinda | 2. 11. 2010 | 12:27 | ||
Řídící stránka | editovat | Definiční stránka dokumentu a vložených obrázků | Valapet2 | 5. 3. 2016 | 18:31 | ||
Header | editovat | Hlavičkový soubor | Fucikrad | 9. 1. 2012 | 13:04 | header.tex | |
Kapitola1 | editovat | Úvod | Karel.brinda | 1. 11. 2010 | 18:29 | kapitola1.tex | |
Kapitola2 | editovat | Diskrétní náhodné veličiny | Karel.brinda | 1. 11. 2010 | 18:30 | kapitola2.tex | |
Kapitola3 | editovat | Vícerozměrná diskrétní rozdělení | Karel.brinda | 1. 11. 2010 | 18:30 | kapitola3.tex | |
Kapitola4 | editovat | Absolutně spojitá rozdělení | Valapet2 | 3. 3. 2016 | 10:51 | kapitola4.tex | |
Kapitola5 | editovat | Funkce náhodných veličin | Karel.brinda | 1. 11. 2010 | 18:31 | kapitola5.tex | |
Kapitola6 | editovat | Příklady absolutně spojitých rozdělení | Valapet2 | 5. 3. 2016 | 18:35 | kapitola6.tex | |
Kapitola7 | editovat | Charakteristiky náhodných veličin | Karel.brinda | 1. 11. 2010 | 18:32 | kapitola7.tex | |
Kapitola8 | editovat | Charakteristiky vícerozměrných náhodných veličin | Karel.brinda | 1. 11. 2010 | 18:32 | kapitola8.tex | |
Kapitola9 | editovat | Konvergence na prostoru náhodných veličin | Karel.brinda | 1. 11. 2010 | 18:32 | kapitola9.tex | |
Kapitola10 | editovat | Limitní věty teorie pravděpodobnosti | Karel.brinda | 1. 11. 2010 | 18:33 | kapitola10.tex | |
Kapitola11 | editovat | Základní pojmy ze statistiky | Karel.brinda | 1. 11. 2010 | 18:33 | kapitola11.tex | |
Kapitola12 | editovat | Odhad parametrů rozdělení | Karel.brinda | 1. 11. 2010 | 18:33 | kapitola12.tex |
Vložené soubory
soubor | název souboru pro LaTeX |
---|---|
Image:Gauss.eps | Gauss.eps |
Image:Fisher.eps | Fisher.eps |
Image:Gamma.eps | Gamma.eps |
Image:Chi2.eps | Chi2.eps |
Image:Pravd.eps | Pravd.eps |
Image:Gauss1.pdf | Gauss.pdf |
Image:Fisher.eps | Fisher.pdf |
Image:Gamma.pdf | Gamma.pdf |
Image:Chi2.pdf | Chi2.pdf |
Image:Beta.pdf | Beta.pdf |
Zdrojový kód
%\wikiskriptum{01PRA1_2} \section{Odhad parametrů rozdělení} \begin{define} Libovolná borelovsky měřitelná funkce $\widehat\Theta= \widehat\Theta(\mathbf X)$ se nazývá odhadem parametrů $\Theta$ na základě pozorování $X_1,\dots,X_n$. Libovolná borelovsky měřitelná funkce $T(\mathbf X)$ se nazývá odhadem parametrické funkce $\tau(\Theta)$. \end{define} \begin{define} $\widehat\Theta$ se nazývá {\bf nestranný odhad} $\Theta$, pokud $E_{\Theta}(\widehat\Theta)=\Theta$ pro každé $\Theta\in\boldsymbol\Theta$. Pro parametrickou funkci: $E_\Theta[T(\mathbf X)]=\tau(\Theta)$. \end{define} \begin{define} Posloupnost odhadů $\posloupnost{1}{\infty}{\Theta_n}$ nazýváme {\bf konzistentním odhadem} $\Theta$, pokud $\widehat\Theta\kp\Theta$ $\forall\Theta\in\boldsymbol\Theta$. Pro parametrickou funkci: $T_n(\mathbf X)\kp\tau(\Theta)$. \end{define} \begin{define} $\widehat\Theta_n^*$ nazýváme {\bf eficientním odhadem} $\Theta$, pokud pro každý jiný $\widehat\Theta_n$ platí $E(\widehat\Theta_n^*-\Theta)^2\le E(\widehat\Theta_n-\Theta)^2$ $\forall \Theta\in\boldsymbol\Theta$. \end{define} \begin{theorem} Buď $X$ náhodná veličina, $EX^2<+\infty$. Pak $\overline{X_n}$ je nestranný a konzistentní odhad $EX$. \begin{proof} Nestrannost: \[E\overline{X_n}=\frac1n\sum_{i=1}^n EX_i=EX.\] Konzistence: Ze zákona velkých čísel plyne $\overline{X_n}\kp EX$. \end{proof} \end{theorem} \begin{theorem} Buď $X$ náhodná veličina, $EX^4<+\infty$. Pak $\widehat\sigma_n^2$ je konzistentní a asymptoticky nestranný odhad $DX$ a $s_n^2$ je konzistentní a nestranný odhad $DX$. \begin{proof} \[\widehat\sigma_n^2=\frac1n\sum_{i=1}^n(X_i-\overline{X_n})^2\kp DX.\] \[s_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline{X_n})^2= \frac{n}{n-1}\widehat\sigma_n^2\kp DX.\] \[\widehat\sigma_n^2=\frac1n\sum_{i=1}^n X_i^2-(\overline{X_n})^2\] \[ \begin{split} E(\overline{X_n})^2&= E\left(\frac1n\sum_{i=1}^n X_i\right)^2= \frac1{n^2}E\left(\sum_{i=1}^n X_i^2+ \sum_{\substack{i,j=1\\i\not=j}}^n X_iX_j\right)=\\ &=\frac1{n^2}(nEX^2+n(n-1)(EX)^2) \end{split} \] \[ \begin{split} EX^2-E(\overline{X_n})^2&=EX^2-\frac{EX^2}n-\frac{n-1}{n}(EX)^2=\\ &=\frac{n-1}{n}(EX^2-(EX)^2)=\frac{n-1}n DX\to DX. \end{split} \] \[ E(s_n^2)=E\left(\frac{n}{n-1}\widehat\sigma_n^2\right)= \frac{n}{n-1}E(\widehat\sigma_n^2)=DX. \] \end{proof} \end{theorem} \subsection{Metoda momentů} Hledáme parametry rozdělení $\Theta=(\theta_1,\dots,\theta_k)$. Předpokládejme existenci momentů $\mu_1',\dots,\mu_k'$, $\mu_r'=\mu_r'(\theta_1,\dots,\theta_k)$. Dále předpokládejme, že $\boldsymbol\mu'=(\mu_1'(\Theta),\dots,\mu_k'(\Theta))$ je regulární a prosté, tudíž lze vyjádřit $\theta_j=\theta_j(\mu_1',\dots,\mu_k')$. Napočítáme výběrové momenty \[m_r'=\frac1n\sum_{i=1}^n X_i^r\] a dosadíme za $\mu_1',\dots,\mu_k'$. Dostaneme tak $\widehat\theta_j=\widehat\theta_j(\mathbf X)$. Analogicky postupujeme při odhadu $\tau(\Theta)$. \begin{lemma} Buď $f:\R^2\to\R$ borelovsky měřitelná v~$(x,y)$ a spojitá v~bodě $(a,b)$, $X_n\kp a$, $Y_n\kp b$. Pak $f(X_n,Y_n)\kp f(a,b)$. \begin{proof} Funkce $f$ je spojitá v~$(a,b)$, právě když \[(\forall\epsilon>0)(\exists\delta >0)(\forall x) (\norm{(x,y)-(a,b)}<\delta\implies\abs{f(x,y)-f(a,b)}<\epsilon).\] Dále platí \[\max(\abs{x-a},\abs{y-b})<\delta\iff \abs{x-a}<\delta\wedge\abs{y-b}<\delta.\] Spojitost funkce $f$ v~$(a,b)$ lze zapsat množinově jako \[\{\omega|\abs{X(\omega)-a}<\delta\}\cap \{\omega|\abs{Y(\omega)-b}<\delta\}\subset \{\omega|\abs{f(X,Y)-f(a,b)}<\epsilon\},\] \[(\{\omega|\abs{X(\omega)-a}<\delta\}\cap \{\omega|\abs{Y(\omega)-b}<\delta\})\compl\supset (\{\omega|\abs{f(X,Y)-f(a,b)}<\epsilon\})\compl.\] Z~De Morgana pak plyne \[\{\omega|\abs{X(\omega)-a}\ge\delta\}\cup \{\omega|\abs{Y(\omega)-b}\ge\delta\}\supset \{\omega|\abs{f(X,Y)-f(a,b)}\ge\epsilon\}\] a z~Booleovy nerovnosti \[P(\abs{X(\omega)-a}\ge\delta)+ P(\abs{Y(\omega)-b}\ge\delta)\ge P(\abs{f(X,Y)-f(a,b)}\ge\epsilon).\] Z~této nerovnosti pak okamžitě vyplývá tvrzení věty. \end{proof} \end{lemma} \begin{theorem} Nechť mezi momenty $(\mu_1,\dots,\mu_k)$ a $(\theta_1,\dots,\theta_k)$ existuje vzájemně jednoznačný vztah a nechť inverzní funkce $\theta_j=\theta_j(\mu_1',\dots,\mu_k')$ jsou spojitými funkcemi $\mu_1',\dots,\mu_k'$. Pak odhady metodou momentů $\widehat\Theta=(\widehat\theta_1,\dots,\widehat\theta_k)$ jsou konzistentní odhady $\Theta$. Je-li navíc funkce $\tau(\Theta)$ spojitá, pak odhad $T(\mathbf X)$ získaný metodou momentů je konzistentní odhad $\tau(\Theta)$. \begin{proof} Pro $\widehat\theta_j$ platí \[\widehat\theta_j=\widehat\theta_j(\mathbf X)= \theta_j(m_1'(\mathbf X),\dots,m_k'(\mathbf X))\kp \theta_j(\mu_1'(\mathbf X),\dots,\mu_k'(\mathbf X))=\theta_j,\] neboť podle zákona velkých čísel $m_r'\kp\mu_r'$. Konvergence $\widehat\theta_j\kp\theta_j$ pak plyne z~předchozího lemmatu. \end{proof} \end{theorem} \begin{remark} Předností metody momentů jsou jednoduché rovnice a to, že dává konzistentní odhad. Problémy jsou v~předpokladech, protože momenty vůbec nemusí existovat nebo $\theta_j$ nemusí být spojité. \end{remark} \subsection{Nestranné odhady s~minimálním rozptylem (MVUE)} Mějme dva nestranné konzistentní odhady $\widehat\theta_n^{(1)}$ a $\widehat\theta_n^{(2)}$. Otázka je, který z~nich je \uv{lepší}. Z Čebyševovy nerovnosti \[P(\abs{X-EX}\ge\epsilon)\le\frac{DX}{\epsilon^2}\] plyne, že pro nestranný odhad $\widehat\theta$ platí \[P(\abs{\hat\theta-\theta}\ge\epsilon)\le\frac{D\widehat\theta}{\epsilon^2}\] pro každé $\epsilon$. Jinými slovy menší rozptyl mi zaručuje nižší pravděpodobnost, že ten odhad \uv{uletí}. Otázka je, jak nízko lze s rozptylem $D\widehat\theta$ jít. \begin{define} Buď $\boldsymbol\Theta\subset\R^1$. Systém hustot $\mathcal F=\{f(x,\theta)|\theta\in\boldsymbol\Theta\}$ nazveme {\bf regulárním systémem hustot}, pokud \begin{enumerate} \item $\{x|f(x,\theta)>0\}=\supp f$ nezávisí na $\theta$, \item Parciální derivace \[\frac{\pd f(x,\theta)}{\pd\theta}\] existuje a je konečná pro všechna $\theta$ a pro skoro všechna $x$. \item Střední hodnota \[E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)=0\] pro všechna $\theta$. \item Fisherova míra informace \[\I(\theta)=E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)^2 \in(0,\infty)\] pro všechna $\theta$. \end{enumerate} \end{define} \begin{remark} Bod 3. je splněn, právě když $\int f$ lze derivovat za integrálem: \[ \begin{split} E\left(\frac{\pd\ln f(x,\theta)}{\pd\theta}\right)&= \int\frac{\pd\ln f(x,\theta)}{\pd\theta}f(x,\theta)\,\d x= \int\frac{f'(x,\theta)}{f(x,\theta)}f(x,\theta)\,\d x=\\ &=\int f'(x,\theta)\,\d x= \frac{\d}{\d\theta}\int f(x,\theta)\,\d x=0. \end{split} \] Platí, že \[\I(\theta)=D\left(\frac{\pd\ln f(x,\theta)}{\pd\theta}\right),\] neboť \[E\left(\frac{\pd\ln f(X,\theta)}{\pd\theta}\right)=0.\] Body 3. a 4. lze také shrnout následovně: Náhodná veličina $\pd\ln f/\pd\theta$ má střední hodnotu $0$ a konečný kladný rozptyl. \end{remark} \begin{theorem} Buďte $\mathcal E_1$, $\mathcal E_2$ dva nezávislé experimenty, $\mathcal E_1$ odpovídá regulární systém hustot $\mathcal F_1=\{f_1(x,\theta)|\theta\in\boldsymbol\Theta\}$, $\mathcal E_2$ odpovídá $\mathcal F_2=\{f_2(x,\theta)|\theta\in\boldsymbol\Theta\}$. Pak $\I_{X_1,X_2}(\theta)=\I_{X_1}(\theta)+\I_{X_2}(\theta)$. \begin{proof} \[ \begin{split} \I_{X_1,X_2}(\theta)&=\iint\left[ \frac{\pd\ln f_{X_1,X_2}(x_1,x_2,\theta)}{\pd\theta} \right]^2f_{X_1,X_2}\,\d x_1\d x_2=\\ &=\iint\left[\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)^2+ 2\frac{\pd\ln f_{X_1}}{\pd\theta}\frac{\pd\ln f_{X_2}}{\pd\theta}+\right.\\ &\quad+\left.\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)^2 \right]f_{X_1}f_{X_2}\d x_1\d x_2=\\ &=\underbrace{\int\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right)^2 f_{X_1}}_{\I_{X_1}(\theta)} \underbrace{\int f_{X_2}}_1\,\d x_1\d x_2+\\ &\quad+\int\left(\frac{\pd\ln f_{X_2}}{\pd\theta}\right)^2 f_{X_2} \int f_{X_1}\,\d x_1\d x_2+ E\left(\frac{\pd\ln f_{X_1}}{\pd\theta}\right) E\left(\frac{\pd\ln f_{X_2}}{\pd\theta}\right). \end{split} \] \end{proof} \end{theorem} \begin{dusl} Buďte $X_1,\dots,X_n$ iid. Potom $\I_{X_1,\dots,X_n}(\theta)=n\I_{X_1}(\theta)$. \end{dusl} \begin{remark} Buď $\{f(x,\theta)\}$ regulární a nechť $\int f$ lze derivovat dvakrát podle $\theta$ za integrálem. Potom \[\I(\theta)=-E\left(\frac{\pd^2\ln f}{\pd\theta^2}\right)\] pro všechna $\theta$. \begin{proof} \[0=\frac{\d}{\d\theta}\int f\,\d x= \int\frac{\pd f}{\pd\theta}\,\d x= \int\frac{\pd\ln f}{\pd\theta}f\,\d x.\] \[ 0=\frac{\d}{\d\theta}\int\frac{\pd\ln f}{\pd\theta}f\,d x= \int\frac{\pd^2\ln f}{\pd\theta}f+\int \frac{\pd\ln f}{\pd\theta}\frac{\pd f}{\pd\theta}= \int\frac{\pd^2\ln f}{\pd\theta}f+\int \left(\frac{\pd\ln f}{\pd\theta}\right)^2 f. \] \end{proof} \end{remark} \begin{theorem}[Rao-Cramerova nerovnost] Buď $\theta\in\R^1$, $\{f(x,\theta)\}$ regulární systém hustot, $\tau(\theta)$ diferencovatelná. Nechť $T(\mathbf X)$ je nějaký nestranný odhad $\tau(\theta)$ takový, že $E(T(\mathbf X))$ je možné derivovat pod znakem $E$ pro $\forall\theta\in\boldsymbol\Theta$. Pak \[D(T(\mathbf X))\ge\frac{[\tau'(\theta)]^2}{\I(\theta)}.\] Rovnost nastává, právě když existuje $K=K(\theta,n)$ tak, že s pravděpodobností $1$ platí \[\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)= K(T(\mathbf X)-\tau(\theta)).\] \begin{proof} \[ \begin{split} \tau'(\theta)&=\frac{\d}{\d\theta}[E(T(\mathbf x))]= \frac{\d}{\d\theta} \int T(\mathbf x)f(\mathbf x,\theta)\,\d\mathbf x= \int T(\mathbf x)\frac{\pd f}{\pd\theta} (\mathbf x,\theta)\,\d\mathbf x=\\ &=\int T(\mathbf x)\frac{\pd\ln f}{\pd\theta}(\mathbf x,\theta) f(\mathbf x,\theta)\,\d \mathbf x= E\left(T(\mathbf X)\frac{\pd\ln f}{\pd\theta}\right)=\\ &=\Cov\left(T(\mathbf X),\frac{\pd\ln f}{\pd\theta} (\mathbf X,\theta)\right). \end{split} \] Ze Schwarzovy nerovnosti potom vyplývá \[\abs{\Cov\left(T,\frac{\pd\ln f}{\pd\theta}\right)}^2\le DT(\mathbf X)D\left(\frac{\pd\ln f}{\pd\theta}\right),\] tedy $[\tau'(\theta)]^2\le D(T(\mathbf X))\I(\theta)$. Rovnost nastává právě když \[\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)- E\left(\frac{\pd\ln f}{\pd\theta}(\mathbf X,\theta)\right)= K(T(\mathbf X)-E(T(\mathbf X)))\] platí s~pravděpodobností $1$. Z~toho okamžitě plyne tvrzení věty. \end{proof} \end{theorem} \begin{example} Nechť $f=N(\mu,1)$, tedy \[f(x)=\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{(x-\mu)^2}{2}\right).\] Budeme odhadovat parametr $\mu$. \[\ln f=-\frac12\ln 2\pi-\frac{(x-\mu)^2}{2},\] \[\frac{\pd\ln f}{\pd\mu}=(x-\mu),\] \[\frac{\pd^2\ln f}{\pd\mu^2}=-1.\] Platí tedy \[\I(\mu)=-E\left(\frac{\pd^2\ln f}{\pd\mu^2}\right)=-E(-1)=1\] a dál $\I_n(\mu)=n$, $\tau(\mu)=\mu$, $\rclb(\theta)=1/n$ ($\rclb$ je {\bf Rao-Cramer Lower Bound}, rozptyl pod který se už nelze dostat). Dále platí \[ \begin{split} \frac{\pd\ln f(\mathbf x,\theta)}{\pd\theta}&= \frac{\pd\ln\prod_{i=1}^n f(x_i,\theta)}{\pd\theta}= \sum_{i=1}^n\frac{\pd\ln f}{\pd\theta}(x_i,\theta)= \sum_{i=1}^n(x_i-\mu)=\\ &=n\left(\frac1n\sum_{i=1}^n X_i-\mu\right)=K(T(\mathbf X)-\mu). \end{split} \] Našli jsme tak $K$, pro které platí rovnost z~Rao-Cramera a tedy $\overline{X_n}$ je odhad s~minimálním rozptylem. \end{example} \begin{remark} $\rclb$ je dosažitelná, právě když $\{f(x,\theta)\}$ tvoří jednoparametrickou exponenciální třídu hustot. \end{remark} \begin{define} Buď $\boldsymbol\Theta\subset\R^k$, potom $\{f(x,\Theta)\}$ nazveme {\bf regulárním systémem hustot}, pokud \begin{enumerate} \item $\supp f$ nezávisí na $\Theta$, \item Parciální derivace \[\frac{\pd f}{\pd\theta_i}(x,\Theta)\] existují a jsou konečné pro všechna $i\in\hat k$, pro všechna $\Theta$ a skoro všechna $\mathbf x$. \item Střední hodnoty \[E\left(\frac{\pd\ln f}{\pd\theta_i}(X,\Theta)\right)=0\] pro každé $i\in\hat k$ a pro každé $\Theta$. \item {\bf Fisherova informační matice} \[\mathbf I_{ij}(\Theta)= E\left(\frac{\pd\ln f}{\pd\theta_i}(X,\Theta)\frac{\pd\ln f}{\pd\theta_j}(X,\Theta)\right)\] je regulární a konečná \end{enumerate} \end{define} \begin{remark} \begin{enumerate} \item \[\Imat_{ij}=-E\left( \frac{\pd^2\ln f}{\pd\theta_i\pd\theta_j}\right).\] \item Jsou-li $X_1,\dots,X_n$ iid, pak $\Imat_{X_1,\dots,X_n}(\Theta)=n\Imat_{X_1}(\Theta)$. \end{enumerate} \end{remark} \begin{theorem}[Rao-Cramerova nerovnost] Buďte $X_i$ pozorování, $\theta\in\boldsymbol\Theta\subset\R^k$, $\{f(x,\Theta)|\Theta\}$ regulární systém hustot, $\tau(\Theta):\boldsymbol\Theta\mapsto\R$, nechť dále existují derivace \[\frac{\pd\tau}{\pd\theta_i}\] pro každé $i\in\hat k$, $T(\mathbf X)$ nestranný odhad $\tau(\Theta)$ a nechť lze zaměnit $\pd/\pd\theta_i$ a $E(T(\mathbf X))$ pro každé $i$ a každé $\theta$. Pak \[D(T(\mathbf X))\ge\boldsymbol\tau'(\Theta)\Imat^{-1} {\boldsymbol\tau'}\trans(\Theta),\] kde \[\boldsymbol\tau'(\Theta)= \left( \frac{\pd\tau}{\pd\theta_1},\dots,\frac{\pd\tau}{\pd\theta_k} \right).\] \begin{proof} Sestrojíme matici $(k+1)\times(k+1)$: \[ \mathbf M= \begin{pmatrix} D(T(\mathbf X))& \boldsymbol\tau'(\Theta)\\ {\boldsymbol\tau'}\trans(\Theta) & \Imat(\Theta)\\ \end{pmatrix} \] \[ \begin{split} \frac{\pd\tau}{\pd\theta_i}(\Theta)&=\frac{\pd}{\pd\theta_i} (E(T(\mathbf X)))=\int T(x)\frac{\pd f(x,\Theta)}{\pd\theta_i}\,\d x=\\ &=\int T(x)\frac{\pd\ln f(x,\Theta)}{\pd\theta_i}f(x,\Theta)\,\d x= E\left(T\frac{\pd\ln f}{\pd\theta_i}\right)= \Cov\left(T,\frac{\pd\ln f}{\pd\theta_i}\right). \end{split} \] Zavedeme vektor \[\left( T(\mathbf X),\frac{\pd\ln f}{\pd\theta_1},\dots, \frac{\pd\ln f}{\pd\theta_k} \right).\] Matice $\mathbf M$ je pozitivně semidefinitní a platí \[ \begin{split} 0\le\abs{\mathbf M}&=D(T(\mathbf X))\abs{\Imat(\Theta)} +\sum_{i=1}^k\boldsymbol\tau_i'(\Theta)(-1)^i\abs{\mathbf M_{1,i+1}}=\\ &=D(T(\mathbf X))\abs{\Imat(\Theta)}+\sum_{i=1}^k\boldsymbol\tau_i'(\Theta) (-1)^i\sum_{j=1}^n(-1)^{j+1}\abs{\Imat_{i,j}(\Theta)}\boldsymbol\tau_j'(\Theta)=\\ &=D(T(\mathbf X))\abs{\Imat(\Theta)}+\sum_{\substack{i=1\\j=1}}^k(-1)^{i+j+1} \boldsymbol\tau_i'(\Theta)\abs{\Imat_{i,j}(\Theta)} \boldsymbol\tau_j'(\Theta). \end{split} \] \[ D(T(\boldsymbol X))\ge\sum_{\substack{i=1\\j=1}}^k(-1)^{i+j} \boldsymbol\tau_i'(\Theta)\frac{\abs{\Imat_{ij}(\Theta)}}{\abs{\Imat(\Theta)}} {\boldsymbol\tau_j'}\trans(\Theta)=\boldsymbol\tau'(\Theta)\Imat^{-1} {\boldsymbol\tau'}\trans(\Theta). \] \end{proof} \end{theorem} \begin{example} Buďte $X_1,\dots,X_n\sim N(\mu,\sigma^2)$, $\Theta=(\mu,\sigma^2)$, $\Imat(\Theta)=\Imat(\mu,\sigma^2)$, \[\ln f=-\frac12\ln 2\pi- \frac12\ln\sigma^2-\frac{(x-\mu)^2}{2\sigma^2}\] \[\Imat_{1,1}=-E\left(\frac{\pd^2\ln f}{\pd\mu^2}\right)= -E\left(-\frac1{\sigma^2}\right)=\frac1{\sigma^2}\] \[\Imat_{1,2}=-E\left(\frac{\pd^2\ln f}{\pd\mu\pd\sigma^2}\right)= -E\left(\frac{\pd}{\pd\mu}\left(-\frac1{2\sigma^2}+ \frac{(X-\mu)^2}{2\sigma^4}\right)\right)= E\left(\frac1{\sigma^4}(X-\mu)\right)=0.\] \[ \begin{split} \Imat_{2,2}&=-E\left(\frac{\pd^2\ln f}{\pd\sigma^2\pd\sigma^2}\right)= -E\left(\frac{\pd}{\pd\sigma^2}\left(-\frac1{2\sigma^2}+ \frac{(X-\mu)^2}{2\sigma^4}\right)\right)=\\ &=-\frac{1}{2\sigma^4}+\frac1{\sigma^6}E(X-\mu)^2= -\frac{1}{2\sigma^4}+\frac1{\sigma^4}=\frac1{2\sigma^4}. \end{split} \] \[ \Imat(\mu,\sigma^2)= \begin{pmatrix} \frac{n}{\sigma^2}&0\\ 0&\frac{n}{2\sigma^4} \end{pmatrix} \] \[ \Imat^{-1}(\mu,\sigma^2)= \begin{pmatrix} \frac{\sigma^2}{n}&0\\ 0&\frac{2\sigma^4}{n} \end{pmatrix} \] Buď $\boldsymbol\tau(\mu,\sigma^2)=\mu$, potom $\boldsymbol\tau'(\mu,\sigma^2)=(1,0)$, \[D(T(\mathbf X))\ge\frac{\sigma^2}{n}\] \[D(\overline{X_n})=\frac1{n^2}\sum_{i=1}^n D(X_i)= \frac1n DX=\frac{\sigma^2}{n}.\] Buď $\boldsymbol\tau(\mu,\sigma^2)=\sigma^2$, $\boldsymbol\tau'(\mu,\sigma^2)=(0,1)$, \[D(T(\mathbf X))\ge\frac{2\sigma^4}{n}.\] $\rclb$ není dosažitelná nestranným odhadem. \[s_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline{X_n}^2),\] \[D(s_n^2)=\frac{2\sigma^4}{n-1}.\] Pokud se vykašleme na nestrannost, můžeme dosáhnout i nižšího rozptylu: \[D(\widehat\sigma_n^2)=\frac{n-1}{n^2}2\sigma^4<\frac{2\sigma^4}{n}= \rclb(\sigma^2).\] \end{example} \begin{remark} Nedostatky: \begin{enumerate} \item Metoda dává pouze nestranné odhady. Odhad, který je \uv{skoro nestranný} a má menší rozptyl než UMVUE, může být někdy užitečnější. \item UMVUE vůbec nemusí existovat, případně sice může existovat, ale je prakticky nepoužitelný. \end{enumerate} \end{remark} \subsection{Asymptotické metody odhadu $\Theta$} \begin{define} Buď $\widehat\theta$ nestranný odhad. Říkáme, že $\widehat\theta$ je {\bf eficientní}, právě když \[e=\frac{\rclb(\theta)}{D(\widehat\theta)}=1.\] Říkáme, že $\widehat\theta$ je {\bf asymptoticky eficientní}, právě když $e\to 1$ pro $n\to\infty$. Jsou-li $\widehat\theta_1$, $\widehat\theta_2$ nestranné odhady, potom veličinu \[e_r=\frac{D(\widehat\theta_1)}{D(\widehat\theta_2)}\] nazýváme {\bf relativní eficience}. \end{define} \begin{define} Buď $\widehat\Theta_n$ odhad parametru $\Theta_0$. Říkáme, že $\widehat\Theta_n$ je {\bf asymptoticky nestranný}, právě když $E(\widehat\Theta_n)\to\Theta_0$. \end{define} \begin{define} Buď $T_n(\mathbf X)$ odhad parametrické funkce $\tau(\theta_0)$. Říkáme, že $\widehat T_n$ má {\bf asymptoticky normální rozdělení} se střední hodnotou $0$ a rozptylem $\sigma^2(\theta_0)$, právě když \[\sqrt{n}(T_n(\mathbf X)-\tau(\theta_0))\kd N(0,\sigma^2(\theta_0)).\] \end{define} \begin{remark} \begin{enumerate} \item Z~asymptotické normálnosti neplyne nestrannost (ani asymptotická). \item Vůbec nemusí platit, že $D(\sqrt{n}T_n)\to\sigma^2(\theta_0)$. \end{enumerate} \end{remark} \begin{define} Nechť $T_n(\mathbf X)$ je asymptoticky normální odhad $AN(0,\sigma^2(\theta))$. Říkáme, že $T_n$ je eficientní (resp. asymptoticky eficientní), právě když \[\sigma^2=\frac{(\tau'(\theta))^2}{\I_1(\theta)}.\] \end{define} \begin{theorem} Buďte $X_1,\dots,X_n\sim f_X(x,\theta)$, $\theta\in\boldsymbol\Theta\subset\R$, $\boldsymbol\Theta$ je otevřená množina, nechť \begin{enumerate} \item $\supp f$ nezávisí na $\theta$, \item $\frac{\pd f}{\pd\theta}$ a $\frac{\pd^2 f}{\pd\theta^2}$ existují a jsou spojité v~$\theta$, \item lze zaměnit $\int f$ a $\frac{\pd}{\pd\theta}$, \item Fisherova míra informace $0<\I(\theta)<\infty$, \item \[\abs{\frac{\pd^2\ln f}{\pd\theta^2}}\le M(x),\] kde $E(M(x))<\infty$. \end{enumerate} Pak pro každý asymptoticky normální odhad \[\sqrt{n}(T_N(\mathbf X)-\tau(\theta))\kd N(0,\sigma^2(\theta))\] platí \[\sigma^2(\theta)\ge\frac{\tau'(\theta)}{\I_1(\theta)}\] až na množinu Lebesguovy míry 0. \end{theorem} \begin{remark} \begin{enumerate} \item Body, pro které uvedená nerovnost neplatí, nazýváme {\bf body supereficience}. \item Je-li $\I(\theta)$ spojitá na $\boldsymbol\Theta$, je spojitá i $\sigma^2(\theta)$ a nerovnost platí všude. \end{enumerate} \end{remark} \begin{theorem} Pokud $\sqrt{n}(T_n-\tau)\ksd{\boldsymbol\Theta}N(0,\sigma^2)$, pak výše uvedená nerovnost platí pro každé $\theta$. \end{theorem} \begin{define} Pro asymptoticky normální odhady $T_n^{(1)}\sim AN(0,\sigma_1^2(\theta))$, $T_n^{(2)}\sim AN(0,\sigma_2^2(\theta))$ definujeme {\bf asymptotickou relativní eficienci} \[\mathrm{ARE}=\frac{\sigma_1^2(\theta)}{\sigma_2^2(\theta)}.\] \end{define} \subsection{Odhady metodou maximální věrohodnosti} \begin{define} Buďte $\mathbf X=(X_1,\dots,X_n)$ nezávislá pozorování s~rozdělením \[f_{\mathbf X}(\mathbf x,\Theta)=\prod_{j=1}^n f_{X_j}(x_j,\Theta).\] Potom libovolnou funkci $L(\Theta|\mathbf x)=c(\mathbf x)f_{\mathbf X}(\mathbf x,\Theta)$ nazýváme {\bf věrohodnostní funkcí}. Funkci $l(\Theta|\mathbf x)=\ln L(\Theta|\mathbf x)$ nazýváme {\bf logaritmickou věrohodnostní funkcí}. \end{define} Odhadem metodou maximální věrohodnosti se rozumí odhad \[\widehat\Theta_\mle= \widehat\Theta_\mle(\mathbf X)= \arg\sup_{\Theta\in\boldsymbol\Theta}L(\Theta|\mathbf X),\] za předpokladu, že $\sup L$ existuje a je konečné, že $\widehat\Theta_\mle$ závisí na $\mathbf X$ a že je $\widehat\Theta_\mle$ určen jednoznačně. Pro $\tau(\Theta)$ definujeme $T_\mle(\mathbf X)=\tau( \widehat\Theta_\mle)$. \begin{lemma}[Jensenova nerovnost] Buď $\Phi(t)$ konvexní (resp. konkávní) funkce. Pak $E(\Phi(X))\ge\Phi(EX)$ (resp. $E(\Phi(X))\le\Phi(EX)$). \begin{proof} Buď $L(t)$ tečna k~$\Phi(t)$ v~bodě $EX$. Platí, že \[ E(L(X))=E(\alpha X+\beta)=\alpha EX+\beta=L(EX). \] Potom $E(\Phi(X))\ge E(L(X))=L(EX)=\Phi(EX)$. Analogicky pro konkávní funkci. \end{proof} \end{lemma} \begin{theorem} Buďte $X_1,\dots,X_n$ iid s~rozdělením $f(x_i,\theta)$, $\theta\in\boldsymbol\Theta\subset\R^1$, nechť $EX_1<\infty$. Pak \[\lim_{n\to\infty}P(L(\theta_0)>L(\theta))=1,\] kde $\theta_0$ je skutečná hodnota parametru $\theta$ a $\theta\not=\theta_0$ je libovolný bod z~$\boldsymbol\Theta$. \begin{proof} Platí, že \[ \begin{split} \{L(\theta_0)>L(\theta)\}&= \left\{\frac{L(\theta)}{L(\theta_0)}<1\right\}= \left\{\log\frac{L(\theta)}{L(\theta_0)}<0\right\}=\\ &=\left\{\log\frac{\prod_{i=1}^n f(x_i,\theta)} {\prod_{i=1}^n f(x_i,\theta_0)}<0\right\}= \left\{\frac1n\sum_{i=1}^n\log\frac{f(x_i,\theta)}{f(x_i,\theta_0)}<0\right\}, \end{split} \] přičemž \[ \frac1n\sum_{i=1}^n\log\frac{f(x_i,\theta)}{f(x_i,\theta_0)} \kp E\left(\log\frac{f(X,\theta)}{f(X,\theta_0)}\right). \] Potom \[ \begin{split} E_{\theta_0}\left( \log\frac{f(X,\theta)}{f(X,\theta_0)} \right)&< \log E_{\theta_0}\left(\frac{f(X,\theta)}{f(X,\theta_0)}\right) =\log\int_\R\frac{f(x,\theta)}{f(x,\theta_0)}f(x,\theta_0)\,\d x=\\ &=\log 1=0. \end{split} \] \end{proof} \end{theorem} V~praxi se používá hlavně $l(\theta,x)$, protože hodně rozdělení je exponenciálního typu. Jsou-li splněny předpoklady \begin{enumerate} \item $\sup l$ se nabývá ve vnitřním bodě $\boldsymbol\Theta$, \item $\supp l=\supp f_X$ nezávisí na $\Theta$, \item existuje $\frac{\pd l(\Theta|\mathbf X)}{\pd\theta_i}$, \end{enumerate} pak $\widehat\Theta_\mle$ lze najít řešením soustavy věrohodnostních rovnic \[\frac{\pd l(\Theta|\mathbf X)}{\pd\theta_i}.\] \begin{example} Buď $X\sim N(\mu,\sigma^2)$, $\Theta(\mu,\sigma)$, $X_1,\dots,X_n$ pozorování na $X$. \[ \begin{split} L(\mu,\sigma^2|\mathbf x)&= \prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp \left(-\frac{1}{2\sigma^2}(X_i-\mu)^2\right)=\\ &=\frac1{(\sqrt{2\pi})^n\sigma^n}\exp \left(-\frac1{2\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\right), \end{split} \] \[ l(\mu,\sigma^2|\mathbf x)=-\frac{n}2\ln 2\pi-\frac{n}2\ln\sigma^2- \frac1{2\sigma^2}\sum_{i=1}^n(X_i-\mu)^2. \] Po provedení derivací dostáváme věrohodnostní rovnice: \[ \frac{\pd l}{\pd\mu}=\frac1{\sigma^2} \sum_{i=1}^n(X_i-\mu)=0, \] \[ \frac{\pd l}{\pd\sigma^2}=-\frac{n}2\frac1{\sigma^2}+ \frac1{2\sigma^4}\sum_{i=1}^n(X_i-\mu)^2=0. \] Tyto rovnice řeší \[\widehat\mu_\mle=\overline{X_n},\quad\widehat\sigma_\mle^2= \frac1n\sum_{i=1}^n(X_i-\overline{X_n})=\widehat\sigma_n^2.\] \end{example} \begin{theorem} Nechť systém hustot $\{f(x|\theta)|\theta\in\boldsymbol\Theta\subset\R^1\}$ je regulární, nechť $\widehat\theta(\mathbf X)$ je nestranný odhad $\theta$ takový, že $D(\widehat\theta)=\rclb(\theta)$. Pak $\widehat\theta$ je řešením věrohodnostních rovnic. \begin{proof} V~Rao-Cramerově nerovnosti nastává rovnost, takže existuje $K(\theta)$ taková, že \[\frac{\pd\ln f_{\mathbf X}}{\pd\theta}= K(\theta)(\widehat\theta(\mathbf X)-\theta).\] Je-li $\widehat\theta=\theta$, pak se to rovná nule. \end{proof} \end{theorem} \begin{theorem} Nechť systém hustot $\{f(x|\theta)|\theta\in\boldsymbol\Theta\subset\R^1\}$ je regulární a nechť jsou splněny předpoklady Rao-Cramerovy nerovnosti, nechť $\tau(\theta)$ je prostá, nestranný odhad $T(\mathbf X)$ funkce $\tau(\theta)$ je jednoznačný a $DT=\rclb$. Pak věrohodnostní rovnice má právě jedno řešení, toto řešení je funkcí $T(\mathbf X)$ a je MLE. \begin{proof} Existence řešení vyplývá opět z~Rao-Cramerovy nerovnosti: \[\frac{\pd\ln f_{\mathbf X}}{\pd\theta}= K(\theta)(T(\mathbf X)-\tau(\theta))=0.\] Věrohodnostní rovnice splňuje $\widehat\theta=\tau^{-1}(T(\mathbf X))$. Dále, protože $0<\I_n(\theta)<\infty$, je \[\frac{\pd^2\ln f_{\mathbf X}}{\pd\theta^2}= K'(\theta)(T(\mathbf X)-\tau(\theta))-K(\theta)\tau'(\theta)\] \[\underbrace{E\left(\frac{\pd^2\ln f_{\mathbf X}} {\pd\theta^2}\right)}_{-\I_n(\theta)}= K'(\theta)(\underbrace{ET(\mathbf X)}_{\tau(\theta)} -\tau(\theta))-K(\theta)\tau'(\theta),\] takže $K(\theta)\tau'(\theta)=\I_n(\theta)>0$ a proto $K(\theta)\not=0$. Pro druhou derivaci platí \[\frac{\pd^2\ln f}{\pd\theta^2}(\widehat\theta)=0-\I_n(\widehat\theta)<0,\] je tam maximum a tedy odhad je MLE. \end{proof} \end{theorem} \begin{theorem} Buďte $X_1,\dots,X_n$ iid s~rozdělením $f(x,\theta)$, $\theta\in\boldsymbol\Theta\subset\R$, $\boldsymbol\Theta$ je otevřená množina, $\theta_0$ skutečná hodnota parametru. Nechť existuje $\frac{\pd\ln f}{\pd\theta}(x,\theta)$ na okolí $(\theta_0-\delta,\theta_0+\delta)$. Pak s~pravděpodobností jdoucí k~1 pro $n\to\infty$ má věrohodnostní rovnice kořen $\widehat\theta_n$ , který je konzistentním odhadem $\theta_0$. \begin{proof} Protože $P(L(\theta_0)>L(\theta))\to 1$, pro libovolné $\delta$ platí $P(l(\theta_0+\delta)-l(\theta_0)<0)\to 1$ a $P(l(\theta_0-\delta)-l(\theta_0)<0)\to 1$. Funkce $l$ je spojitá v $\theta$ a existuje derivace $\frac{\pd l}{\pd\theta}$. Z~toho vyplývá, že $l$ má na $(\theta_0-\delta,\theta_0+\delta)$ nějaké lokální maximum. Jelikož to platí pro libovolné $\delta$, s pravděpodobností jdoucí k~$1$ platí $\frac{\pd l}{\pd\theta}(\theta_0)=0$ a toto řešení je jednoznačné. Z~toho vyplývá tvrzení věty. \end{proof} \end{theorem} \begin{lemma}[Slutsky] Nechť $X_n\kd X$ a $Y_n\kp c$ ($c<\infty$). Pak \begin{enumerate} \item $X_n+Y_n\kd X+c$, \item $X_nY_n\kd cX$, \item $X_n/Y_n\kd X/c$ ($c\not=0$). \end{enumerate} \end{lemma} \begin{theorem} Buďte $X_1,\dots,X_n$ iid s~rozdělením $f(x,\theta)$, $\theta\in\boldsymbol\Theta\subset\R$, $\boldsymbol\Theta$ je otevřená množina. Nechť \begin{enumerate} \item $\supp f$ nezávisí na $\theta$, \item existuje $\frac{\pd f}{\pd\theta_i}$ pro každé $\theta$ a skoro všechna $x$, \item $\int f'=0$, $\int f''=0$, \item $0<\I(\theta)<\infty$, \item pro každé $\theta$ a skoro všechna $x$ je \[\abs{\frac{\pd^3\log f}{\pd\theta^3}(\theta,x)}\le M(x),\] kde $EM(X)<\infty$. \end{enumerate} Pak pro každé konzistentní řešení věrohodnostní rovnice (označme ho $\widehat\theta_n$) platí \[\sqrt{n}(\widehat\theta_n-\theta)\kd N \left(0,\frac1{\I(\theta)}\right).\] \begin{proof} Nechť odhad $\widehat\theta_n$ řeší věrohodnostní rovnici a je konzistentní. Nechť $\theta_0$ je skutečná hodnota parametru. Potom \[0=l_n'(\widehat\theta_n)=l_n'(\theta_0)+ (\widehat\theta_n-\theta_0)l_n''(\theta_0)+ \frac12(\widehat\theta_n-\theta_0)^2l'''(\widehat\theta_*),\] kde $\widehat\theta_*\in(\widehat\theta_n,\theta_0)$ nebo $\in(\theta_0,\widehat\theta_n)$. \[ \begin{split} \sqrt{n}(\widehat\theta_n-\theta_0)&=\frac{-\sqrt{n}\,l_n'(\theta_0)} {l_n''(\theta_0)+\frac12(\widehat\theta_n-\theta_0)l''' (\widehat\theta_*)}=\\ &=\frac{-\frac1{\sqrt{n}}\,l_n'(\theta_0)} {\frac1n l_n''(\theta_0)+\frac1{2n}(\widehat\theta_n-\theta_0)l''' (\widehat\theta_*)}. \end{split} \] Z~konzistence $\widehat\theta_n$ plyne $(\widehat\theta_n-\theta_0)\kp 0$. Ze zákona velkých čísel plyne konvergence \[\frac1n l_n''(\theta_0)=\frac1n\sum_{j=1}^nl_j''(\theta_0)\kp E(l_j''(\theta_0))=-\I_1(\theta)\] a \[\abs{\frac1n l_n'''(\widehat\theta_*)}= \abs{\frac1n\sum_{j=1}^n l_j'''(\widehat\theta_*)}\le \frac1n\sum_{j=1}^n \abs{l_j'''(\widehat\theta_*)}\le \frac1n\sum_{j=1}^n M(x)\kp E(M(X))<\infty.\] Z~toho vyplývá, že \[P\left(\abs{\frac1n l_n'''(\widehat\theta_*)}\le K\right)\to 1.\] Z~centrálního limitního teorému ($\sqrt{n}(\overline{X_n}-\mu)\kd N(0,\sigma^2)$) plyne (z bodu 3 vyplývá, že $E(l_1'(\theta_0))=0$) \[ \begin{split} \frac1{\sqrt{n}}l_n'(\theta_0)&= \sqrt{n}\left(\frac1n l_n'(\theta_0)\right)=\\ &=\sqrt{n}\left(\frac1n\sum_{j=1}^n l_j'(\theta_0)-\underbrace{E(l_1'(\theta_0))}_{0}\right) \kd N(0,D(l_1'(\theta_0)))=N(0,I(\theta_0)). \end{split} \] Z~předchozího lemmatu pak \[\sqrt{n}(\widehat\theta_n-\theta_0)\kd \frac{N(0,\I(\theta_0))}{\I(\theta_0)}= N\left(0,\frac1{\I(\theta_0)}\right).\] \end{proof} \end{theorem} \begin{dusl} Odhad $\widehat\theta_n$ je asymptoticky eficientní, protože $\tau(\theta)=\theta$ a $\tau'(\theta)=1$. \end{dusl} \begin{remark} \begin{enumerate} \item Pokud existuje právě jedno řešení věrohodnostních rovnic, je MLE, konzistentní, asymptoticky normální a eficientní. \item Zkratkou ELE se někdy označují eficientní věrohodnostní odhady. \end{enumerate} \end{remark} \begin{theorem} Buďte $\Theta=(\theta_1,\dots,\theta_k)$, $\widehat\Theta$ konzistentní řešení soustavy věrohodnostních rovnic a nechť platí ostatní předpoklady analogické předchozí větě. Pak $\sqrt{n}(\widehat\Theta_n-\Theta)\kd N_k(0,\Imat^{-1}(\Theta))$. \end{theorem} \begin{remark} Nevýhody metody MLE: \begin{enumerate} \item Rovnice se dost špatně řeší. \item I~když se řešení najde, neví se, zda je to globální maximum. \item MLE je jen asymptoticky eficientní, existují odhady, které jsou pro dané $n$ lepší. \end{enumerate} \end{remark} \begin{define} Buďte $X_1,\dots,X_n$ pozorování. Říkáme, že $X_1,\dots,X_n$ mají {\bf sdružené normální rozdělení}, pokud \begin{enumerate} \item existuje $\mathbf Z=\lceil Z_1,\dots,Z_n\rceil$, kde $Z_j\sim N(0,1)$ a jsou nezávislé, \item existuje $\boldsymbol\mu=\lceil\mu_1,\dots,\mu_n\rceil$, kde $\mu_j\in\R$ jsou konstanty, \item existuje nesingulární matice $\mathbf A$ \end{enumerate} tak, že $\mathbf X=\mathbf A\mathbf Z+\boldsymbol\mu$. \end{define} Najdeme analytický tvar rozdělení $f_{\mathbf X}(\mathbf x)$. \[ f_{\mathbf Z}(\mathbf z)=\prod_{j=1}^n f_{Z_j}(z_j)= \prod_{j=1}^n\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{z_j^2}{2}\right)= \frac{1}{(2\pi)^{n/2}}\exp\left(-\frac12\mathbf z\trans\mathbf z\right). \] Použijeme transformaci $\mathbf z=\mathbf A^{-1}(\mathbf x-\boldsymbol\mu)$, $\abs{\J_{\phi^{-1}}}=\abs{\det\mathbf A^{-1}}$ \[ \begin{split} f_{\mathbf X}(\mathbf x)&=\abs{\det\mathbf A^{-1}}f_{\mathbf Z} (\mathbf A^{-1}(\mathbf x-\boldsymbol\mu))=\\ &=\frac1{(2\pi)^{n/2}}\abs{\det\mathbf A^{-1}} \exp\left(\frac12(\mathbf x-\boldsymbol\mu)(\mathbf A^{-1})\trans \mathbf A^{-1}(\mathbf x-\boldsymbol\mu)\right). \end{split} \] Označme $\mathbf C=\mathbf A\mathbf A\trans$, potom $\abs{(\mathbf A^{-1})\trans}\abs{\mathbf A^{-1}}= \abs{\mathbf C^{-1}}$, $\abs{\mathbf A^{-1}}=\sqrt{\abs{\mathbf C^{-1}}}$. Tedy \[ f_{\mathbf X}(\mathbf x)=\frac{1}{(2\pi)^{n/2}}\sqrt{\abs{\mathbf C^{-1}}} \exp\left(-\frac12(\mathbf x-\boldsymbol\mu)\trans\mathbf C^{-1} (\mathbf x-\boldsymbol\mu)\right) \] \begin{lemma} Matice $\mathbf C^{-1}$ je symetrická a pozitivně definitní. \begin{proof} \[(\mathbf C^{-1})\trans=((\mathbf A^{-1})\trans\mathbf A^{-1})\trans= (\mathbf A^{-1})\trans\mathbf A^{-1}=\mathbf C^{-1}.\] \[\mathbf x\trans\mathbf C^{-1}\mathbf x= \mathbf x\trans((\mathbf A^{-1})\trans\mathbf A^{-1})\mathbf x= (\mathbf A^{-1}\mathbf x)\trans(\mathbf A^{-1}\mathbf x)>0.\] \end{proof} \end{lemma} \begin{theorem} Nechť $X_1,\dots,X_n$ mají $N_n$. Pak $\boldsymbol\mu=E\mathbf X$ a $\mathbf C=\Cov(\mathbf X)$. \begin{proof} \[E\mathbf X=E(\mathbf A\mathbf Z+\boldsymbol\mu)= \mathbf AE(\mathbf Z)+E\boldsymbol\mu=\boldsymbol\mu.\] \[ \begin{split} \Cov(\mathbf X)&=E(\mathbf X-\boldsymbol\mu) (\mathbf X-\boldsymbol\mu)\trans=\\ &=\int_{\R^n}(\mathbf x-\boldsymbol\mu)(\mathbf x-\boldsymbol\mu)\trans \frac{1}{(2\pi)^{n/2}}\frac{1}{\sqrt{\abs{\mathbf C}}}\\ &\quad\exp\left(-\frac12(\mathbf x-\boldsymbol\mu)\trans \mathbf C^{-1}(\mathbf x-\boldsymbol\mu)\right)\,\d\mathbf x=\\ &=\frac{1}{(2\pi)^{n/2}}\int_{\R^n} \exp\left(-\frac12\mathbf z\trans\mathbf A\trans\mathbf C^{-1} \mathbf A\mathbf z\right)\mathbf A\mathbf z\mathbf z\trans\mathbf A\trans\,\d\mathbf z=\\ &=\frac{1}{(2\pi)^{n/2}}\mathbf A\underbrace{\int_{\R^n} \mathbf z\mathbf z\trans\exp\left(-\frac12 \mathbf z\trans \mathbf z\right)}_{\mathbf Q}\mathbf A\trans\,\d\mathbf z=\mathbf A\mathbf A\trans=\mathbf C, \end{split} \] neboť \[ \begin{split} \mathbf Q_{jj}&=\int_{\R^n} z_j^2\exp\left(-\frac12\sum_{i=1}^n z_i^2\right)\,\d\mathbf z=\\ &=\int_\R z_j^2\exp\left(-\frac12 z_j^2\right)\,\d z_j \prod_{i\not=j}^n\int_\R\exp\left(-\frac12 z_k^2\right)\,\d z_k= (\sqrt{2\pi})^n \end{split} \] a pro $j\not=k$ je $\mathbf Q_{jk}=0$. \end{proof} \end{theorem} \begin{theorem} Buďte $(X_1,\dots X_n)\sim N_n(\boldsymbol\mu,\mathbf C)$ a $\mathbf D$ nesingulární matice. Pak \begin{enumerate} \item $\mathbf D\mathbf X\sim N_n(\mathbf D\boldsymbol\mu,\mathbf D\mathbf C\mathbf D\trans)$. \item $(X_{i_1},\dots,X_{i_n})\sim N_n$. \item $(X_1,\dots,X_k)\sim N_k(\boldsymbol\mu_{1k},\mathbf C_{1k})$, kde $\boldsymbol\mu_{1k}=(\mu_1,\dots,\mu_k)$, \[ \mathbf C_{1k}=\mathbf C \begin{pmatrix} 1,\dots,k\\ 1,\dots,k \end{pmatrix}. \] \item $(X_{i_1},\dots,X_{i_k})\sim N_k$. \item $X_j\sim N(\mu_j,\sigma_j^2=\mathbf C_{jj})$. \item $\mathbf k\trans\mathbf X\sim N(\mathbf k\trans\boldsymbol\mu, \mathbf k\trans\mathbf C\mathbf k)$. \item $(X_1,\dots X_n)$ jsou nezávislé, právě když $\mathbf C$ je diagonální. \end{enumerate} \end{theorem}