01PRA1 2:Kapitola10: Porovnání verzí
Z WikiSkripta FJFI ČVUT v Praze
(Založena nová stránka: %\wikiskriptum{01PRA1_2}) |
|||
Řádka 1: | Řádka 1: | ||
%\wikiskriptum{01PRA1_2} | %\wikiskriptum{01PRA1_2} | ||
+ | |||
+ | \section{Limitní věty teorie pravděpodobnosti} | ||
+ | |||
+ | \begin{theorem}[Markovova nerovnost] | ||
+ | Buď $X$ náhodná veličina, $EX<+\infty$. Pak pro každé $\epsilon>0$ | ||
+ | \[P(\abs{X}\ge\epsilon)\le\frac{E\abs{X}}\epsilon.\] | ||
+ | \begin{proof} | ||
+ | \[E\abs{X}=\int_\R\abs{x}f_X(x)\,\d x\ge\int_{S:\abs{x}\ge\epsilon} | ||
+ | \abs{x}f_X(x)\,\d x\ge\epsilon\int_\S f_X(x)\,\d x=\epsilon | ||
+ | P(\abs{X}\ge\epsilon).\] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem}[Čebyševova nerovnost] | ||
+ | Buď $X$ náhodná veličina, $EX^2<+\infty$. Pak pro každé $\epsilon>0$ | ||
+ | \[P(\abs{X-EX}\ge\epsilon)\le\frac{DX}{\epsilon^2}.\] | ||
+ | \begin{proof} | ||
+ | Stačí dosadit za $X$ do Markovovy nerovnosti $(X-EX)^2$ a přeznačit | ||
+ | $\epsilon^2$: | ||
+ | \[P(\abs{X-EX}\ge\epsilon)= | ||
+ | P((X-EX)^2\ge\epsilon^2)\le\frac{E(X-EX)^2}{\epsilon^2}.\] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem}[Slabý zákon velkých čísel] | ||
+ | Buďte $\posloupnost{1}{\infty}{X_n}$ iid, označme $\mu=EX_j<\infty$, | ||
+ | $\sigma^2=DX_j<\infty$, buď | ||
+ | \[\overline{X_n}=\frac1n\sum_{j=1}^n X_j\quad\text{pro každé $n$}.\] | ||
+ | Pak $\overline{X_n}\kp\mu$, | ||
+ | tj. $P(\abs{\overline{X_n}-\mu}<\epsilon)\to 1$. | ||
+ | \begin{proof} | ||
+ | Protože $X_j$ jsou iid, je | ||
+ | \[E\overline{X_n}=\frac1n\sum_{j=1}^n EX_j=\mu\] | ||
+ | a | ||
+ | \[D\overline{X_n}=\frac1{n^2}\sum_{j=1}^n DX_j=\frac{\sigma^2}{n}.\] | ||
+ | Potom z~Čebyševovy nerovnosti vyplývá | ||
+ | \[P(\abs{\overline{X_n}-\mu}\ge\epsilon)\le\frac{\sigma^2}{n\epsilon^2},\] | ||
+ | přičemž pravá strana konverguje k~$0$ pro každé $\epsilon>0$. | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem}[Čebyšev] | ||
+ | Buďte $\posloupnost{1}{\infty}{X_n}$ nezávislé, $\mu_j=EX_j$, | ||
+ | $\sigma_j=DX_j<\infty$. Pokud $\sup DX_j<\infty$, pak | ||
+ | \[\overline{X_n}-\frac1n\sum_{j=1}^n\mu_j\kp 0.\] | ||
+ | \begin{proof} | ||
+ | \[E\overline{X_n}=\frac1n\sum_{j=1}^n EX_j=\frac1n\sum_{j=1}^n\mu_j\] | ||
+ | \[D\overline{X_n}=\frac1{n^2}\sum_{j=1}^n DX_j\le\frac cn\] | ||
+ | \[P\left(\abs{\overline{X_n}-\frac1n\sum_{j=1}^n\mu_j}\ge\epsilon\right) | ||
+ | \le\frac{c}{n\epsilon^2}\to 0.\] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem}[Bernoulli] | ||
+ | Buďte $\posloupnost{1}{\infty}{X_n}$ iid Bernoulliho náhodné veličiny, | ||
+ | $X_i=\Alt(p)$, | ||
+ | \[S_n=\sum_{j=1}^n X_j.\] | ||
+ | Potom | ||
+ | \[\frac{S_n}{n}\kp p\text{, tj. } | ||
+ | P\left(\abs{\frac{S_n}{n}-p}<\epsilon\right)\to 1.\] | ||
+ | \begin{proof} | ||
+ | Pro rozptyl alternativní náhodné veličiny platí | ||
+ | \[DX_j=p(1-p)<\infty.\] | ||
+ | Ze zákona velkých čísel potom vyplývá | ||
+ | \[\overline{X_n}=\frac{S_n}n\kp EX_j=p.\] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem}[Kolmogorov --- silný zákon velkých čísel] | ||
+ | Buďte $\posloupnost{1}{\infty}{X_n}$ nezávislé náhodné veličiny, | ||
+ | $\sigma_j^2=DX_j<\infty$, nechť řada | ||
+ | \[\sum_{j=1}^\infty\frac{\sigma_j^2}{j^2}<\infty.\] | ||
+ | Pak | ||
+ | \[\overline{X_n}-\frac1n\sum_{j=1}^n EX_j\ksj 0.\] | ||
+ | \begin{proof} | ||
+ | \[\sum_{j=1}^\infty\frac{\sigma_j^2}{j^2}= | ||
+ | \sigma^2\sum_{j=1}^\infty\frac{1}{j^2}<\infty.\] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $E(X_j^{2k})<\infty$ | ||
+ | $\forall k\in\N$. Pak | ||
+ | \[\frac1n\sum_{j=1}^n X_j^k\kp\mu_k'(X_j)=E(X_j^k)\] | ||
+ | \begin{proof} | ||
+ | Protože $\posloupnost{1}{\infty}{X_n}$ jsou iid, jsou iid i | ||
+ | $\posloupnost{1}{\infty}{X_n^k}$ a stačí aplikovat zákon velkých | ||
+ | čísel. | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $\sigma^2=DX_1<\infty$, | ||
+ | $EX_j^4<\infty$. Pak | ||
+ | \[\frac1n\sum_{j=1}^n(X_n-\overline{X_n})^2\kp\sigma^2.\] | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $EX_1^4<\infty$, | ||
+ | $DX_1=\sigma^2$. Pak | ||
+ | \[\widehat\sigma_n^2= | ||
+ | \frac1n\sum_{i=1}^n(X_i-\overline{X_n})^2\kp\sigma^2.\] | ||
+ | \begin{proof} | ||
+ | \[ | ||
+ | \begin{split} | ||
+ | \widehat\sigma_n^2&=\frac1n\sum_{i=1}^n X_i^2- | ||
+ | \frac1n\sum_{i=1}^n 2X_i\overline{X_n}+ | ||
+ | \frac1n\sum_{i=1}^n \overline{X_n}^2= | ||
+ | \frac1n\sum_{i=1}^n X_i^2- | ||
+ | 2\overline{X_n}^2+\overline{X_n}^2=\\ | ||
+ | &=\frac1n\sum_{i=1}^n X_i^2-\overline{X_n}^2 | ||
+ | \kp EX_1^2-(EX_1)^2=DX_1=\sigma^2. | ||
+ | \end{split} | ||
+ | \] | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem} | ||
+ | Buďte $\posloupnost{1}{\infty}{X_n}$ iid. Pak | ||
+ | \[\frac1n\sum_{i=1}^n(X_i-\overline{X_n})^k\kp\mu_k(X_1)=E(X-EX)^k.\] | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{theorem}[Centrální limitní teorém] | ||
+ | Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $EX_1=\mu$, $DX_1=\sigma^2$, | ||
+ | definujeme dále | ||
+ | \[Y_n=\sqrt{n}\frac{\overline{X_n}-\mu}{\sigma}= | ||
+ | \frac{\sum_{i=1}^N X_i-n\mu}{\sigma\sqrt{n}}.\] | ||
+ | Pak $Y_n\kd X\sim N(0,1)$, tzn. | ||
+ | \[F_{Y_n}(y)\to\frac{1}{\sqrt{2\pi}} | ||
+ | \int_{-\infty}^y\exp\left(-\frac{t^2}2\right)\,\d t\quad\forall y.\] | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{remark} | ||
+ | \begin{enumerate} | ||
+ | \item Konvergence v~$Y$ je stejnoměrná. | ||
+ | \item $\sqrt{n}(\overline{X_n}-\mu)\kd N(0,\sigma^2)$. | ||
+ | \item $\sqrt{n}(\overline{X_n}-\mu)\sim AN(0,\sigma^2)$, $AN$\dots | ||
+ | asymptoticky normální rozdělení. | ||
+ | \end{enumerate} | ||
+ | \end{remark} | ||
+ | |||
+ | \begin{theorem}[Moivre, Laplace] | ||
+ | Buďte $S_m\sim\Bi(n,p)$, | ||
+ | \[S_n=\sum_{i=1}^n X_i,\quad X_i\sim A(p).\] | ||
+ | Pak | ||
+ | \[\frac{S_n-np}{\sqrt{np(1-p)}}\kd N(0,1).\] | ||
+ | \begin{proof} | ||
+ | $EX_1=p$, $DX_1=p(1-p)$, potom tvrzení věty vyplývá přímo z~CLT. | ||
+ | \end{proof} | ||
+ | \end{theorem} | ||
+ | |||
+ | \begin{remark}[Limitní tvar M.-L.] | ||
+ | \[\lim_{n\to\infty} | ||
+ | \frac{P_n(k)}{\frac{1}{\sqrt{2\pi}\sqrt{npq}} | ||
+ | \exp\left(-\frac{(k-np)^2}{2npq}\right)}=1.\] | ||
+ | \[P_n(k)\doteq \e^{-np}\frac{(np)^k}{k!}.\] | ||
+ | \end{remark} |
Aktuální verze z 1. 11. 2010, 19:33
[ znovu generovat, | výstup z překladu ] | Kompletní WikiSkriptum včetně všech podkapitol. | |
PDF Této kapitoly | [ znovu generovat, | výstup z překladu ] | Přeložení pouze této kaptioly. |
ZIP | Kompletní zdrojový kód včetně obrázků. |
Součásti dokumentu 01PRA1_2
součást | akce | popis | poslední editace | soubor | |||
---|---|---|---|---|---|---|---|
Hlavní dokument | editovat | Hlavní stránka dokumentu 01PRA1_2 | Karel.brinda | 2. 11. 2010 | 13:27 | ||
Řídící stránka | editovat | Definiční stránka dokumentu a vložených obrázků | Valapet2 | 5. 3. 2016 | 19:31 | ||
Header | editovat | Hlavičkový soubor | Fucikrad | 9. 1. 2012 | 14:04 | header.tex | |
Kapitola1 | editovat | Úvod | Karel.brinda | 1. 11. 2010 | 19:29 | kapitola1.tex | |
Kapitola2 | editovat | Diskrétní náhodné veličiny | Karel.brinda | 1. 11. 2010 | 19:30 | kapitola2.tex | |
Kapitola3 | editovat | Vícerozměrná diskrétní rozdělení | Karel.brinda | 1. 11. 2010 | 19:30 | kapitola3.tex | |
Kapitola4 | editovat | Absolutně spojitá rozdělení | Valapet2 | 3. 3. 2016 | 11:51 | kapitola4.tex | |
Kapitola5 | editovat | Funkce náhodných veličin | Karel.brinda | 1. 11. 2010 | 19:31 | kapitola5.tex | |
Kapitola6 | editovat | Příklady absolutně spojitých rozdělení | Valapet2 | 5. 3. 2016 | 19:35 | kapitola6.tex | |
Kapitola7 | editovat | Charakteristiky náhodných veličin | Karel.brinda | 1. 11. 2010 | 19:32 | kapitola7.tex | |
Kapitola8 | editovat | Charakteristiky vícerozměrných náhodných veličin | Karel.brinda | 1. 11. 2010 | 19:32 | kapitola8.tex | |
Kapitola9 | editovat | Konvergence na prostoru náhodných veličin | Karel.brinda | 1. 11. 2010 | 19:32 | kapitola9.tex | |
Kapitola10 | editovat | Limitní věty teorie pravděpodobnosti | Karel.brinda | 1. 11. 2010 | 19:33 | kapitola10.tex | |
Kapitola11 | editovat | Základní pojmy ze statistiky | Karel.brinda | 1. 11. 2010 | 19:33 | kapitola11.tex | |
Kapitola12 | editovat | Odhad parametrů rozdělení | Karel.brinda | 1. 11. 2010 | 19:33 | kapitola12.tex |
Vložené soubory
soubor | název souboru pro LaTeX |
---|---|
Image:Gauss.eps | Gauss.eps |
Image:Fisher.eps | Fisher.eps |
Image:Gamma.eps | Gamma.eps |
Image:Chi2.eps | Chi2.eps |
Image:Pravd.eps | Pravd.eps |
Image:Gauss1.pdf | Gauss.pdf |
Image:Fisher.eps | Fisher.pdf |
Image:Gamma.pdf | Gamma.pdf |
Image:Chi2.pdf | Chi2.pdf |
Image:Beta.pdf | Beta.pdf |
Zdrojový kód
%\wikiskriptum{01PRA1_2} \section{Limitní věty teorie pravděpodobnosti} \begin{theorem}[Markovova nerovnost] Buď $X$ náhodná veličina, $EX<+\infty$. Pak pro každé $\epsilon>0$ \[P(\abs{X}\ge\epsilon)\le\frac{E\abs{X}}\epsilon.\] \begin{proof} \[E\abs{X}=\int_\R\abs{x}f_X(x)\,\d x\ge\int_{S:\abs{x}\ge\epsilon} \abs{x}f_X(x)\,\d x\ge\epsilon\int_\S f_X(x)\,\d x=\epsilon P(\abs{X}\ge\epsilon).\] \end{proof} \end{theorem} \begin{theorem}[Čebyševova nerovnost] Buď $X$ náhodná veličina, $EX^2<+\infty$. Pak pro každé $\epsilon>0$ \[P(\abs{X-EX}\ge\epsilon)\le\frac{DX}{\epsilon^2}.\] \begin{proof} Stačí dosadit za $X$ do Markovovy nerovnosti $(X-EX)^2$ a přeznačit $\epsilon^2$: \[P(\abs{X-EX}\ge\epsilon)= P((X-EX)^2\ge\epsilon^2)\le\frac{E(X-EX)^2}{\epsilon^2}.\] \end{proof} \end{theorem} \begin{theorem}[Slabý zákon velkých čísel] Buďte $\posloupnost{1}{\infty}{X_n}$ iid, označme $\mu=EX_j<\infty$, $\sigma^2=DX_j<\infty$, buď \[\overline{X_n}=\frac1n\sum_{j=1}^n X_j\quad\text{pro každé $n$}.\] Pak $\overline{X_n}\kp\mu$, tj. $P(\abs{\overline{X_n}-\mu}<\epsilon)\to 1$. \begin{proof} Protože $X_j$ jsou iid, je \[E\overline{X_n}=\frac1n\sum_{j=1}^n EX_j=\mu\] a \[D\overline{X_n}=\frac1{n^2}\sum_{j=1}^n DX_j=\frac{\sigma^2}{n}.\] Potom z~Čebyševovy nerovnosti vyplývá \[P(\abs{\overline{X_n}-\mu}\ge\epsilon)\le\frac{\sigma^2}{n\epsilon^2},\] přičemž pravá strana konverguje k~$0$ pro každé $\epsilon>0$. \end{proof} \end{theorem} \begin{theorem}[Čebyšev] Buďte $\posloupnost{1}{\infty}{X_n}$ nezávislé, $\mu_j=EX_j$, $\sigma_j=DX_j<\infty$. Pokud $\sup DX_j<\infty$, pak \[\overline{X_n}-\frac1n\sum_{j=1}^n\mu_j\kp 0.\] \begin{proof} \[E\overline{X_n}=\frac1n\sum_{j=1}^n EX_j=\frac1n\sum_{j=1}^n\mu_j\] \[D\overline{X_n}=\frac1{n^2}\sum_{j=1}^n DX_j\le\frac cn\] \[P\left(\abs{\overline{X_n}-\frac1n\sum_{j=1}^n\mu_j}\ge\epsilon\right) \le\frac{c}{n\epsilon^2}\to 0.\] \end{proof} \end{theorem} \begin{theorem}[Bernoulli] Buďte $\posloupnost{1}{\infty}{X_n}$ iid Bernoulliho náhodné veličiny, $X_i=\Alt(p)$, \[S_n=\sum_{j=1}^n X_j.\] Potom \[\frac{S_n}{n}\kp p\text{, tj. } P\left(\abs{\frac{S_n}{n}-p}<\epsilon\right)\to 1.\] \begin{proof} Pro rozptyl alternativní náhodné veličiny platí \[DX_j=p(1-p)<\infty.\] Ze zákona velkých čísel potom vyplývá \[\overline{X_n}=\frac{S_n}n\kp EX_j=p.\] \end{proof} \end{theorem} \begin{theorem}[Kolmogorov --- silný zákon velkých čísel] Buďte $\posloupnost{1}{\infty}{X_n}$ nezávislé náhodné veličiny, $\sigma_j^2=DX_j<\infty$, nechť řada \[\sum_{j=1}^\infty\frac{\sigma_j^2}{j^2}<\infty.\] Pak \[\overline{X_n}-\frac1n\sum_{j=1}^n EX_j\ksj 0.\] \begin{proof} \[\sum_{j=1}^\infty\frac{\sigma_j^2}{j^2}= \sigma^2\sum_{j=1}^\infty\frac{1}{j^2}<\infty.\] \end{proof} \end{theorem} \begin{theorem} Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $E(X_j^{2k})<\infty$ $\forall k\in\N$. Pak \[\frac1n\sum_{j=1}^n X_j^k\kp\mu_k'(X_j)=E(X_j^k)\] \begin{proof} Protože $\posloupnost{1}{\infty}{X_n}$ jsou iid, jsou iid i $\posloupnost{1}{\infty}{X_n^k}$ a stačí aplikovat zákon velkých čísel. \end{proof} \end{theorem} \begin{theorem} Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $\sigma^2=DX_1<\infty$, $EX_j^4<\infty$. Pak \[\frac1n\sum_{j=1}^n(X_n-\overline{X_n})^2\kp\sigma^2.\] \end{theorem} \begin{theorem} Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $EX_1^4<\infty$, $DX_1=\sigma^2$. Pak \[\widehat\sigma_n^2= \frac1n\sum_{i=1}^n(X_i-\overline{X_n})^2\kp\sigma^2.\] \begin{proof} \[ \begin{split} \widehat\sigma_n^2&=\frac1n\sum_{i=1}^n X_i^2- \frac1n\sum_{i=1}^n 2X_i\overline{X_n}+ \frac1n\sum_{i=1}^n \overline{X_n}^2= \frac1n\sum_{i=1}^n X_i^2- 2\overline{X_n}^2+\overline{X_n}^2=\\ &=\frac1n\sum_{i=1}^n X_i^2-\overline{X_n}^2 \kp EX_1^2-(EX_1)^2=DX_1=\sigma^2. \end{split} \] \end{proof} \end{theorem} \begin{theorem} Buďte $\posloupnost{1}{\infty}{X_n}$ iid. Pak \[\frac1n\sum_{i=1}^n(X_i-\overline{X_n})^k\kp\mu_k(X_1)=E(X-EX)^k.\] \end{theorem} \begin{theorem}[Centrální limitní teorém] Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $EX_1=\mu$, $DX_1=\sigma^2$, definujeme dále \[Y_n=\sqrt{n}\frac{\overline{X_n}-\mu}{\sigma}= \frac{\sum_{i=1}^N X_i-n\mu}{\sigma\sqrt{n}}.\] Pak $Y_n\kd X\sim N(0,1)$, tzn. \[F_{Y_n}(y)\to\frac{1}{\sqrt{2\pi}} \int_{-\infty}^y\exp\left(-\frac{t^2}2\right)\,\d t\quad\forall y.\] \end{theorem} \begin{remark} \begin{enumerate} \item Konvergence v~$Y$ je stejnoměrná. \item $\sqrt{n}(\overline{X_n}-\mu)\kd N(0,\sigma^2)$. \item $\sqrt{n}(\overline{X_n}-\mu)\sim AN(0,\sigma^2)$, $AN$\dots asymptoticky normální rozdělení. \end{enumerate} \end{remark} \begin{theorem}[Moivre, Laplace] Buďte $S_m\sim\Bi(n,p)$, \[S_n=\sum_{i=1}^n X_i,\quad X_i\sim A(p).\] Pak \[\frac{S_n-np}{\sqrt{np(1-p)}}\kd N(0,1).\] \begin{proof} $EX_1=p$, $DX_1=p(1-p)$, potom tvrzení věty vyplývá přímo z~CLT. \end{proof} \end{theorem} \begin{remark}[Limitní tvar M.-L.] \[\lim_{n\to\infty} \frac{P_n(k)}{\frac{1}{\sqrt{2\pi}\sqrt{npq}} \exp\left(-\frac{(k-np)^2}{2npq}\right)}=1.\] \[P_n(k)\doteq \e^{-np}\frac{(np)^k}{k!}.\] \end{remark}