01PRA1 2:Kapitola10: Porovnání verzí

Z WikiSkripta FJFI ČVUT v Praze
Přejít na: navigace, hledání
(Založena nová stránka: %\wikiskriptum{01PRA1_2})
 
 
Řádka 1: Řádka 1:
 
%\wikiskriptum{01PRA1_2}
 
%\wikiskriptum{01PRA1_2}
 +
 +
\section{Limitní věty teorie pravděpodobnosti}
 +
 +
\begin{theorem}[Markovova nerovnost]
 +
Buď $X$ náhodná veličina, $EX<+\infty$. Pak pro každé $\epsilon>0$
 +
\[P(\abs{X}\ge\epsilon)\le\frac{E\abs{X}}\epsilon.\]
 +
\begin{proof}
 +
\[E\abs{X}=\int_\R\abs{x}f_X(x)\,\d x\ge\int_{S:\abs{x}\ge\epsilon}
 +
\abs{x}f_X(x)\,\d x\ge\epsilon\int_\S f_X(x)\,\d x=\epsilon
 +
P(\abs{X}\ge\epsilon).\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}[Čebyševova nerovnost]
 +
Buď $X$ náhodná veličina, $EX^2<+\infty$. Pak pro každé $\epsilon>0$
 +
\[P(\abs{X-EX}\ge\epsilon)\le\frac{DX}{\epsilon^2}.\]
 +
\begin{proof}
 +
Stačí dosadit za $X$ do Markovovy nerovnosti $(X-EX)^2$ a přeznačit
 +
$\epsilon^2$:
 +
\[P(\abs{X-EX}\ge\epsilon)=
 +
P((X-EX)^2\ge\epsilon^2)\le\frac{E(X-EX)^2}{\epsilon^2}.\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}[Slabý zákon velkých čísel]
 +
Buďte $\posloupnost{1}{\infty}{X_n}$ iid, označme $\mu=EX_j<\infty$,
 +
$\sigma^2=DX_j<\infty$, buď
 +
\[\overline{X_n}=\frac1n\sum_{j=1}^n X_j\quad\text{pro každé $n$}.\]
 +
Pak $\overline{X_n}\kp\mu$,
 +
tj. $P(\abs{\overline{X_n}-\mu}<\epsilon)\to 1$.
 +
\begin{proof}
 +
Protože $X_j$ jsou iid, je
 +
\[E\overline{X_n}=\frac1n\sum_{j=1}^n EX_j=\mu\]
 +
a
 +
\[D\overline{X_n}=\frac1{n^2}\sum_{j=1}^n DX_j=\frac{\sigma^2}{n}.\]
 +
Potom z~Čebyševovy nerovnosti vyplývá
 +
\[P(\abs{\overline{X_n}-\mu}\ge\epsilon)\le\frac{\sigma^2}{n\epsilon^2},\]
 +
přičemž pravá strana konverguje k~$0$ pro každé $\epsilon>0$.
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}[Čebyšev]
 +
Buďte $\posloupnost{1}{\infty}{X_n}$ nezávislé, $\mu_j=EX_j$,
 +
$\sigma_j=DX_j<\infty$. Pokud $\sup DX_j<\infty$, pak
 +
\[\overline{X_n}-\frac1n\sum_{j=1}^n\mu_j\kp 0.\]
 +
\begin{proof}
 +
\[E\overline{X_n}=\frac1n\sum_{j=1}^n EX_j=\frac1n\sum_{j=1}^n\mu_j\]
 +
\[D\overline{X_n}=\frac1{n^2}\sum_{j=1}^n DX_j\le\frac cn\]
 +
\[P\left(\abs{\overline{X_n}-\frac1n\sum_{j=1}^n\mu_j}\ge\epsilon\right)
 +
\le\frac{c}{n\epsilon^2}\to 0.\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}[Bernoulli]
 +
Buďte $\posloupnost{1}{\infty}{X_n}$ iid Bernoulliho náhodné veličiny,
 +
$X_i=\Alt(p)$,
 +
\[S_n=\sum_{j=1}^n X_j.\]
 +
Potom
 +
\[\frac{S_n}{n}\kp p\text{, tj. }
 +
P\left(\abs{\frac{S_n}{n}-p}<\epsilon\right)\to 1.\]
 +
\begin{proof}
 +
Pro rozptyl alternativní náhodné veličiny platí
 +
\[DX_j=p(1-p)<\infty.\]
 +
Ze zákona velkých čísel potom vyplývá
 +
\[\overline{X_n}=\frac{S_n}n\kp EX_j=p.\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}[Kolmogorov --- silný zákon velkých čísel]
 +
Buďte $\posloupnost{1}{\infty}{X_n}$ nezávislé náhodné veličiny,
 +
$\sigma_j^2=DX_j<\infty$, nechť řada
 +
\[\sum_{j=1}^\infty\frac{\sigma_j^2}{j^2}<\infty.\]
 +
Pak
 +
\[\overline{X_n}-\frac1n\sum_{j=1}^n EX_j\ksj 0.\]
 +
\begin{proof}
 +
\[\sum_{j=1}^\infty\frac{\sigma_j^2}{j^2}=
 +
\sigma^2\sum_{j=1}^\infty\frac{1}{j^2}<\infty.\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}
 +
Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $E(X_j^{2k})<\infty$
 +
$\forall k\in\N$. Pak
 +
\[\frac1n\sum_{j=1}^n X_j^k\kp\mu_k'(X_j)=E(X_j^k)\]
 +
\begin{proof}
 +
Protože $\posloupnost{1}{\infty}{X_n}$ jsou iid, jsou iid i
 +
$\posloupnost{1}{\infty}{X_n^k}$ a stačí aplikovat zákon velkých
 +
čísel.
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}
 +
Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $\sigma^2=DX_1<\infty$,
 +
$EX_j^4<\infty$. Pak
 +
\[\frac1n\sum_{j=1}^n(X_n-\overline{X_n})^2\kp\sigma^2.\]
 +
\end{theorem}
 +
 +
\begin{theorem}
 +
Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $EX_1^4<\infty$,
 +
$DX_1=\sigma^2$. Pak
 +
\[\widehat\sigma_n^2=
 +
\frac1n\sum_{i=1}^n(X_i-\overline{X_n})^2\kp\sigma^2.\]
 +
\begin{proof}
 +
\[
 +
\begin{split}
 +
\widehat\sigma_n^2&=\frac1n\sum_{i=1}^n X_i^2-
 +
\frac1n\sum_{i=1}^n 2X_i\overline{X_n}+
 +
\frac1n\sum_{i=1}^n \overline{X_n}^2=
 +
\frac1n\sum_{i=1}^n X_i^2-
 +
2\overline{X_n}^2+\overline{X_n}^2=\\
 +
&=\frac1n\sum_{i=1}^n X_i^2-\overline{X_n}^2
 +
\kp EX_1^2-(EX_1)^2=DX_1=\sigma^2.
 +
\end{split}
 +
\]
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{theorem}
 +
Buďte $\posloupnost{1}{\infty}{X_n}$ iid. Pak
 +
\[\frac1n\sum_{i=1}^n(X_i-\overline{X_n})^k\kp\mu_k(X_1)=E(X-EX)^k.\]
 +
\end{theorem}
 +
 +
\begin{theorem}[Centrální limitní teorém]
 +
Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $EX_1=\mu$, $DX_1=\sigma^2$,
 +
definujeme dále
 +
\[Y_n=\sqrt{n}\frac{\overline{X_n}-\mu}{\sigma}=
 +
\frac{\sum_{i=1}^N X_i-n\mu}{\sigma\sqrt{n}}.\]
 +
Pak $Y_n\kd X\sim N(0,1)$, tzn.
 +
\[F_{Y_n}(y)\to\frac{1}{\sqrt{2\pi}}
 +
\int_{-\infty}^y\exp\left(-\frac{t^2}2\right)\,\d t\quad\forall y.\]
 +
\end{theorem}
 +
 +
\begin{remark}
 +
\begin{enumerate}
 +
\item Konvergence v~$Y$ je stejnoměrná.
 +
\item $\sqrt{n}(\overline{X_n}-\mu)\kd N(0,\sigma^2)$.
 +
\item $\sqrt{n}(\overline{X_n}-\mu)\sim AN(0,\sigma^2)$, $AN$\dots
 +
asymptoticky normální rozdělení.
 +
\end{enumerate}
 +
\end{remark}
 +
 +
\begin{theorem}[Moivre, Laplace]
 +
Buďte $S_m\sim\Bi(n,p)$,
 +
\[S_n=\sum_{i=1}^n X_i,\quad X_i\sim A(p).\]
 +
Pak
 +
\[\frac{S_n-np}{\sqrt{np(1-p)}}\kd N(0,1).\]
 +
\begin{proof}
 +
$EX_1=p$, $DX_1=p(1-p)$, potom tvrzení věty vyplývá přímo z~CLT.
 +
\end{proof}
 +
\end{theorem}
 +
 +
\begin{remark}[Limitní tvar M.-L.]
 +
\[\lim_{n\to\infty}
 +
\frac{P_n(k)}{\frac{1}{\sqrt{2\pi}\sqrt{npq}}
 +
\exp\left(-\frac{(k-np)^2}{2npq}\right)}=1.\]
 +
\[P_n(k)\doteq \e^{-np}\frac{(np)^k}{k!}.\]
 +
\end{remark}

Aktuální verze z 1. 11. 2010, 18:33

PDF [ znovu generovat, výstup z překladu ] Kompletní WikiSkriptum včetně všech podkapitol.
PDF Této kapitoly [ znovu generovat, výstup z překladu ] Přeložení pouze této kaptioly.
ZIPKompletní zdrojový kód včetně obrázků.

Součásti dokumentu 01PRA1_2

součástakcepopisposlední editacesoubor
Hlavní dokument editovatHlavní stránka dokumentu 01PRA1_2Karel.brinda 2. 11. 201012:27
Řídící stránka editovatDefiniční stránka dokumentu a vložených obrázkůValapet2 5. 3. 201618:31
Header editovatHlavičkový souborFucikrad 9. 1. 201213:04 header.tex
Kapitola1 editovatÚvodKarel.brinda 1. 11. 201018:29 kapitola1.tex
Kapitola2 editovatDiskrétní náhodné veličinyKarel.brinda 1. 11. 201018:30 kapitola2.tex
Kapitola3 editovatVícerozměrná diskrétní rozděleníKarel.brinda 1. 11. 201018:30 kapitola3.tex
Kapitola4 editovatAbsolutně spojitá rozděleníValapet2 3. 3. 201610:51 kapitola4.tex
Kapitola5 editovatFunkce náhodných veličinKarel.brinda 1. 11. 201018:31 kapitola5.tex
Kapitola6 editovatPříklady absolutně spojitých rozděleníValapet2 5. 3. 201618:35 kapitola6.tex
Kapitola7 editovatCharakteristiky náhodných veličinKarel.brinda 1. 11. 201018:32 kapitola7.tex
Kapitola8 editovatCharakteristiky vícerozměrných náhodných veličinKarel.brinda 1. 11. 201018:32 kapitola8.tex
Kapitola9 editovatKonvergence na prostoru náhodných veličinKarel.brinda 1. 11. 201018:32 kapitola9.tex
Kapitola10 editovatLimitní věty teorie pravděpodobnostiKarel.brinda 1. 11. 201018:33 kapitola10.tex
Kapitola11 editovatZákladní pojmy ze statistikyKarel.brinda 1. 11. 201018:33 kapitola11.tex
Kapitola12 editovatOdhad parametrů rozděleníKarel.brinda 1. 11. 201018:33 kapitola12.tex

Vložené soubory

soubornázev souboru pro LaTeX
Image:Gauss.eps Gauss.eps
Image:Fisher.eps Fisher.eps
Image:Gamma.eps Gamma.eps
Image:Chi2.eps Chi2.eps
Image:Pravd.eps Pravd.eps
Image:Gauss1.pdf Gauss.pdf
Image:Fisher.eps Fisher.pdf
Image:Gamma.pdf Gamma.pdf
Image:Chi2.pdf Chi2.pdf
Image:Beta.pdf Beta.pdf

Zdrojový kód

%\wikiskriptum{01PRA1_2}
 
\section{Limitní věty teorie pravděpodobnosti}
 
\begin{theorem}[Markovova nerovnost]
Buď $X$ náhodná veličina, $EX<+\infty$. Pak pro každé $\epsilon>0$
\[P(\abs{X}\ge\epsilon)\le\frac{E\abs{X}}\epsilon.\]
\begin{proof}
\[E\abs{X}=\int_\R\abs{x}f_X(x)\,\d x\ge\int_{S:\abs{x}\ge\epsilon}
\abs{x}f_X(x)\,\d x\ge\epsilon\int_\S f_X(x)\,\d x=\epsilon
P(\abs{X}\ge\epsilon).\]
\end{proof}
\end{theorem}
 
\begin{theorem}[Čebyševova nerovnost]
Buď $X$ náhodná veličina, $EX^2<+\infty$. Pak pro každé $\epsilon>0$
\[P(\abs{X-EX}\ge\epsilon)\le\frac{DX}{\epsilon^2}.\]
\begin{proof}
Stačí dosadit za $X$ do Markovovy nerovnosti $(X-EX)^2$ a přeznačit
$\epsilon^2$:
\[P(\abs{X-EX}\ge\epsilon)=
P((X-EX)^2\ge\epsilon^2)\le\frac{E(X-EX)^2}{\epsilon^2}.\]
\end{proof}
\end{theorem}
 
\begin{theorem}[Slabý zákon velkých čísel]
Buďte $\posloupnost{1}{\infty}{X_n}$ iid, označme $\mu=EX_j<\infty$,
$\sigma^2=DX_j<\infty$, buď
\[\overline{X_n}=\frac1n\sum_{j=1}^n X_j\quad\text{pro každé $n$}.\]
Pak $\overline{X_n}\kp\mu$,
tj. $P(\abs{\overline{X_n}-\mu}<\epsilon)\to 1$.
\begin{proof}
Protože $X_j$ jsou iid, je
\[E\overline{X_n}=\frac1n\sum_{j=1}^n EX_j=\mu\]
a
\[D\overline{X_n}=\frac1{n^2}\sum_{j=1}^n DX_j=\frac{\sigma^2}{n}.\]
Potom z~Čebyševovy nerovnosti vyplývá
\[P(\abs{\overline{X_n}-\mu}\ge\epsilon)\le\frac{\sigma^2}{n\epsilon^2},\]
přičemž pravá strana konverguje k~$0$ pro každé $\epsilon>0$.
\end{proof}
\end{theorem}
 
\begin{theorem}[Čebyšev]
Buďte $\posloupnost{1}{\infty}{X_n}$ nezávislé, $\mu_j=EX_j$,
$\sigma_j=DX_j<\infty$. Pokud $\sup DX_j<\infty$, pak 
\[\overline{X_n}-\frac1n\sum_{j=1}^n\mu_j\kp 0.\]
\begin{proof}
\[E\overline{X_n}=\frac1n\sum_{j=1}^n EX_j=\frac1n\sum_{j=1}^n\mu_j\]
\[D\overline{X_n}=\frac1{n^2}\sum_{j=1}^n DX_j\le\frac cn\]
\[P\left(\abs{\overline{X_n}-\frac1n\sum_{j=1}^n\mu_j}\ge\epsilon\right)
\le\frac{c}{n\epsilon^2}\to 0.\]
\end{proof}
\end{theorem}
 
\begin{theorem}[Bernoulli]
Buďte $\posloupnost{1}{\infty}{X_n}$ iid Bernoulliho náhodné veličiny,
$X_i=\Alt(p)$,
\[S_n=\sum_{j=1}^n X_j.\]
Potom
\[\frac{S_n}{n}\kp p\text{, tj. }
P\left(\abs{\frac{S_n}{n}-p}<\epsilon\right)\to 1.\]
\begin{proof}
Pro rozptyl alternativní náhodné veličiny platí
\[DX_j=p(1-p)<\infty.\]
Ze zákona velkých čísel potom vyplývá
\[\overline{X_n}=\frac{S_n}n\kp EX_j=p.\]
\end{proof}
\end{theorem}
 
\begin{theorem}[Kolmogorov --- silný zákon velkých čísel]
Buďte $\posloupnost{1}{\infty}{X_n}$ nezávislé náhodné veličiny,
$\sigma_j^2=DX_j<\infty$, nechť řada
\[\sum_{j=1}^\infty\frac{\sigma_j^2}{j^2}<\infty.\]
Pak
\[\overline{X_n}-\frac1n\sum_{j=1}^n EX_j\ksj 0.\]
\begin{proof}
\[\sum_{j=1}^\infty\frac{\sigma_j^2}{j^2}=
\sigma^2\sum_{j=1}^\infty\frac{1}{j^2}<\infty.\]
\end{proof}
\end{theorem}
 
\begin{theorem}
Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $E(X_j^{2k})<\infty$
$\forall k\in\N$. Pak
\[\frac1n\sum_{j=1}^n X_j^k\kp\mu_k'(X_j)=E(X_j^k)\]
\begin{proof}
Protože $\posloupnost{1}{\infty}{X_n}$ jsou iid, jsou iid i
$\posloupnost{1}{\infty}{X_n^k}$ a stačí aplikovat zákon velkých
čísel.
\end{proof}
\end{theorem}
 
\begin{theorem}
Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $\sigma^2=DX_1<\infty$,
$EX_j^4<\infty$. Pak
\[\frac1n\sum_{j=1}^n(X_n-\overline{X_n})^2\kp\sigma^2.\]
\end{theorem}
 
\begin{theorem}
Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $EX_1^4<\infty$,
$DX_1=\sigma^2$. Pak
\[\widehat\sigma_n^2=
\frac1n\sum_{i=1}^n(X_i-\overline{X_n})^2\kp\sigma^2.\]
\begin{proof}
\[
\begin{split}
\widehat\sigma_n^2&=\frac1n\sum_{i=1}^n X_i^2-
\frac1n\sum_{i=1}^n 2X_i\overline{X_n}+
\frac1n\sum_{i=1}^n \overline{X_n}^2=
\frac1n\sum_{i=1}^n X_i^2-
2\overline{X_n}^2+\overline{X_n}^2=\\
&=\frac1n\sum_{i=1}^n X_i^2-\overline{X_n}^2
\kp EX_1^2-(EX_1)^2=DX_1=\sigma^2.
\end{split}
\]
\end{proof}
\end{theorem}
 
\begin{theorem}
Buďte $\posloupnost{1}{\infty}{X_n}$ iid. Pak
\[\frac1n\sum_{i=1}^n(X_i-\overline{X_n})^k\kp\mu_k(X_1)=E(X-EX)^k.\]
\end{theorem}
 
\begin{theorem}[Centrální limitní teorém]
Buďte $\posloupnost{1}{\infty}{X_n}$ iid, $EX_1=\mu$, $DX_1=\sigma^2$,
definujeme dále
\[Y_n=\sqrt{n}\frac{\overline{X_n}-\mu}{\sigma}=
\frac{\sum_{i=1}^N X_i-n\mu}{\sigma\sqrt{n}}.\]
Pak $Y_n\kd X\sim N(0,1)$, tzn.
\[F_{Y_n}(y)\to\frac{1}{\sqrt{2\pi}}
\int_{-\infty}^y\exp\left(-\frac{t^2}2\right)\,\d t\quad\forall y.\]
\end{theorem}
 
\begin{remark}
\begin{enumerate}
\item Konvergence v~$Y$ je stejnoměrná.
\item $\sqrt{n}(\overline{X_n}-\mu)\kd N(0,\sigma^2)$.
\item $\sqrt{n}(\overline{X_n}-\mu)\sim AN(0,\sigma^2)$, $AN$\dots
asymptoticky normální rozdělení.
\end{enumerate}
\end{remark}
 
\begin{theorem}[Moivre, Laplace]
Buďte $S_m\sim\Bi(n,p)$,
\[S_n=\sum_{i=1}^n X_i,\quad X_i\sim A(p).\]
Pak
\[\frac{S_n-np}{\sqrt{np(1-p)}}\kd N(0,1).\]
\begin{proof}
$EX_1=p$, $DX_1=p(1-p)$, potom tvrzení věty vyplývá přímo z~CLT.
\end{proof}
\end{theorem}
 
\begin{remark}[Limitní tvar M.-L.]
\[\lim_{n\to\infty}
\frac{P_n(k)}{\frac{1}{\sqrt{2\pi}\sqrt{npq}}
\exp\left(-\frac{(k-np)^2}{2npq}\right)}=1.\]
\[P_n(k)\doteq \e^{-np}\frac{(np)^k}{k!}.\]
\end{remark}