01PRA1:Kapitola6: Porovnání verzí

Z WikiSkripta FJFI ČVUT v Praze
Přejít na: navigace, hledání
Řádka 1: Řádka 1:
 
%\wikiskriptum{01PRA1}
 
%\wikiskriptum{01PRA1}
\chapter{Limitní věty teorie pravděpodobnosti}
+
\section{Limitní věty teorie pravděpodobnosti}
 
\subsection{Pravděpodobnostní nerovnosti}
 
\subsection{Pravděpodobnostní nerovnosti}
 
   
 
   

Verze z 1. 8. 2010, 16:52

PDF [ znovu generovat, výstup z překladu ] Kompletní WikiSkriptum včetně všech podkapitol.
PDF Této kapitoly [ znovu generovat, výstup z překladu ] Přeložení pouze této kaptioly.
ZIPKompletní zdrojový kód včetně obrázků.

Součásti dokumentu 01PRA1

součástakcepopisposlední editacesoubor
Hlavní dokument editovatHlavní stránka dokumentu 01PRA1Karel.brinda 4. 10. 201022:39
Řídící stránka editovatDefiniční stránka dokumentu a vložených obrázkůAdmin 7. 9. 201513:49
Header editovatHlavičkový souborKarel.brinda 8. 3. 201118:28 header.tex
Kapitola0 editovatPředmluvaAdmin 4. 8. 201009:45 predmluva.tex
Kapitola1 editovatMotivaceValapet2 5. 3. 201619:43 kapitola1.tex
Kapitola2 editovatAxiomatická definice pravděpodobnostiPitrazby 18. 2. 201200:46 kapitola2.tex
Kapitola3 editovatDiskrétní náhodné veličinySnilard 8. 3. 201100:55 kapitola3.tex
Kapitola4 editovatAbsolutně spojitá rozděleníPitrazby 18. 2. 201201:06 kapitola4.tex
Kapitola5 editovatCharakteristiky náhodných veličinJakub.flaska 1. 8. 201016:49 kapitola5.tex
Kapitola6 editovatLimitní věty teorie pravděpodobnostiPitrazby 18. 2. 201201:30 kapitola6.tex
Kapitola7 editovatStatistikaJakub.flaska 1. 8. 201017:22 kapitola7.tex

Vložené soubory

soubornázev souboru pro LaTeX
Soubor:01PRA1_kap1_Uloha_na_nedeli.pdf 01PRA1_kap1_Uloha_na_nedeli.pdf
Soubor:01PRA1_kap1_Buffonuv_problem.pdf 01PRA1_kap1_Buffonuv_problem.pdf
Soubor:01_PRA1_kap1_Bertranduv_paradox.pdf 01PRA1_kap1_Bertranduv_paradox.pdf

Zdrojový kód

%\wikiskriptum{01PRA1}
\section{Limitní věty teorie pravděpodobnosti}
\subsection{Pravděpodobnostní nerovnosti}
 
\begin{theorem}[Markovova nerovnost]
Buď $ X \in \mathcal{L}_1 $. Potom pro každé $ \varepsilon > 0 $ platí
\begin{equation}
\mathrm{P}\left(|X| \geq \varepsilon \right) \leq \frac{E|X|}{\varepsilon}
\end{equation} 
\end{theorem}
 
\begin{proof}
$$ E|X| = \int_{\mathbb{R}} |x| f_{\mathbf{X}}(\mathbf{x})d\mathbf{x} \geq \int_{S : |x| \geq \varepsilon} |x| f_{\mathbf{X}}(\mathbf{x})d\mathbf{x} \geq \varepsilon \int_{S} f_{\mathbf{X}}(\mathbf{x})d\mathbf{x} = \varepsilon \mathrm{P}\left( |\mathbf{X}| \geq \varepsilon \right) $$
\end{proof}
 
\begin{theorem}[Čebyševova nerovnost]
\label{chebeq}
Buď $ X \in \mathcal{L}_2 $. Potom pro každé $ \varepsilon > 0 $ platí
\begin{equation}
\mathrm{P}\left(|X| \geq \varepsilon \right) \leq \frac{EX^2}{\varepsilon^2}
\end{equation} 
\end{theorem}
 
\begin{proof}
$$ EX^2 = \int_{\Omega} X^2 d\mathrm{P} = \int_{\left\{|X| \geq \varepsilon\right\}} X^2 d\mathrm{P} + \int_{\left\{|X| < \varepsilon\right\}} X^2 d\mathrm{P} \geq \int_{\left\{ |X| \geq \varepsilon \right\}} d\mathrm{P} = \varepsilon^2 \mathrm{P}\left(|X| \geq \varepsilon \right)$$
 
\end{proof}
 
\begin{definition}[Kovariance]
Buďte $ X,Y $ náhodné veličiny z $ \mathcal{L}_2 $. Potom kovarianci definujeme jako
\begin{equation}
\mathrm{Cov}(X,Y) = E\left[(X - EX)(Y - EY)\right]
\end{equation} 
\end{definition}
 
\begin{theorem}[Vlastnosti kovariance]
\begin{enumerate}
\item $ \mathrm{Cov}(X,Y) = E(XY) - EX \ EY $
\item $ \mathrm{Cov}(X,X) = DX $
\item $ \mathrm{Cov}(X,Y) = 0 $ pro $ X,Y $ nezávislé
\end{enumerate}
\end{theorem}
 
\begin{definition}[Korelační koeficient]
Buďte $ X,Y $ náhodné veličiny z $ \mathcal{L}_2 $. Potom korelační koeficient definujeme jako
\begin{equation}
\varrho(X,Y) = \frac{\mathrm{Cov}(X,Y)}{\sqrt{DX}\sqrt{DY}}
\end{equation} 
Pokud $ \varrho(X,Y) = 0 $, potom říkáme že $ X,Y $ jsou nekorelované.
\end{definition}
 
Z vlastností kovariance vyplývá, že pokud jsou $ X,Y $ nezávislé, potom jsou nekorelované.
 
\begin{theorem}
Buďte $ X,Y $ náhodné veličiny z $ \mathcal{L}_2 $, a nechť $ \varrho(X,Y) = 1 $ resp. $ \varrho(X,Y) = -1 $. Potom existuje $ \beta > 0 $ resp. $ \beta < 0 $ takové, že
$$ Y - EY = \beta \left( X - EX \right) $$
\end{theorem}
 
\begin{proof}
Ze Schwarzovy nerovnosti platí
$$ \left| E(XY) \right| \leq \sqrt{ EX^2\cdot EY^2 } $$
$$ \left| E\left[(X-EX)(Y - EY)\right] \right| \leq \sqrt{DX \cdot DY} $$
\end{proof}
 
\begin{definition}[Kovarianční matice]
Buďte $ \mathbf{X} = (X_1,\dots,X_n) $ náhodné veličiny z $ \mathcal{L}_2 $. Potom \textbf{kovarianční matici}  definujeme jako
\begin{equation}
\mathbf{C}(\mathbf{X}) = \left(\mathrm{Cov}\left( X_i, X_j \right) \right)_{i,j\in\widehat{n}}
\end{equation} 
\end{definition}
 
\begin{theorem}
Kovarianční matice je symetrická a PSD matice s diagonálou $ \mathbf{C} = D(\mathbf{X}) $.
\end{theorem}
 
\begin{proof}
Buď $ \mathbf{\alpha} \in \mathbb{R}^n $, $ \mathbf{\alpha} \neq \theta $ a definujme $ \mathbf{Y} = \mathbf{\alpha} \mathbf{X} $. Potom platí
$$ D\mathbf{Y} = E\left(\mathbf{\alpha X} - E\left(\mathbf{\alpha X}\right)\right)^2 = E\left( \sum_{j=1}^{n} \alpha_j X_j - E\left( \sum_{j=1}^n \alpha_j X_j \right) \right)^2 = $$
$$ = E \left( \sum_{j=1}^{n} \alpha_j \left(X_j - E X_j \right) \right)^2 = E \left( \sum_{i,j = 1}^{n} \alpha_i \alpha_j \left(X_i - E X_i \right) \left(X_j - E X_j \right) \right) = $$
$$ = \sum_{i,j=1}^{n} \alpha_i \underbrace{\left(X_i - E X_i \right)  \left( X_j - E X_j \right)}_{\mathbf{C}_{ij}} \alpha_j = \mathbf{\alpha} \mathbf{C} \mathbf{\alpha}^T \geq 0 $$
pro každé $ \mathbf{\alpha} \in \mathbb{R}^n $. Symetričnost a diagonála jsou evidentní. (Pozorný čtenář si jistě rád dokáže sám.)
\end{proof}
 
\subsection{Konvergence na prostoru náhodných veličin}
 
\begin{definition}[Konvergence]
Buďte $ \left(X_n\right)_{n=1}^{\infty},X $ náhodné veličiny. Potom definujeme následující typy konvergence:
\begin{description}
\item [bodová konvergence] {
\begin{equation}
X_n \to X\ \ \Leftrightarrow\ \ \forall \omega \in \Omega \left(\lim_{n\to\infty}X_n(\omega) = X(\omega) \right)
\end{equation}}
\item [konvergence \uv{skoro jistě}] {
\begin{equation}
X_n \stackrel{s.j.}{\to} X\ \ \Leftrightarrow\ \ \mathrm{P}\left(\omega\ :\ \lim_{n\to\infty}X_n(\omega) = X(\omega) \right) = 1
\end{equation}}
\item [konvergence v $ \mathcal{L}_p$,] { kde $ \mathcal{L}_p $ je lineární normovaný prostor s normou $ \| X \| = \left(E|X|^{p}\right)^{\frac{1}{p}} $ pro $ p \geq 1 $
\begin{equation}
X_n \stackrel{\mathcal{L}_p}{\to} X\ \ \Leftrightarrow\ \ \left\| X_n - X\right\|^p = E\left| X_n - X\right|^p \to 0
\end{equation} 
přičemž pro $ n = 2 $ značíme tento typ konvergence jako $ X_n \stackrel{S}{\to} X $ a nazýváme ho konvergencí podle středu.}
\item[konvergence podle pravděpodobnosti] {
\begin{equation}
X_n \stackrel{\mathrm{P}}{\to} X\ \ \Leftrightarrow\ \ \forall \varepsilon \left( \lim_{n\to\infty} \mathrm{P} \left( \omega\ :\ \left| X_n(\omega) - X(\omega) \right| \geq \varepsilon \right)  = 0 \right)
\end{equation}
\begin{equation}
X_n \stackrel{\mathrm{P}}{\to} X\ \ \Leftrightarrow\ \ \forall \varepsilon \left( \lim_{n\to\infty} \mathrm{P} \left( \omega\ :\ \left| X_n(\omega) - X(\omega) \right| < \varepsilon \right) = 1 \right) 
\end{equation}}
\end{description}
\end{definition}
 
\begin{theorem}
\label{theo-ekval}
Buďte $ \left(X_n\right)_{n=1}^{\infty},X $ náhodné veličiny. Potom 
\begin{equation}
X_n \stackrel{P}{\to} X\ \ \Leftrightarrow\ \ \lim_{n\to\infty} E\left( \frac{\left|X_n - X\right|}{1 + \left|X_n - X\right|}  \right) = 0
\end{equation} 
\end{theorem}
 
\begin{proof}
\ 
\begin{description}
\item [$ \Rightarrow $] {
$$ \textrm{platí } X = 0\ \ \left(X_n \stackrel{\mathrm{p}}{\to} X \Leftrightarrow X_n - X \stackrel{\mathrm{P}}{\to} 0 \right)$$
$$ X_n \stackrel{\mathrm{P}}{\to} 0 \textrm{\ \ tzn.\ \ } \mathrm{P}\left(\left|X_n \right| \geq \varepsilon \right) \to 0 \textrm{ pro } \forall \varepsilon $$
$$ 0 \leq E\left(\frac{\left|X_n - X\right|}{1 + \left|X_n - X\right|}\right) = \int_{\Omega} \frac{\left|X_n - X\right|}{1 + \left|X_n - X\right|}d\mathrm{P} = \left| X = 0 \right| = $$
$$ = \int_{\left\{\omega:\left|X_n\right|\geq \varepsilon \right\}}\frac{\left|X_n - X\right|}{1 + \left|X_n - X\right|}d\mathrm{P} +  \int_{\left\{\omega:\left|X_n\right| < \varepsilon \right\}}\frac{\left|X_n - X\right|}{1 + \left|X_n - X\right|}d\mathrm{P} \leq $$
$$ \leq \int_{\left\{ \omega: \left|X_n \right| \geq \varepsilon \right\}} 1 d\mathrm{P} + \int_{\left\{ \omega: \left|X_n \right| < \varepsilon \right\}} \varepsilon d\mathrm{P} \leq \mathrm{P}\left( \left\{ \omega : \left| X_n \right| \geq \varepsilon \right\} \right) + \varepsilon \textrm{\ \ pro\ \ } \forall \varepsilon > 0 $$ }
\item [$ \Leftarrow $] { 
$$ E \left( \frac{\left| X_n\right|}{1 + \left| X_n \right|} \right) = \int_{\Omega} \frac{\left| X_n \right|}{1 + \left| X_n \right|}d\mathrm{P} \geq \int_{\left\{\left| X_n \right| \geq \varepsilon \right\}} \frac{\left| X_n \right|}{1 + \left| X_n \right|}d\mathrm{P} \geq \int_{\left\{ \left| X_n \right| \geq \varepsilon \right\}} \frac{\varepsilon}{1 + \varepsilon} d\mathrm{P} = $$
$$ = \frac{\varepsilon}{1 + \varepsilon} \mathrm{P} \left( \left| X_n \right| \geq \varepsilon \right) \geq 0 $$ }
\end{description}
\end{proof}
 
\begin{theorem}
Buď $ X_n $ posloupnost náhodných veličin. Potom platí
\begin{enumerate}
\item {
\begin{equation}
X_n \stackrel{\mathcal{L}_p}{\to} X\ \ \Rightarrow\ \ X_n \stackrel{\mathrm{P}}{\to} X
\end{equation}}
\item {
\begin{equation}
X_n \stackrel{s.j.}{\to} X\ \ \Rightarrow\ \ X_n \stackrel{\mathrm{P}}{\to} X
\end{equation}}
\end{enumerate}
\end{theorem}
 
\begin{proof}
\ 
\begin{enumerate}
\item {
$$ 0 \leq \mathrm{P}\left(\left| X_n - X\right| \geq \varepsilon \right) = \int_{\left\{\omega:\left| X_n - X \right| \geq \varepsilon \right\}}1 d\mathrm{P} \leq \int_{\Omega} \frac{\left| X_n - X \right|^{p}}{\varepsilon^p}d\mathrm{P} = $$
$$ = \frac{1}{\varepsilon^{p}} \int_{\Omega}\left| X_n - X \right|^p d\mathrm{P} = \frac{1}{\varepsilon^p}E\left| X_n - X \right|^p \to 0 $$}
\item {
$$ \lim_{n\to\infty} E\left(\frac{\left|X_n - X\right|}{1 + \left|X_n - X\right|}\right) = E \left( \lim_{n\to\infty} \frac{\left|X_n - X\right|}{1 + \left|X_n - X\right|}\right) = E(0) = 0$$ }
\end{enumerate}
\end{proof}
 
\begin{theorem}
Buď $ X_n $ taková posloupnost náhodných veličin, že $ X_n \stackrel{\mathrm{P}}{\to} X $. Potom existuje taková podposloupnost $ (n_k)_{k \geq 1} $, že $ X_{n_k} \stackrel{s.j.}{\to} X $.
\end{theorem}
 
\begin{proof}
Dle předpokladu platí
$$ X_n \stackrel{\mathrm{P}}{\to} X\ \ \Rightarrow\ \ E\left(\frac{\left| X_n - X\right|}{1+\left| X_n 0 X\right|}\right) \to 0 $$
a existuje tedy vybraná posloupnost $ \left(n_k\right)_{k=1}^{\infty} $ taková, že 
$$ E\left(\sum_{j=1}^{\infty} \frac{\left| X_{n_k} - X \right|}{1 + \left| X_{n_k} - X \right|}\right) < \frac{1}{2^k} $$
a díky větě o záměně sumy a limity pro monotonně konvergentní posloupnosti platí
$$ E \left( \sum_{k=1}^{\infty} \frac{\left| X_{n_k} - X \right|}{1 + \left| X_{n_k} - X \right|} \right) = \sum_{k=1}^{\infty} E \left( \frac{\left| X_{n_k} - \right| }{1 + \left| X_{n_k} - \right|} \right) \leq \sum_{k=1}^{\infty} \frac{1}{2^k} < \infty$$ 
a tedy
$$ \sum_{k=1}^{\infty} \frac{\left| X_{n_k} - \right|}{1 + \left| X_{n_k} - \right|} < \infty $$
konverguje skoro jistě (vzhledem k míře $ \mathrm{P} $), a tedy i jednotlivé členy konvergují skoro jistě k nule.
\end{proof}
 
\begin{theorem}
Buď $ X_n \stackrel{\mathrm{P}}{\to} X $ a nechť $ \left| X_n \right| \leq Y \in \mathcal{L}_p $ pro $ \forall n $. Potom $ |X| \in \mathcal{L}_p $ a platí $ X_n \stackrel{\mathcal{L}_p}{\to} X $.
\end{theorem}
 
\begin{theorem}
Buďte $ \left(X_m\right)_{n=1}^{\infty} $ náhodné veličiny do $ \mathbb{R}^s $, a nechť $ g : \mathbb{R}^s \to \mathbb{R} $ borelovsky měřitelná a spojitá. Potom platí
\begin{enumerate}
\item $ X_n \stackrel{\mathrm{P}}{\to} X\ \ \Rightarrow\ \ g\left(X_n\right) \stackrel{\mathrm{P}}{\to} g(X) $
\item $ X_n \stackrel{s.j.}{\to} X\ \ \Rightarrow\ \ g\left(X_n\right) \stackrel{s.j.}{\to} g(X) $
\end{enumerate}
\end{theorem}
 
\begin{proof}
\ 
\begin{enumerate}
\item Důkaz provedeme sporem: nechť tedy $ X_n \stackrel{\mathrm{P}}{\to} X $ a současně $ g\left(X_n\right) \stackrel{\mathrm{P}}{\nrightarrow} g(X) $. To znamená, že
$$ \exists \varepsilon\ \exists \delta\ \exists \left( n_k \right)_{k=1}^{\infty} \mathrm{P}\left( \left| g\left(X_{n_k}\right) - g(X)\right| \geq \varepsilon \right) \leq \delta $$
ale z konvergence $ X_n $ vyplývá, že existuje posloupnost vybraná $ \left(n_{k_j}\right)_{j=1}^{\infty} $ taková, že $ X_n \stackrel{s.j.}{\to} X $. Dle bodu (2) $ g\left(X_n\right) \stackrel{s.j.}{\to} g(X)  $ a tedy $ g\left(X_n\right) \stackrel{\mathrm{P}}{\to} g(X)  $ což je ale spor, protože jsme předpokládali že $ g\left(X_n\right) \stackrel{\mathrm{P}}{\nrightarrow} g(X) $.
\item Nechť $ X_n \stackrel{s.j.}{\to} X $ a označme
$$ A = \left\{ \omega : X_n\left(\omega\right) \nrightarrow X(\omega) \right\} $$
a tedy dle předpokladu platí $ \mathrm{P}(A) = 0 $. Potom tedy $ \mathrm{P}\left(A^C\right) = 1 $ a pro $ \omega \in A^C $ tedy (díky spojitosti) platí
$$ \lim_{n\to\infty} g\left(X_n(\omega)\right) = g\left(\lim_{n\to\infty}X_n(\omega)\right) = g\left(X(\omega)\right) $$
\end{enumerate}
\end{proof}
 
\begin{note}
Buď $ X_n \stackrel{\mathrm{P}}{\to} a \in \mathbb{R}^{s} $ resp. $ X_n \stackrel{s.j.}{\to} a \in \mathbb{R}^s $. Potom $ g\left(X_n\right) \stackrel{\mathrm{P}}{\to} g(a) $ resp. $ g\left(X_n\right) \stackrel{s.j.}{\to} g(a) $ pro $ g $ borelovsky měřitelnou a spojitou v bodě $ a $.
\end{note}
 
\begin{dusledek}
Nechť $ X_n \stackrel{\mathrm{P}}{\to} X $ a $ Y_n \stackrel{\mathrm{P}}{\to} Y $. Potom 
\begin{enumerate}
\item $ \alpha X_n + Y_n \stackrel{\mathrm{P}}{\to} \alpha X + Y $
\item $ X_n Y_n \stackrel{\mathrm{P}}{\to} XY $
\item $ X_n / Y_n \stackrel{\mathrm{P}}{\to} X / Y $
\end{enumerate}
\end{dusledek}
 
\begin{theorem}
Buď $ \left(X_n\right)_{n=1}^{\infty} $ taková posloupnost náhodných veličin, že $ EX_n = \mu $ pro $ \forall n \in \mathbb{N} $ a $ \lim_{n\to\infty} DX_n  = 0 $. Potom platí
\begin{enumerate}
\item $ X_n \stackrel{\mathrm{P}}{\to} \mu $
\item $ X_n \stackrel{S}{\to} \mu $, tj. $ X_n \stackrel{\mathcal{L}_2}{\to} \mu $
\end{enumerate}
\end{theorem}
 
\begin{proof}
\ 
\begin{enumerate}
\item Dosadíme do Čebyševovy nerovnosti
$$ \mathrm{P}\left( \left| X_n - EX_n\right| \geq \varepsilon \right) \leq \frac{DX_n}{\varepsilon^2} \to 0 $$
\item teď nevím
\end{enumerate}
\end{proof}
 
\subsection{Zákony velkých čísel}
\begin{theorem}[Čebyšev]
Buď $ (X_n)_{n=1}^{\infty} $ posloupnost náhodných veličin na prostoru $ \mathcal{L}_2 $, a nechť $ \sup_{j\in \mathbb{N}} DX_{j} < \infty $. Potom platí
\begin{equation}
\overline{X_n} - \frac{1}{n}\sum_{j=1}^{n}EX_j \stackrel{\mathrm{P}}{\to} 0
\end{equation} 
kde
$$ \overline{X_n} = \frac{1}{n}\sum_{j=1}^{n}X_j $$
\end{theorem}
 
\begin{proof}
$$ E\left(\overline{X_n}\right) = E\left(\frac{1}{n}\sum_{j=1}^{n}X_j\right) = \frac{1}{n}\sum_{j=1}^{n}EX_J $$
$$ D\left(\overline{X_n}\right) = E\left(\frac{1}{n}\sum_{j=1}^{n}X_j\right)  = \frac{1}{n^2} \sum_{j=1}^{n} DX_j \leq \frac{c}{n} $$
a z Čebyševovy nerovnosti (\ref{chebeq}) vyplývá, že
$$ \mathrm{P}\left(\left|\overline{X_n} - \frac{1}{n} \sum_{j=1}^{\infty} EX_j \right|\geq \varepsilon \right) = \frac{c}{n\varepsilon^2} \to 0 $$
odkud již dle vyplývá platnost tvrzení.
\end{proof}
 
\begin{dusledek}[Slabý zákon velkých čísel]
Buďte $ \left(X_n\right)_{n=1}^{\infty} $ i.i.d. náhodné veličiny na prostoru $ \mathcal{L}_2 $, a označme $ \mu = EX_j $, $ \sigma^2 = DX_j < \infty $. Potom
\begin{equation}
\overline{X_n} \stackrel{\mathrm{P}}{\to} \mu
\end{equation} 
\end{dusledek}
 
\begin{theorem}[Silný zákon velkých čísel]
Buďte $ \left(X_n\right)_{n=1}^{\infty} $ i.i.d. náhodné veličiny na $ \mathcal{L}_2 $ a nechť $ \mu = EX_j $, $ \sigma^2 = DX_j < \infty $. Potom platí
\begin{enumerate}
\item $ \overline{X_n} \stackrel{s.j.}{\to} \mu $
\item $ \overline{X_n} \stackrel{\mathcal{L}_2}{\to} \mu $
\end{enumerate}
\end{theorem}
 
\begin{proof}
$$ D\overline{X_n} \to 0 \Rightarrow \overline{X_n} \stackrel{\mathcal{L}_2}{\to} \mu $$
Předpokládejme, že $ \mu = 0 $. Potom ze slabého zákona velkých čísel vyplývá, že
$$ \overline{X_n} \stackrel{\mathrm{P}}{\to} \mu $$
a existuje tedy taková vybraná posloupnost $ \exists \left( n_k \right)_{k=1}^{\infty} $, že
$$ \overline{X_{n_k}} \stackrel{s.j.}{\to} 0 $$
a přitom
$$ D\left(\overline{X_n}\right) = E\left( \overline{X_n}^2 \right) - \left(E\left( \overline{X_n} \right) \right)^2 = \frac{1}{n^2}\sum_{j=1}^{n} EX_j^2 = \frac{\sigma^2}{n} $$
Zvolme nyní posloupnost $ \left( n^2\right)_{n=1}^{\infty} $ a ukážeme, že 
$$ \overline{X_{n^2}} \stackrel{s.j.}{\to} 0 $$
$$ E \left( \sum_{n=1}^{\infty} \left(\overline{X_{n^2}}\right)^2 \right) = \sum_{n=1}^{\infty} E\left( \overline{X_{n^2}}\right)^2 = \sum_{n=1}^{\infty} \frac{\sigma^2}{n^2} < \infty $$
$$ \sum_{n=1}^{\infty} \overline{X_{n^2}}^2 < \infty\ \textrm{ s.j. }\ \ \Rightarrow\ \ \overline{X_{n^2}}^2 \stackrel{s.j.}{\to} 0 \ \ \Rightarrow\ \ \overline{X_{n^2}} \stackrel{s.j.}{\to} 0 $$
volme $ n $: $ \exists K_n \in \mathbb{N} $ takové, že $ K^2_n \leq n < \left(K_n + 1\right)^2 $
$$ Y_n = \overline{X_n} - \frac{K_n^2}{n}X_{K_n^2} = \frac{1}{n} \sum_{j=1}^{n}X_j - \frac{K_n^2}{n} \frac{1}{K_n^2}\sum_{j=1}^{K_n^2} X_j = \frac{1}{n} \sum_{K_n^2 + 1}^{n} X_j $$
a ukážeme že $ Y_n \stackrel{s.j.}{\to} 0 $, tzn. $ \overline{X_n} - \frac{K_n^2}{n}\overline{X_{K_n^2}} \stackrel{s.j.}{\to} 0 $
$$ DY_n = EY_n^2 = \frac{1}{n^2} \sum_{K_n^2+1}^{n}EX_j^2 = \frac{n - kn^2}{n^2}\sigma^2 \leq \frac{\left(K_n +1\right)^2 - K_n^2}{n^2} = \frac{2 K_n + 1}{n^2}\sigma^2 \leq $$
$$ \leq \frac{2\sqrt{n} + \sqrt{n}}{n^2} \sigma^2 = \frac{3\sigma^2}{n^{\frac{3}{2}}} $$
$$ E \left( \sum_{n=1}^{\infty} Y_n^2 \right) = \sum_{n=1}^{\infty} E\left( Y_n^2 \right) < \infty\ \ \Rightarrow\ \ \sum_{n=1}^{\infty} Y_n^2 < \infty \textrm{ s.j. }\ \ \Rightarrow\ \ Y_n^2 \stackrel{s.j.}{\to} 0\ \ \Rightarrow\ \ Y_n^2 \stackrel{s.j.}{\to} 0 $$
\end{proof}
 
\begin{dusledek}[Bernoulliho věta, 1713]
Buďte $ \left(X_j\right)_{j=1}^{\infty} $ i.i.d. $ A(p) $ náhodné veličiny (tzn. $ \mathrm{P}\left( X_j = 1 \right) = p $, $ \mathrm{P}\left(X_j = 0 \right) = 1 - p $), a označme
$$ S_n = \sum_{j=1}^{\infty} X_j $$
Potom platí
\begin{equation}
\frac{S_n}{n} \stackrel{s.j.}{\to} p
\end{equation} 
\end{dusledek}
 
Mějme experiment a sledujme výskyt nějakého jevu $ A $ v nezávislých opakováních. Při $ n $ opakováních bychom se měli blížit relativní četnosti výskytu jevu $ A $, a to jsme vlastně od začátku od naší teorie chtěli. Nicméně existuje samozřejmě i taková posloupnost $ \omega_1,\dots,\omega_n,\dots $, pro kterou 
$$ \frac{S_n}{n} \stackrel{s.j.}{\nrightarrow} p $$
ale množina takových jevů má samosřejmě pouze nulovou míru (vzhledem k $ \mathrm{P} $).
 
\begin{theorem}[Kolmogorovův zákon velkých čísel]
Buď $ \left(X_n\right)_{n=1}^{\infty} $  posloupnot i.i.d. náhodných veličin, $ \mu \in \mathbb{R} $. Potom
\begin{equation}
EX_j < \infty \textrm{ a } EX_j = \mu\ \ \Leftrightarrow\ \ \overline{X_n} \stackrel{s.j.}{\to} \mu
\end{equation} 
\end{theorem}
 
\begin{theorem}[Kolmogorov]
Buďte $ (X_j)_{j=1}^{\infty} $ nezávislé náhodné veličiny, $ EX_j = \mu_j $, $ \sigma^2_j = DX_j < \infty $. Nechť dále platí
$$ \sum_{j=1}^{\infty} \frac{\sigma^2_j}{j^2} < \infty $$
Potom
\begin{equation}
\overline{X_n} - \frac{1}{n}\sum_{j=1}^{n} \mu_j \stackrel{s.j.}{\to} 0
\end{equation} 
\end{theorem}
 
\begin{theorem}[Věta Chinčinova]
Buďte $ \left( X_j \right)_{j=1}^{n} $ i.i.d. náhodné veličiny, a nechť existuje $ k \in \mathbb{N} $ takové, že
$ E\left(X_j^{2k}\right) < \infty $. Potom 
\begin{equation}
\frac{1}{n}\sum_{j=1}^{n}X_j^k \stackrel{s.j.}{\to} E\left(X_1^k\right) = \mu'_k
\end{equation} 
\end{theorem}
 
\begin{proof}
Pokud jsou $ \left(X_j\right)_{j=1}^{\infty} $ i.i.d. náhodné veličiny, potom jsou i.i.d. i náhodné veličiny $ \left(X_j^k\right)_{j=1}^{\infty} $ a dle Bernoulliho věty (resp. dle silného zákona velkých čísel) platí
$$ \overline{X_j^k} = \frac{1}{n} \sum_{j=1}^{n} X_j^k \stackrel{s.j.}{\to} E\left(X_j^k\right) $$
\end{proof}
 
\begin{theorem}
Buďte $ \left(X_j\right)_{j=1}^{\infty} $ i.i.d. náhodné veličiny, $ \mu = EX_j $, $ \sigma^2 = DX_j < \infty $. Potom
\begin{equation}
\frac{1}{n} \sum_{j=1}^{\infty} \left( X_j - \overline{X_n}\right)^2 \stackrel{s.j.}{\to} \sigma^2
\end{equation} 
\end{theorem}
 
\begin{proof}
$$ \frac{1}{n} \sum_{j=1}^{n}\left(X_j - \overline{X_n} \right)^2 = \frac{1}{n} \sum_{j=1}^{n} X_j^2 - \frac{2}{n} \overline{X_n} \sum_{j=1}^{n} X_j + \frac{1}{n} \sum_{j=1}^{n} \overline{X_n}^2 = \frac{1}{n} \sum_{j=1}^{n}X_j^2 - \overline{X_n}^2 \underbrace{\stackrel{s.j.}{\to}}_{\textrm{ZVČ}} = $$ 
$$ = E\left( X_1^2\right) - \left(EX_1\right)^2 = DX_1 = \sigma^2 $$
\end{proof}
 
Předcházejících vět využíváme při odhadu parametrů ve statistice, tj. $ \frac{S_n}{n} \stackrel{s.j.}{\to} p $ a $ \overline{X_n} \stackrel{s.j.}{\to} \mu $. Ve statistice nás ale pochopitelně zajímá jak \uv{rychlá} tato konvergence je, tj. jak můžeme volit posloupnost $ a_n $, aby platilo
$$ a_n \left( \overline{X_n} - \mu\right) \stackrel{s.j.}{\to} 0 $$
Pokud volíme $ a_n = n^{-\alpha} $, potom mluvíme o tzv. \uv{řádu konzistence.}
 
\subsection{Slabá konvergence, konvergence v distribuci}
\begin{example}
Uvažujme zásobník s $ n $ kuličkami, a neznámý počet z nich je bílých (všechny počty bílých jsou stejně pravděpodobné). Někdo nám tam ještě jednu kuličku přihodí. Jaká je pravděpodobnost vytažení bílé kuličky?
\end{example}
 
Ani jedna z probraných konvergencí není dostatečně obecná, takže na to musíme jít jinak. V předchozích definicích konvergencí jsme na to šli přes pravděpodobnosti, nyní na to půjdeme přes rozdělení.
 
\begin{definition}[Slabá konvergence, konvergence v distribuci]
Buďte $ \left( \mathbf{X}_n \right)_{n=1}^{\infty} $ náhodné veličiny do $ \mathbb{R}^d $, $ d \geq 1 $ s rozděleními $ \mathrm{P}^{\mathbf{X}_n} $. Říkáme, že posloupnost pravděpodobnostních měr $ \left(\mathrm{P}^{\mathbf{X}_n}\right) $ konverguje slabě k $ \mathrm{P}^{\mathbf{X}} $, značíme
$$ \mathrm{P}^{\mathbf{X}_n} \stackrel{w}{\to} \mathrm{P}^{\mathbf{X}} $$
pokud 
\begin{equation}
\int g(\mathbf{x})d\mathrm{P}^{\mathbf{X}_n}(\mathbf{x}) \to \int g(\mathbf{x})d\mathrm{P}^{\mathbf{X}}(\mathbf{x})
\end{equation} 
tj. $ Eg\left(\mathbf{X}_n\right) \to E\left(\mathbf{X}\right) $ pro všechny $ g : \mathbb{R}^d \to \mathbb{R} $ spojité a omezené. Říkáme, že $ \mathbf{X}_n $ konverguje k $ \mathbf{X} $ v distribuci, a značíme
$$ \mathbf{X}_n \stackrel{\mathcal{D}}{\to} \mathbf{X} $$
\end{definition}
 
\begin{note} V definici lze třídu $ C^{(0)} $ zaměnit například za třídu
\begin{enumerate}
\item stejnoměrně Lipschitzovských funkcí
\item stejnoměrně spojitých funkcí
\item $ C^{\infty} $ s kompaktním nosičem
\end{enumerate}
\end{note}
 
\begin{note}
\ 
\begin{enumerate}
\item Posloupnost $ \left(X_n\right)_{n=1}^{\infty} $ a $ X $ nemusí být nutně na stejném pravděpodobnostním prostoru, tj. posloupnost může být například na $ (\Omega,\mathcal{A},\mathrm{P}) $ a limitní veličina může být na prostoru $ (\Omega',\mathcal{A}',\mathcal{P}') $.
\item Neplatí
$$ \mathrm{P}^{\mathbf{X}_n} \stackrel{w}{\to} \mathrm{P}^{\mathbf{X}}\ \ \Rightarrow\ \ \mathrm{P}^{\mathbf{X}_n}\left(B\right) \to \mathrm{P}^{\mathbf{X}}\left(B\right)\ \forall B \in \mathcal{B} $$
\item Stejně tak neplatí ani implikace
$$ \mathrm{P}^{\mathbf{X}_n} \stackrel{w}{\to} \mathrm{P}^{\mathbf{X}}\ \ \Rightarrow\ \ \mathrm{F}_{\mathbf{X}_n}(x) \to \mathrm{F}_{\mathbf{X}}(x)\ \forall x \in \mathbb{R} $$
\end{enumerate}
\end{note}
 
\begin{theorem}
Buďte $ \left(X_n\right)_{n=1}^{\infty} $ náhodné veličiny do $ \mathbb{R} $. Potom
\begin{equation}
X_n \stackrel{\mathcal{D}}{\to} X\ \ \Leftrightarrow\ \ \mathrm{F}_{X_n}(x) \to \mathrm{F}_{X}(x)\ \ \textrm{pro}\ \forall x \in D = \left\{ x : \mathrm{F}_X(x - 0) = \mathrm{F}_X(x) \right\}
\end{equation} 
\end{theorem}
 
Víme, že $ \overline{D} = \mathbb{R} $, $ \mathbb{R} \setminus D $ je nejvýše spočetná.
 
\begin{theorem}[Lévy continuity theorem]
Buďte $ \left(X_n\right)_{n=1}^{\infty} $ a $ X $ náhodné veličiny do $ \mathbb{R}^d $. Potom
$$ X_n \stackrel{\mathcal{D}}{\to} X \Leftrightarrow \varphi_{X_n}(z) \to \varphi_X(z)\ \ \textrm{pro}\ \forall z \in \mathbb{R} $$
\end{theorem}
 
\begin{proof}
\ 
\begin{description}
\item[$ \Rightarrow $] { Jednoduché - jeden řádek. }
\item[$ \Leftarrow $] { \textbf{Helly's selection principle:}\\ Buď $ \left(\mu_n\right)_{n=1}^{\infty} $ posloupnost měr na $ \mathbb{R} $ taková, že $ \lim_{m\to\infty}sup_{n}\mu_n\left([-m,m]\right) = 0 $. Potom existuje $ \left(n_k\right)_{k=1}^{\infty} $ taková, že $ \mu_{n_k} \stackrel{w}{\to}\mu $
Ukáže se, že posloupnost měr $ \left(P^{X_n}\right)_{n=1}^{\infty} $ vyhovuje H.S.P., a sporem se ukáže, že $$ P^{X_n} \stackrel{w}{\to}P^{X} $$
}
\end{description}
\end{proof}
 
\begin{theorem}
Nechť $ \left(X_n\right)_{n=1}^{\infty} $ a $ X $ jsou náhodné veličiny na daném $ \left(\Omega,\mathcal{A},P\right) $. Potom
$$ X_n \stackrel{P}{\to} X\ \ \Rightarrow\ \ X_n \stackrel{D}{\to} X $$
\end{theorem}
 
\begin{proof}
Zvolme $ g \in C^{(0)} $ omezenou, potom
$$ X_n \stackrel{P}{\to} X\ \ \Rightarrow g\left(X_n\right) \stackrel{P}{\to} g(X) $$
a existuje tedy $ k $ tak, že pro všechna $ n \in \mathbb{N} $
$$ \left| g\left( X_n \right) \right| \leq K \in \mathcal{L}_2\ \ \Rightarrow\ \ g\left(X_n\right) \stackrel{\mathcal{L}_1}{\to} g(X) $$
takže
$$ E\left[ g\left(X_n\right) - g\left(X\right) \right] \leq E \left| g\left(X_n\right) - g(X) \right| \to 0 $$
\end{proof}
 
\begin{note}
Pokud má $ X $ degenerované rozdělení, lze směr implikace v předchozí větě lze obrátit.
\end{note}
 
\begin{theorem}
Buďte $ \left(X_n\right)_{n=1}^{\infty} $, $ X $ náhodné veličiny do $ \mathbb{R}^d $ a nechť $ g: \mathbb{R}^d \to \mathbb{R} $ je borelovsky měřitelná a spojitá. Potom
\begin{equation}
X_n \stackrel{\mathcal{D}}{\to} X\ \ \Rightarrow\ \ g\left(X_n\right) \stackrel{\mathcal{D}}{\to} g\left(X\right)
\end{equation} 
\end{theorem}
 
\begin{proof}
\textbf{Skorokhodova konstrukce}\\
Pokud $ X_n \stackrel{\mathcal{D}}{\to} X $, potom existují $ Y_n $ a $ Y $ na $ \left( \Omega',\mathcal{A}',P' \right) $ tak, že $ Y_n \stackrel{s.j.} Y $ a přitom
$$ \mathcal{L}\left(Y_n\right) = \mathcal{L}\left(X_n\right) $$
$$ \textrm{a\ \ } \mathcal{L}\left( Y \right) = \mathcal{L}\left( X \right) $$
takže
$$ g\left(Y_n\right) \stackrel{s.j.}{\to} g\left(Y\right) \Rightarrow g\left(Y_n\right) \stackrel{\mathcal{D}}{\to} g\left(Y\right) \Rightarrow g\left(X_n\right) \stackrel{\mathcal{D}}{\to} g\left(X\right) $$
\end{proof}
 
\begin{theorem}[Slutsky]
Nechť $ X_n \stackrel{\mathcal{D}}{\to} X $ a $ Y_n \stackrel{P}{\to} c $, potom
\begin{enumerate}
\item $ X_n + Y_n \stackrel{\mathcal{D}}{\to} X + c $
\item $ X_n \cdot Y_n \stackrel{\mathcal{D}}{\to} cX $
\item $ \frac{X_n}{Y_n} \stackrel{\mathcal{D}}{\to} \frac{X}{c} $ pro $ c \neq 0 $
\end{enumerate}
\end{theorem}
 
\begin{proof}
\ 
\begin{enumerate}
\item { Nechť $ c = 0 $
$$ F_{X_n + Y_n}(t) = P\left(X_n + Y_n \leq t \right) = P\left( X_n + Y_n \leq t, \left| Y_n \right| < \varepsilon \right) + P\left( X_n + Y_n \leq t, \left|Y_n\right| \geq \varepsilon \right) \leq $$
$$ \leq P\left(X_n \leq t + \varepsilon, \left| Y_n \right| < \varepsilon \right) + P\left(\left| Y_n \right| \geq \varepsilon \right) \leq P\left(X_n \leq t + \varepsilon \right) + P\left(\left| Y_n \right| \geq \varepsilon \right) $$
přičemž $ t \in D = \left\{ x : F_X(x-0) = F_X(x) \right\}  $, a $ \varepsilon > 0 $ libovolné takové aby $ t + \varepsilon \in D $. Máme tedy
$$ \limsup_{n \to \infty} F_{X_n + Y_n}(t) \leq F_X(t+\varepsilon) + 0\ \ \textrm{pro}\ \forall t \in D, \forall \varepsilon (t + \varepsilon \in D) $$
a potřebujeme ještě nějaký odhad pro $ \liminf_{n\to\infty} $, takže to vezmeme z druhé strany
$$ F_{X_n + Y_n}(t) = P\left(X_n + Y_n \leq t \right) \geq P \left( X_n \leq t - \varepsilon \right) - P\left( \left| Y_n \right| \geq \varepsilon \right) $$
a nakonec tedy dostáváme 
$$ \liminf_{n\to\infty}F_{X_n + Y_n}(t) \geq F_X(t-\varepsilon) $$
Nechť nyní $ c \neq 0 $, potom $ Y_n = Y'_n + c $, kde $ Y'_n \stackrel{P}{\to} 0 $ a tedy
$$ X_n + Y_n = \underbrace{X_n + Y'_n}_{\stackrel{\mathcal{D}}{\to} X} + c \to X + c $$
}
\item { 
$$ X_n \cdot Y_n = \frac{1}{4} \left[ \left( X_n + Y_n \right)^2 - \left( X_n - Y_n \right)^2 \right] \stackrel{\mathcal{D}}{\to} \frac{1}{4} \left[ \left( X + c\right)^2 - \left( X - c\right)^2 \right] = X \cdot c $$}
\item {
$$ Y_n \stackrel{P}{\to}\ \ \Rightarrow\ \ \frac{1}{Y_n} \stackrel{P}{\to} \frac{1}{c} $$}
\end{enumerate}
\end{proof}
 
\begin{definition}[Asymptoticky normální posloupnost]
Říkáme, že posloupnost náhodných veličin $ \left(X_n\right)_{n=1}^{\infty} $ je asymptoticky normální se střední hodnotou $ \left(\mu_n\right)_{n=1}^{\infty} $ a rozptylem $ \left(\sigma^2_n\right)_{n=1}^{\infty} $, pokud $ \sigma_n > 0 $ pro $ \forall n > n_0 $ a pokud platí
\begin{equation}
\frac{X_n - \mu_n}{\sigma_n} \stackrel{\mathcal{D}}{\to} N(0,1)
\end{equation} 
\end{definition}
 
V předchozí definici nemusí být posloupnosti $ \mu_n $ resp. $ \sigma_n $ s $ X_n $ přímo ve vztahu střední hodnoty resp. odchylky.
 
\begin{theorem}
Nechť $ X_n \sim AN\left(\mu_n,\sigma_n^2\right) $, přičemž $ \mu_n = \mu $ pro $ \forall n \in \mathbb{N} $, a nechť $ \sigma_n \to 0 $. Potom
$$ X_n \stackrel{P}{\to} \mu $$
\end{theorem}
 
\begin{proof}
$$ \frac{X_n - \mu}{\sigma_n} \stackrel{P}{\to} X \sim N(0,1) $$
$$ Y_n = \sigma_n\ \ \textrm{s.j.}\ \ \Rightarrow Y_n \stackrel{P}{\to} 0 $$
a dle Slutskyho lemmatu tedy platí
$$ \left( \frac{X_n - \mu}{\sigma_n} \right) \cdot Y_n \stackrel{\mathcal{D}}{\to} X \cdot 0 = 0 $$
$$ X_n - \mu \stackrel{P}{\to} 0 $$
\end{proof}
 
\subsection{Centrální limitní teorém}
V následující kapitole nás bude zajímat především asymptotické chování průměru, tj.
$$ \overline{X_n} = \frac{1}{n} \sum_{j=1}^{n} X_j $$
 
\begin{theorem}[Lindeberg-Lévy]
Buďte $ \left( X_j \right)_{j=1}^{\infty} $ i.i.d. náhodné veličiny v $ \mathcal{L}_2 $, označme $ EX_j = \mu $ a $ 0 < \sigma^2 = DX_j < \infty $. Nechť dále 
$$ Y_n = \frac{S_n - ESn}{\sqrt{DS_n}} = \frac{\sum_{j=1}^{n}X_j - n\mu}{\sqrt{n}\sigma} = \sqrt{n}\frac{\overline{X_n} - \mu}{\sigma} $$
Potom
$$ Y_n \stackrel{\mathcal{D}}{\to}Y \sim N(0,1)\ \ \textrm{tzn.}\ \ \overline{X_n} \sim AN\left(\mu,\frac{\sigma^2}{n}\right) $$
\end{theorem}
 
\begin{proof}
Nechť $ \widetilde{X_j} = X_j - \mu $, potom $ E\overline{X_j} = 0 $, a označme $ \varphi = \varphi_{\overline{X_j}} $. Lévy continuity theorem říká, že
$$ \varphi_{X_n} \to \varphi_X\ \ \Leftrightarrow\ \ X_n \stackrel{\mathcal{D}}{\to} X $$
$$ \varphi_{Y_m}(z) = \varphi_{\sum_{j=1}^{n}\frac{\widetilde{X}_j}{\sqrt{n}\sigma}} (z) = \prod_{j=1}^{n} \varphi_{\frac{\widetilde{X}_j}{\sqrt{n}\sigma}} (z) = \prod_{j=1}^{n}\varphi_{\widetilde{X}_j}\left(\frac{z}{\sqrt{n}\sigma} \right) = \left[ \varphi\left( \frac{z}{\sqrt{n}\sigma} \right) \right]^n = * $$
$$ E\left(\widetilde{X}^2_j\right) = DX_j = \sigma^2 < \infty $$
a dle jedné z předcházejících vět o vlastnostech charakteristické funkce platí
$$ \varphi_X^{(k)}(0) = i^k E\left(X^k\right) $$
takže
$$ \varphi'(0) = i^1 E\widetilde{X}_j = 0  $$
$$ \varphi''(0) = i^2 E\widetilde{X}^2_j = - \sigma^2  $$
takže
$$ \varphi(z) = 1 + 0 - \frac{\sigma^2}{2}z^2 + o\left(z^2\right) $$
$$ * = \left[ 1 - \frac{z^2}{2n} + o\left( \frac{z^2}{\sigma^2n}\right) \right]^n \to \exp\left(\frac{-z^2}{2}\right) $$
takže pro všechna $ z \in \mathbb{R} $ platí
$$ \varphi_{Y_n}(z) \to \exp\left(-\frac{z^2}{2}\right) = \varphi_Y(z) \sim N(0,1)  $$
\end{proof}
 
\begin{dusledek}
Pokud dle CLT platí
$$ \sqrt{n}\left(\overline{X_n} - \mu\right) \stackrel{\mathcal{D}}{\to}  N(0,\sigma^2) $$
potom
$$ \overline{X_n} \sim AN\left(\mu,\frac{\sigma^2}{n}\right)\ \ \Rightarrow\ \ \overline{X_n} \stackrel{P}{\to} \mu $$
 
\end{dusledek}
Nechť $ n^{\alpha}\left(\overline{X_n} - \mu\right) \sim AN(0,\underbrace{n^{2\alpha -1}\sigma^2}_{\to 0})$, potom
$$ n^{\alpha}\left(\overline{X_n} - \mu \right) \stackrel{P}{\to} 0 $$
\begin{dusledek}
\end{dusledek}
 
\begin{theorem}[Moivre - Laplace, 1718]
Buďte $ \left(X_j\right)_{j=1}^{\infty} $ i.i.d. náhodné veličiny s alternativním rozdělením $ A(p) $, potom
\begin{equation}
\frac{S_n - np}{\sqrt{npq}} \stackrel{\mathcal{D}}{\to} Y \sim N(0,1)
\end{equation} 
tj. $ S_n \sim AN(np,npq) $
\end{theorem}
 
\begin{proof}
Dosazením do CLT s hodnotami $ EX_j = p $, $ DX_j = p(1-p) < \infty $ dostaneme
$$ \mathcal{L}\left(S_n\right) \doteq N(np,npq) $$
\end{proof}
 
\begin{dusledek}
$$ P\left( K_1 \leq S_n \leq K_2 \right) = P\Bigg( \underbrace{\frac{K_1 - np}{\sqrt{npq}}}_{a} \leq \frac{S_n - np}{\sqrt{npq}} \leq \underbrace{\frac{K_2 - np}{\sqrt{npq}}}_{b} \Bigg) = F_{Y_n}(b) - F_{Y_n}(a-0) \doteq $$
$$ \doteq \Phi(b) - \Phi(a) = \frac{1}{\sqrt{2\pi}}\int_{a}^{b} \exp\left(-\frac{x^2}{2}\right) dx $$
\end{dusledek}
 
\begin{theorem}[Limitní tvar Moivre - Laplace]
\begin{equation}
\lim_{n\to\infty} \frac{P_n(k)}{\frac{1}{\sqrt{2\pi}\sqrt{npq}} \exp\left( - \frac{(k-np)^2}{2npq} \right)} = 1
\end{equation} 
$$ P_n(k) = \exp\left( -np \right) \frac{(np)^k}{k!} $$
\end{theorem}
 
\begin{theorem}[CLT]
Buďte $ \left(X_j\right)_{j=1}^{\infty} $ nezávislé náhodné veličiny, a nechť $ EX_j = \mu $, $ DX_j = \sigma^2_j < \infty $. Nechť dále $ \sup_j \sigma^2_j < \infty $ a $ \sum_{j=1}^{\infty} \sigma^2_j = + \infty $. Potom
\begin{equation}
\overline{X}_n \sim AN\left( \mu , \frac{\sum_{j=1}^{n}\sigma^2_j}{n} \right)
\end{equation} 
\end{theorem}
 
\begin{theorem}[Lindeberg - Feller]
Budte $ \left(X_j\right)_{j=1}^{\infty} $ nezávislé náhodné proměnné, pro které $ EX_j = \mu_j $ a $ DX_j = \sigma_j^2 < \infty $. Nechť dále 
$$ B_n = \sqrt{\sum_{j=1}^{n}\sigma_j^2} $$
nechť platí $ \frac{\sigma^2_n}{B_n^2} \to 0 $. Potom
\begin{equation}
\overline{X_n} \sim AN\Bigg(\underbrace{\frac{1}{n} \sum_{j=1}^{\infty} \mu_j }_{\overline{\mu_n}}, \frac{B_n^2}{n^2} \Bigg)\ \ \Leftrightarrow\ \ \underbrace{\frac{1}{B_n^2}\sum_{j=1}^{n}\int_{\left|t-\mu_j\right| > \varepsilon B_n} \left(t - \mu_j\right)^2 dP^{X_j}(t) \to 0\ \textrm{pro\ }\ \forall \varepsilon > 0}_{\textrm{tzv. Lindebergova podmínka}}
\end{equation} 
\end{theorem}
 
\begin{theorem}
Buďte $ X_j $ nezávislé, $ \mu_j, \sigma^2_j, B_n $ a nechť existuje $ \nu > 2 $ takové, že 
$$ \sum_{j=1}^{\infty} E\left| X_j - \mu_j \right|^{\nu} = \sigma\left( B_n^{\nu} \right) $$
Potom platí Lindebergova podmínka, tj.
$$ \frac{1}{B_n^2}\sum_{j=1}^{n}\int_{\left|t-\mu_j\right| > \varepsilon B_n} \left(t - \mu_j\right)^2 dP^{X_j}(t) \to 0\ \textrm{pro\ }\ \forall \varepsilon > 0 $$
a platí tedy i
$$ \overline{X_n} \sim AN\left(\frac{1}{n} \sum_{j=1}^{\infty} \mu_j , \frac{B_n^2}{n^2} \right) $$
\end{theorem}
 
\begin{theorem}[Berry - Esseen]
Buďte $ \left(X_j\right)_{j=1}^{\infty} $ i.i.d. náhodné veličiny, nechť $ \mu,\sigma^2 < \infty $ a $ E\left| X_j \right|^3 < \infty $. Potom
\begin{equation}
\sup_{t\in\mathbb{R}}\left| F_{Y_n}(t) - \Phi(t) \right| \leq c \cdot \frac{E \left| X_1 - \mu \right|^3}{\sigma^2 \sqrt{n}}
\end{equation} 
\end{theorem}
 
\begin{definition}
Nechť $ X \sim N\left(\mu,\sigma^2\right)  $, $ \mu \in \mathbb{R} $, $ \sigma \in \mathbb{R} $ a nechť
$$ f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left( - \frac{1}{2\sigma^2}(x-\mu)^2 \right) $$
$$ \varphi_X(z) = \exp \left(iz\mu - \frac{\sigma^2z^2}{2}\right) $$
???
\end{definition}
 
\begin{definition}[Gaussovo $ n-$rozměrné rozdělení]
Buď $ \mathbf{X} = \left( X_1,\dots,X_n \right) $ náhodný vektor. Říkáme, že $ \mathbf{X} $ má Gaussovo $ n- $rozměrné (normální) rozdělení, poud $ \forall \mathbf{\alpha} \in \mathbb{R}^{n} $ má veličina
\begin{equation}
Y = \mathbf{\alpha X} = \sum_{j=1}^{n}\alpha_j X_j
\end{equation} 
normální rozdělení (včetně degenerovaného normálního rozdělení), značíme $ \mathbf{X} \sim N_n $.
\end{definition}
 
\begin{theorem}
Buď $ \mathbf{X} = \left( X_1,\dots,X_n \right) $ náhodný vektor. Potom
\begin{enumerate}
\item $$ \mathbf{X} \sim N_n\ \ \Leftrightarrow\ \ \varphi_{\mathbf{X}}(\mathbf{z}) = \exp\left( i\mathbf{z}\mathbf{\mu} - \frac{1}{2}\mathbf{zCz'} \right) $$
kde $ \mathbf{\mu} \in \mathbb{R}^n $ a $ \mathbf{C} $ je symetrická a pozitivní matice rozměru $ n \times n $
\item $ \mathbf{\mu} = EX $, $ \mathbf{C} = \mathrm{Cov}(\mathbf{X}) $
\end{enumerate}
\end{theorem}
 
\begin{proof}
\begin{description}
\item [$ \Leftarrow $] { Volme $ \mathbf{\alpha} \in \mathbb{R}^n $ libovolně, a nechť $ Y = \mathbf{\alpha X} $. Potom ale
$$ \varphi_Y(u) = \varphi_{\mathbf{\alpha X}}(u) = E \left[ \exp\left( iu \left( \alpha X \right)\right)\right] = E \left[ \exp\left( i \left(u\mathbf{\alpha}\right)\mathbf{X}\right)\right] =  \varphi_{\mathbf{X}}(u\mathbf{\alpha}) = $$
$$ = \exp\left( iu\mathbf{\alpha\mu} - \frac{1}{2} (u \mathbf{\alpha})\mathbf{C}(u\mathbf{\alpha})'\right) = \exp\big( iu (\underbrace{\mathbf{\alpha \mu}}_{\mu'}) - \frac{1}{2} u^2 (\mathbf{\alpha C \alpha}') \big) \sim N_1 \left( \mathbf{\alpha \mu},\mathbf{\alpha C \alpha}' \right) $$ }
\item [$ \Rightarrow $] { Nechť $ \mathbf{X} \sim N_n $. Potom pro všechna $ \mathbf{\alpha} $ platí
$$ Y = \mathbf{\alpha X} \sim N_1 (EY,DY) $$
$$ \varphi_Y(u) = \exp\left( iuEY - \frac{1}{2} u^2 DY \right) $$
a definujme
$$ \mu = E\mathbf{X} $$
$$ \mathbf{C} = \mathrm{Cov}\mathbf{X} $$
$$ EY = E \left( \mathbf{\alpha X}\right) = \mathbf{\alpha} E\mathbf{X} = \mathbf{\alpha \mu} $$
$$ DY = D \left( \mathbf{\alpha X}\right) = E \left( \mathbf{\alpha X} - \mathbf{\alpha \mu} \right)^2 = E\left[ \mathbf{\alpha} \left( \mathbf{X} - \mathbf{\mu} \right) \right]^2 = $$
$$ = \sum_{i,j=1}^{n} \alpha_i \underbrace{E\left(X_i - \mu_i\right)E\left(X_j - \mu_j\right)}_{\mathrm{Cov}(X_i,X_j)}\alpha_j = \mathbf{\alpha C \alpha}' $$
$$ \varphi_{\mathbf{X}}(\mathbf{\alpha}) = E \left( \exp\left( i\left(\mathbf{\alpha X}\right) \right) \right) = \exp\left( i\mathbf{\alpha \mu} - \frac{1}{2}\mathbf{\alpha C \alpha}'\right)\ \ \textrm{ pro } \forall \mathbf{\alpha} $$
}
\end{description}
\end{proof}
 
\begin{dusledek}
\ \begin{enumerate}
\item { Nechť $ \mathbf{X} \sim N_n\left(\mathbf{\mu},\mathbf{C}\right) $, potom platí
$$ X_j \sim N_1\left(\mu_j,c_{jj} \right) $$
$$ Y = \mathbf{\alpha X} \sim N_1 \left( \mathbf{\alpha \mu},\mathbf{\alpha C \alpha}' \right) $$ }
\item { Implikaci v předchozí nelze obrátit.  Nechť například $ a > 0 $ a  definujme
$$ X_1 \sim N_1(0,1) $$
$$ X_2 = \left\{ \matrix{X_1 &\ \ & |X_1| \leq a \cr - X_1&\ \ & |X_1| > a } \right. $$
takže $ X_2 \sim N_1(0,1) $. Například pro $ \mathbf{\alpha} = (1,1) $ však dostáváme
$$ \mathbf{\alpha X} = X_1 + X_2 = \left\{ \matrix{X_1 + X_2 &\ \ & |X_1| \leq a\cr 0& & \textrm{jinak}} \right. $$
a přitom
$$ P\left(X_1 + X_2 > 2a \geq \right) = 0 $$ }
\item { \label{dmatrix} Nechť $ \mathbf{X} \sim N_n\left(\mathbf{\mu},\mathbf{C}\right) $ a $ \mathbf{D} $ buď matice rozměru $ n \times k $. Potom
$$ \mathbf{Y} = \mathbf{D X} \sim N_k\left( \mathbf{D \mu},\mathbf{D C D'} \right) $$
protože
$$ \varphi_{\mathbf{Y}}(\mathbf{z}) = \varphi_{\mathbf{DX}}(\mathbf{z}) = E\left[ \exp\left(i\mathbf{z}\left( \mathbf{DX}\right)\right)\right] = \varphi_{\mathbf{X}}\left(\mathbf{zD}\right) = \cdots = \varphi_{\mathbf{Y}}(\mathbf{z}) $$  }
\item { Nechť $ \mathbf{X} \sim N_n\left(\mathbf{\mu},\mathbf{C} \right) $, a nechť $ \left(k_1,\dots,k_n \right) $ je permutace $ \widehat{n} $. Potom
$$ \left(X_{k_1},\dots,X_{k_n} \right) \sim N_n\left( \widetilde{\mathbf{\mu}},\widetilde{\mathbf{C}} \right) $$
kde
$$ \widetilde{\mathbf{\mu}} = \left( \mu_{k_1},\dots,\mu_{k_n} \right) $$
$$ \widetilde{\mathbf{C}}_{ij} = \mathbf{C}_{k_{i}k_{j}} $$ }
\item { 
Nechť $ \mathbf{X} \sim N_n\left( \mathbf{\mu},\mathbf{C} \right) $. Potom $ (X_j)_{j=1}^{n} $ jsou nezávislé právě když $ \mathbf{C} $ je diagonální (tj. $ (X_j)_{j=1}^{n} $ jsou po dvou nekorelované). 
\begin{proof}
\ 
\begin{enumerate}
\item [$ \Rightarrow $] { Nechť jsou $ X_j $  nezávislé. Potom
$$ \mathrm{Cov}\left(X_i,X_j\right) = 0\ \ \textrm{pro}\ i \neq j $$
$$ \mathrm{C} = diag\left(\sigma_j^2 \right)_{j=1}^n $$}
\item [$ \Leftarrow $] { Buď $ \mathbf{C} $ diagonální, tj. nechť $ \mathbf{C} = diag\left( \sigma_j^2\right)_{j=1}^{n} $. Potom tedy 
$$ \varphi_{\mathbf{X}}(\mathbf{z}) = \exp\left( i \sum_{j=1}^{n}z_j\mu_j - \frac{1}{2}\sum_{j=1}^{n}z_j^2 \sigma_j^2 \right)  = \prod_{j=1}^{n} \exp\left( i \mu_j z_j - \frac{1}{2}\sigma_j^2 z_j^2 \right) = \prod_{j=1}^{n} \varphi_{X_j}(z_j) $$ 
a $ X_j $ jsou tedy nezávislé.}
\end{enumerate}
\end{proof}
}
\item { Buďte $ \left( X_j \right)_{j=1}^{n} $ náhodné veličiny. Potom $ X_j $  jsou nezávislé právě když 
$$ \mathbf{X} \sim N_n\left(\mathbf{\mu},\mathbf{C} = diag\left(\sigma_j^2\right)\right) $$ 
\begin{proof}
Přímý důsledek předchozího tvrzení.
\end{proof}}
\item { Nechť $ \mathbf{X} \sim N_n\left(\mathbf{0},\mathbf{I}\right) $ a $ \mathbf{P} $ je ortonormální matice. Potom 
$$ \mathbf{Y} = \mathbf{PX} \sim N_n\left( \mathbf{0},\mathbf{I}\right) $$
\begin{proof}
Jedná se o speciální případ tvrzení \ref{dmatrix}, tj. 
$$ \mathbf{DX} \sim N_k\left( \mathbf{D\mu},\mathbf{DCD}'\right) $$
\end{proof}}
\end{enumerate}
\end{dusledek}
 
\begin{theorem}
Nechť $ \mathbf{X} \sim N_n\left( \mathbf{\mu},\mathbf{C} \right) $. Potom existuje ortonormální matice $ \mathbf{P} $ a posloupnost $ \left( Y_j \right)_{j=1}^{n} \sim N\left(0,\lambda_j\right),\ \lambda_j > 0 $ nezávislých náhodných veličin, takové že 
\begin{equation}
\mathbf{X} = \mathbf{PY} + \mathbf{\mu}
\end{equation} 
\end{theorem}
 
\begin{proof}
Víme, že $ \mathbf{C} = \mathrm{Cov}(\mathbf{X}) $, přičemž $ \mathbf{C} $ je PSD a symetrická. Z lineární algebry ale víme, že takovou matici lze vždy diagonalizovat. Existuje tedy ortonormální matice $ \mathbf{P} $ taková, že
$$ \mathbf{P}'\mathbf{C}\mathbf{P} = \mathbf{\Lambda} = diag \left( \lambda_j \right)_{j=1}^{n} $$
a definujme nyní 
$$ \mathbf{Y} = \mathbf{P}'\left(\mathbf{X} - \mathbf{\mu}\right) $$
a nyní tedy musíme ukázat že $ Y_j \sim N\left(0,\lambda_j\right) $. Z tvrzení \ref{dmatrix} ale plyne, že
$$ \mathbf{X} \sim N_n\left( \mathbf{\mu},\mathbf{C}\right) $$
takže
$$ \left(\mathbf{X} - \mathbf{\mu}\right) \sim N_n\left( 0,\mathbf{C} \right) $$
$$ \mathbf{P}'\left(\mathbf{X} - \mathbf{\mu}\right) \sim N_n\left( \mathbf{P}'\mathbf{0},\mathbf{P}'\mathbf{C}\mathbf{P} \right) =  N_n\left( \mathbf{0},\mathbf{\Lambda} \right) $$
a tedy $ Y_j \sim N\left( 0 , \lambda_j \right) $.
\end{proof}
 
\begin{theorem}
Nechť $ \mathbf{X} \sim N_n\left( \mathbf{\mu},\mathbf{C} \right) $ a nechť je matice $ \mathbf{C} $ nesingulární. Potom existuje nesingulární matice $ \mathbf{A} $ a $ \left(Z_j\right)_{j=1}^{n} $ nezávislých náhodných veličin, že
\begin{equation}
\mathbf{X} = \mathbf{AX} + \mathbf{\mu}
\end{equation} 
přičemž $ \mathbf{Z} \sim N_n\left( \mathbf{0},\mathbf{I} \right) $.
\end{theorem}
 
\begin{proof}
Nechť $ \det \mathbf{C} > 0 $, potom je $ \mathbf{C} $ symetrická a PD. Existuje tedy ortogonální matice $ \mathbf{B} $ taková, že
$$ \mathbf{B}'\mathbf{C}\mathbf{B} = \mathbf{I} $$
a tedy
$$ \mathbf{Z} = \mathbf{B}'\left( \mathbf{X} - \mathbf{\mu} \right) $$
Dle předchozí věty však platí
$$ \mathbf{B'}\left( \mathbf{X} - \mathbf{\mu}\right) = N_n\left( \mathbf{B}'\mathbf{0},\mathbf{B}'\mathbf{CB} \right) = N_n\left( \mathbf{0},\mathbf{I}\right) $$
tj. $ \mathbf{A} = \left(\mathbf{B}'\right)^{-1} $ a současně $ \mathbf{AA}' = \mathbf{C} $.
\end{proof}
 
\begin{theorem}
Nechť $ \mathbf{X} \sim N_n\left( \mathbf{\mu},\mathbf{C} \right) $. Potom existuje hustota pravděpodobnosti $ f_{\mathbf{X}} $ na $ \mathbb{R}^n $ právě když je matice $ \mathbf{C} $ nesingulární. V tom případě
\begin{equation}
f_{\mathbf{X}}(\mathbf{x}) = \frac{1}{\left(2\pi\right)^{\frac{n}{2}}\sqrt{\left|\mathbf{C}\right|}}\exp\left( - \frac{1}{2} \left(\mathbf{x} - \mathbf{\mu}\mathbf{C}^{-1}\left( \mathbf{x} - \mathbf{\mu}\right) \right) \right)
\end{equation} 
Specielně pokud $ \mathbb{C} \in \mathbb{R}^{1,1} $, potom
$$ f_X(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left( -\frac{1}{2\sigma^2}\left(x - \mu\right)^2 \right) $$
\end{theorem}
 
\begin{proof}
\ \begin{description}
\item [$ \Leftarrow $] {
Nechť je matice $ \mathbf{C} $ nesingulární. Potom dle předchozí věty existuje nesingulární matice $ \mathbf{A} $ taková, že
$$ \mathbf{X} = \mathbf{AZ} + \mathbf{\mu} $$
přičemž $ \mathbf{Z} \sim N_n\left(\mathbf{0},\mathbf{I}\right) $. Potom ale
$$ f_{\mathbf{Z}}(\mathbf{z}) = \prod_{j=1}^{n}f_{Z_j}(z_j) = \prod_{j=1}^{n} \frac{1}{\sqrt{2\pi}} \exp\left( -\frac{-z_j^2}{2} \right) = \frac{1}{\left(2\pi\right)^{\frac{n}{2}}} \exp\left( - \frac{1}{2} \sum_{j=1}^{n} z_j^2 \right) = \frac{1}{\left(2\pi\right)^{\frac{n}{2}}} \exp\left(-\frac{1}{2}\mathbf{z}'\mathbf{z}\right) $$
a nechť tedy nyní $ \varphi^{-1} : \mathbf{z} = \mathbf{A}^{-1}(\mathbf{x} - \mathbf{\mu}) $
$$ \left| \mathcal{J}_{\varphi^{-1}} \right|  = \left| \mathbf{A}^{-1} \right| = \frac{1}{\sqrt{\left| \mathbf{C} \right|}} $$
protože $ \mathbf{AA}' = \mathbf{C} $, tj. $ \left| \mathbf{A} \right| \cdot \left| \mathbf{A}' \right| = \left| \mathbf{C} \right| $, a protože $ \left| \mathbf{A} \right|  = \left| \mathbf{A}' \right| $, platí
$$ \left| \mathbf{A} \right| = \sqrt{\left| \mathbf{C} \right|}  $$
a dle věty o transformaci hustoty tedy platí
$$ f_{\mathbf{X}}(\mathbf{x}) = \left| \mathcal{J}_{\varphi^{-1}} (\mathbf{x}) \right| \cdot f_{\mathbf{Z}}\left( \mathbf{A}^{-1}(\mathbf{x} - \mathbf{\mu})\right) = \frac{1}{\left(2\pi \right)^{\frac{n}{2}}} \frac{\exp\left[-\frac{1}{2} \left(\mathbf{A}^{-1}(\mathbf{x} - \mathbf{\mu})\right)'\left(\mathbf{A}^{-1}\left(\mathbf{x} - \mathbf{\mu} \right) \right) \right]}{\sqrt{\left| \mathbf{C} \right|}} = $$
$$ = \frac{1}{\left(2\pi\right)^{\frac{n}{2}}\sqrt{\left| \mathbf{C} \right|}} \exp\bigg[-\frac{1}{2} (\mathbf{x} - \mathbf{\mu})'\underbrace{\left(\mathbf{A}^{-1}\right)'\mathbf{A}^{-1}}_{\mathbf{C}^{-1}} \left(\mathbf{x} - \mathbf{\mu} \right) \bigg] $$ }
\item [$ \Rightarrow $] {
Důkaz provedeme sporem. Nechť hustota existuje a přitom je matice $ \mathbf{C} $ singulární. Potom ale existuje $ \mathbf{\alpha}_0 \in \mathbb{R}^{n} $ taková, že $ \mathbf{C\alpha}'_0 = 0 $. Definujme tedy
$$ \mathbf{Y} = \mathbf{\alpha}_0 \mathbf{X} \sim N_1 \left( \mathbf{\alpha}_0\mathbf{\mu},\mathbf{\alpha}_0\mathbf{C\alpha}'_0 \right) $$
potom ale
$$ \mathbf{Y} = \mathbf{\alpha}_0 \mathbf{\mu}\ \ \textrm{s.j.} $$
$$ \mathbf{\alpha}_0 \mathbf{X} = \alpha_{0}\mathbf{\mu}\ \textrm{s.j.} $$
$$ \textrm{t.j.\ \ } P\left( \mathbf{\alpha}_0(\mathbf{X} - \mathbf{\mu}) = 0\right) = 1 $$
a to je zřejmý spor s existencí hustoty. }
\end{description}
\end{proof}
 
\begin{example}[Speciální případ]
Nechť $ \left(X_1,X_2\right) \sim N_2\left( \mu_2, \mathbf{C} \right) $. Korelační matice má tedy tvar
$$ \mathbf{C} = \pmatrix{1 & \varrho \cr \varrho & 1} $$
$$ f_{X_1,X_2}(x_1,x_2) = \frac{\exp\left[ -\frac{1}{2(1-\varrho^2)} \left( \frac{(x_1 - \mu_1)^2}{\sigma_1^2} - 2\varrho\frac{(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1 \sigma_2} + \frac{(x_2 - \mu_2)^2}{\sigma_2^2} \right)\right]}{2\pi\sqrt{1-\varrho^2}\sigma_1\sigma_2} $$
a celkem tedy $ (X_1,X_2) \sim N_2\left(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\varrho\right) $. Pro $ \varrho = 0$ vypadne jeden ze členů v hustotě $ f_{X_1,X_2} $ a vztah se díky tomu zjednoduší na součin $ f_{X_1}f_{X_2} $, takže $ X_1,X_2 $ jsou nezávislé právě když $ \varrho = 0 $. Je tedy zřejmé, že pro normální rozdělení jsou pojmy nezávislost a nekorelovanost ekvivalentní. (A to není obecná vlastnost!)
\end{example}
 
\begin{definition}[Asymptoticky normální rozdělení]
Posloupnost náhodných veličin $ \left(\mathbf{X}_n \right)_{n=1}^{\infty} $ je asymptoticky normální (značíme $ AN\left(\mathbf{\mu}_n,\sigma_n^2\mathbf{C}\right) $), pokud platí 
\begin{equation}
\frac{\mathbf{X}_n - \mathbf{\mu}_n}{\sigma_n^2} \stackrel{\mathcal{D}}{\to} N_d\left(\mathbf{0},\mathbf{C}\right)
\end{equation} 
\end{definition}
 
\begin{theorem}[CLT v prostoru $ \mathbb{R}^d $]
Buďte $ \left(\mathbf{X}_j\right)_{j=1}^{\infty} $ i.i.d. náhodné vektory do $ \mathbb{R}^d $ a $ \mathbf{\mu}_j = E\mathbf{X}_j $, $ \mathbf{C} = \mathrm{Cov}\left(\mathbf{X}_j\right) $ nechť jsou konečné (matice $ \mathbf{C} $ nemusí být nesingulární). Potom
\begin{equation}
\sqrt{n}\left(\overline{\mathbf{X}}_n - \mathbf{\mu} \right) \stackrel{\mathcal{D}}{\to} N_d\left(\mathbf{0},\mathbf{C}\right)
\end{equation} 
tzn. $ \overline{\mathbf{X}}_n \sim AN\left( \mathbf{\mu},\frac{\mathbf{C}}{n} \right) $.
\end{theorem}
 
\begin{theorem}
Buď $ \mathbf{X}_n \sim AN\left(\mathbf{\mu},\sigma^2_n\mathbf{C}\right) $ taková posloupnost náhodných vektorů, že $ \sigma_n \to 0 $. Potom
$$ \mathbf{X}_n \stackrel{\mathcal{D}}{\to} \mathbf{\mu} $$
\end{theorem}
 
\begin{dusledek}
$$ \overline{\mathbf{X}_n} \stackrel{P}{\to} \mathcal{\mu} = E\mathbf{X}_j $$
\end{dusledek}
 
\begin{theorem}
Buďte $ \mathbf{A}_1,\dots,\mathbf{A}_k $ symetrické matice $ n \times n $, pro které $ \sum_{j=1}^{k}\mathbf{A}_j = \mathbf{I} $ a $ \sum_{j=1}^{k} h\left( \mathbf{A}_j \right) = n $. Potom existuje ortonormální matice $ \mathbf{P} $ taková, že pro všechna $ j \in \widehat{k} $ je matice $ \mathbf{P}'\mathbf{A}_j\mathbf{P} $ diagonální s nenulovými diagonálními prvky rovnými $ 1 $.
\end{theorem}
 
\begin{theorem}[Cochran]
Buďte $ \left( X_j \right)_{j=1}^{n} $ i.i.d. náhodné veličiny s rozdělením $ N\left(0,1\right) $ (tj. $ \mathbf{X} \sim N_n\left(\mathbf{0},\mathbf{I}\right) $). Nechť $ Q_j\left(\mathbf{x}\right)_{j=1}^{k} $ jsou takové kvadratické formy na $ \mathbf{R}^n $, že
\begin{enumerate}
\item $ \sum_{j=1}^{k}Q_j(\mathbf{x}) = \mathbf{x}'\mathbf{x} $ 
\item $ \sum_{j=1}^{k} h\left(Q_j\right) = n$
\end{enumerate}
Potom 
\begin{equation}
Y_j = Q_j\left(\mathbf{X}\right) \sim \chi^2\left(h\left(Q_j\right)\right)\ \ \ \forall j \in \widehat{k}
\end{equation}
a veličiny $ Y_j,\ j \in \widehat{k} $ jsou nezávislé.
\end{theorem}
 
\begin{proof}
Každá kvadratická forma $ Q_j $ má tvar
$$ Q_j(\mathbf{X}) = \mathbf{X}'\mathbf{A}_j\mathbf{X} $$
kde matice $ \mathbf{A}_j $ je symetrická a rozměru $ n \times n $. Přitom dle podmínky (1) platí
$$ \sum_{j=1}^{k} Q_j(\mathbf{X}) = \sum_{j=1}^{k} \mathbf{X}'\mathbf{A}_j\mathbf{X} = \mathbf{X}'\mathbf{I}\mathbf{X} $$
a současně dle druhé podmínky platí
$$ \sum_{j=1}^{n}h\left(\mathbf{A}_j\right) = n = 1 $$
Dle předchozí věty tedy existuje taková ortonormální matice $ \mathbf{P} $, že pro $ \forall j \in \widehat{k} $ je matice
$$ \mathbf{\Lambda}_j = \mathbf{P}' \mathbf{A}_j \mathbf{P} $$
diagonální (s nenulovými prvky rovnými jedné), čili $ \mathbf{Y} = \mathbf{P}'\mathbf{X} \sim N_n\left( \mathbf{0},\mathbf{I}\right) $, tzn. $ Y_j $ i.i.d. $ N(0,1) $. Přitom
$$ Q_j\left(\mathbf{X}\right) = \mathbf{X}'\mathbf{A}_j\mathbf{X} = \mathbf{Y}'\left(\mathbf{P}'\mathbf{A}_j \mathbf{P}\right)\mathbf{Y} = \mathbf{Y}' \mathbf{\Lambda}_j \mathbf{Y} = \sum_{i=1}^{l_j} Y_{j_i}^2 \sim \chi^{2}\left( h\left(Q_j\right) \right) $$
\end{proof}
 
\begin{theorem}
Buďte $ \left( X_j \right)_{j=1}^{n} $ náhodné veličiny i.i.d. $ N\left(\mu,\sigma^2\right) $. Definujme
$$ \overline{X_n} = \frac{1}{n}\sum_{j=1}^{n}X_j $$
$$ s_n^2 = \frac{1}{n-1}\sum_{j=1}^{n}\left( X_j - \overline{X_n}\right)^2  $$
Potom $ \overline{X_n} $ a $ x_n^2 $ jsou nezávislé, a 
$$ \frac{(n-1)s+n^2}{\sigma^2} \sim \chi^2(n-1) $$
\end{theorem}
 
\begin{proof}
Nechť $ Q_1\left(\mathbf{X}\right) = n \overline{X_n}^2 $ a $ Q_2\left(\mathbf{X}\right) = (n-1)s_n^2 $.
\begin{enumerate}
\item { Nechť $ \mu = 0, \sigma = 1 $, potom 
$$ Q_1(\mathbf{X}) + Q_2(\mathbf{X}) = \mathbf{X}'\mathbf{X} = \sum_{j=1}^{n}X_j^2 $$
a existuje ortonormální matice $ \mathbf{P} $ tvaru
$$ \mathbf{P} = \pmatrix{
\matrix{\frac{1}{\sqrt{n}} & \frac{1}{\sqrt{n}} & \cdots & \frac{1}{\sqrt{n}}} \cr \cdots\ \ \ \textrm{cokoliv}\ \ \ \cdots } $$
a definujme
$$ \mathbf{W} = \mathbf{PX} \sim N_n(\mathbf{0},\mathbf{I}) $$
$$ Q_1(\mathbf{X}) = \left(\sqrt{n}\overline{X_n}\right)^2 = \left( \sum_{j=1}^{n}\frac{X_j}{\sqrt{n}} \right) = \left( \left(\frac{1}{\sqrt{n}},\dots,\frac{1}{\sqrt{n}} \right) \cdot \mathbf{X} \right)^2 = \left(\mathbf{W}\right)^2 $$
$$ Q_2(\mathbf{X}) = \underbrace{Q_2(\mathbf{X}) + Q_1(\mathbf{X})}_{\mathbf{X}'\mathbf{X}} - \underbrace{Q_1(\mathbf{X})}_{\mathbf{W}_1^2} = \mathbf{X}'\mathbf{X} - \mathbf{W}_1^2 = \mathbf{W}' \mathbf{P}\mathbf{P}'\mathbf{W} - \mathbf{W}_1^2 = $$
$$ = \mathbf{W}'\mathbf{W} - \mathbf{W}_1^2 = \sum_{j=2}^{n} W_j^2 $$
Podle Cochranovy věty
$$ Q_1(\mathbf{X}) = n \overline{X_n}^2 \sim \chi^2(1) $$
$$ Q_2(\mathbf{X}) = (n-1)s_n^2 \sim \chi^2(n-1) $$
a $ Q_1 $, $ Q_2 $ jsou nevzájem nezávislé. Nezávislé jsou tedy i $ \overline{X_n} $ a $ s_n^2 $.}
\item { Nechť $ \mu \in \mathbb{R} $ a $ \sigma> 0 $. Definujme i.i.d. náhodné veličiny
$$ Z_j = \frac{X_j - \mu}{\sigma} \sim N(0,1) $$
a dle předchozího bodu jsou $ \overline{Z_n} $ a $ (n-1)s_{Z_n}^2 \sim \chi^{2}(n-1) $ jsou nezávislé. Přitom ale
$$ \overline{X_n} = \sigma \overline{Z_n} + \mu $$
$$ (n-1)\frac{s_n^2}{\sigma} = (n-1)\frac{s_{Z_n}^2}{\sigma^2} \sim \chi^2(n-1)  $$
takže i veličiny $ \overline{X_n} $, $ (n-1)s_n^2 $ jsou nezávislé. }
\end{enumerate}
\end{proof}
 
\begin{dusledek}
Buďte $ X_j $ i.i.d. náhodné veličiny $ N\left(\mu,\sigma^2\right) $. Potom 
$$ \frac{\sqrt{n}\left(\overline{X_n} - \mu\right)}{s_n} \sim t(n-1) $$
\end{dusledek}
 
\begin{theorem}
Buďte $ \left(X_j \right)_{j=1}^{n_1} $ i.i.d. $ N\left(\mu_1,\sigma_1^2\right) $, $ \left(Y_j\right)_{j=1}^{n_2} $ i.i.d. $ N\left(\mu_2,\sigma_2^2 \right) $ a nechť $ \left(\mathbf{X},\mathbf{Y}\right) $ nechť má nezávislé složky. Potom $ s_X^2 $ a $ s_Y^2 $ jsou nezávislé a platí
$$ (n_1 - 1)\frac{s_X^2}{\sigma_1^2} \sim \chi^2(n_1 - 1) $$
$$ (n_2 - 1)\frac{s_Y^2}{\sigma_2^2} \sim \chi^2(n_2 - 1) $$
\end{theorem}