01MIP:Kapitola7: Porovnání verzí

Z WikiSkripta FJFI ČVUT v Praze
Přejít na: navigace, hledání
m
Řádka 42: Řádka 42:
 
\item Konvergence v~$ L_p $ normě a skoro jistá konvergence spolu nemusí vůbec souviset (z~jedné neplyne druhá). Uveďme příklad podle \emph{Průvodce MAA3}, s.~17., a to na prostoru funkcí $ L_2\left([0,1], \dd x\right) $. Posloupnost $ f_n(x) = n^{3/2} x^{1/2}\e^{-nx} $ konverguje \emph{bodově} k~nulové funkci $ f =0 $ \emph{pro všechna} $ x \in [0,1] $ (tedy více než jen skoro jistě vzhledem k~$ \dd x $). Snadným výpočtem ale zjistíme, že
 
\item Konvergence v~$ L_p $ normě a skoro jistá konvergence spolu nemusí vůbec souviset (z~jedné neplyne druhá). Uveďme příklad podle \emph{Průvodce MAA3}, s.~17., a to na prostoru funkcí $ L_2\left([0,1], \dd x\right) $. Posloupnost $ f_n(x) = n^{3/2} x^{1/2}\e^{-nx} $ konverguje \emph{bodově} k~nulové funkci $ f =0 $ \emph{pro všechna} $ x \in [0,1] $ (tedy více než jen skoro jistě vzhledem k~$ \dd x $). Snadným výpočtem ale zjistíme, že
 
\begin{equation*}
 
\begin{equation*}
\lim_{n \rightarrow +\infty} \normm{f_n - f} = \lim_{n \rightarrow +\infty} \int_0^1 (f_n(x) - f(x))^2 \dd x = \lim_{n \rightarrow +\infty} \int_0^1 n^3 x \e^{-2nx} \dd x = +\infty.  
+
\lim_{n \rightarrow +\infty} \normm{f_n - f}^2 = \lim_{n \rightarrow +\infty} \int_0^1 (f_n(x) - f(x))^2 \dd x = \lim_{n \rightarrow +\infty} \int_0^1 n^3 x \e^{-2nx} \dd x = +\infty.  
 
\end{equation*}
 
\end{equation*}
 
Posloupnost $ (f_n) $ tedy nekonverguje na $ [0,1] $ podle $ L_2 $ normy, přestože $ f_n \rightarrow 0 $ (všude vůči~$ \dd x $).  
 
Posloupnost $ (f_n) $ tedy nekonverguje na $ [0,1] $ podle $ L_2 $ normy, přestože $ f_n \rightarrow 0 $ (všude vůči~$ \dd x $).  

Verze z 4. 12. 2020, 19:33

PDF [ znovu generovat, výstup z překladu ] Kompletní WikiSkriptum včetně všech podkapitol.
PDF Této kapitoly [ znovu generovat, výstup z překladu ] Přeložení pouze této kaptioly.
ZIPKompletní zdrojový kód včetně obrázků.

Součásti dokumentu 01MIP

součástakcepopisposlední editacesoubor
Hlavní dokument editovatHlavní stránka dokumentu 01MIPVandenie 18. 9. 202015:24
Řídící stránka editovatDefiniční stránka dokumentu a vložených obrázkůVandenie 18. 9. 202012:56
Header editovatHlavičkový souborVandenie 18. 9. 202013:28 header.tex
Kapitola0 editovatPředmluvaVandenie 18. 9. 202012:19 predmluva.tex
Kapitola1 editovatNáhodné jevyVandenie 18. 9. 202012:23 nahodne_jevy.tex
Kapitola2 editovatNáhodné veličinyVandenie 18. 9. 202012:28 nahodne_veliciny.tex
Kapitola3 editovatRozdělení pravděpodobnosti, distribuční funkceVandenie 18. 9. 202012:31 rozdeleni.tex
Kapitola4 editovatHustota pravděpodobnostiVandenie 18. 9. 202013:06 hustota.tex
Kapitola5 editovatCharakteristiky hustoty pravděpodobnostiVandenie 4. 12. 202019:35 charakteristiky.tex
Kapitola6 editovatCharakteristická funkce náhodné veličinyVandenie 18. 9. 202013:12 char_funkce.tex
Kapitola7 editovatKonvergence na prostoru náhodných veličinVandenie 4. 12. 202019:36 konvergence.tex

Vložené soubory

soubornázev souboru pro LaTeX
Soubor:Fig1-uniformni-rozdeleni.png Fig1-uniformni-rozdeleni.png
Soubor:Fig2a-normalni-pdf.png Fig2a-normalni-pdf.png
Soubor:Fig2b-normalni-cdf.png Fig2b-normalni-cdf.png
Soubor:Fig3a-chi-kvadrat-pdf.png Fig3a-chi-kvadrat-pdf.png
Soubor:Fig3b-log-normalni-pdf.png Fig3b-log-normalni-pdf.png
Soubor:Fig4a-studentovo-pdf.png Fig4a-studentovo-pdf.png
Soubor:Fig4b-rozdeleniF-pdf.png Fig4b-rozdeleniF-pdf.png
Soubor:Fig5-kvantily.png Fig5-kvantily.png
Soubor:Fig6-grafy-skoro-jiste.png Fig6-grafy-skoro-jiste.png
Soubor:Fig7-graf-gn.png Fig7-graf-gn.png
Soubor:Fig8-volba-epsilon.png Fig8-volba-epsilon.png

Zdrojový kód

%\wikiskriptum{01MIP}
%
\chapter{Konvergence na prostoru náhodných veličin}
Od tří Kolmogorovových axiomů jsme se nyní dostali až na samý vrchol teorie pravděpodobnosti. Hlavním výstupem této kapitoly totiž budou zákony velkých čísel a~centrální limitní věty.
\section{Typy konvergence na $ (\Omega, \sa, P) $}
Na pravděpodobnostním prostoru lze zavést hned několik módů konvergence. 
\begin{defi}[Konvergence v~$ L_p $]\label{def-Lp-konv}
	Buď $ p \geq 1 $ a mějme posloupnost $ (X_n)_{n=1}^{+\infty} \subset L_p(\Omega, \sa, P)$. Řekneme, že $ (X_n) $ \textbf{konverguje v~prostoru $ L_p $ k~$ X $}, právě když $ \lim\limits_{n\rightarrow +\infty}\normp{X_n - X} =0$, psáno stručněji: 
	\begin{equation}\label{eq-def-Lp-konv}
		X_n \klp X \Longleftrightarrow \normp{X_n - X} \rightarrow 0,
	\end{equation}
	kde podle naší definice $ L_p $ normy (viz \ref{def-Lp-norma}) je $ \normp{X_n - X}^p = \E\left[\,|X_n - X|^p\,\right] $. Jsou-li veličiny $ s $-rozměrné, pak budeme výrazem $ | \xx_n - \xx |$ rozumět eukleidovskou normu $ \bigl(\sum_{j=1}^s|X_n^j - X^j|^2\bigr)^{1/2} $.
 
	Můžeme uvažovat i konvergenci na prostoru $ \mathcal{L}_p $, ale limitní prvek bude jednoznačný \emph{až na množinu míry nula} (tedy skoro jistě $ P $). Někteří autoři říkají, že $ (X_n) $ \emph{konverguje podle $ p $-středu}.
\end{defi}
 
\begin{veta}\label{v-konv-v-Lp-vs-Lq}
	Mějme prostor $ (\Omega, \sa, P) $ a nechť $ 1 \leq p < q < +\infty $. Potom $ L_q \subset L_p $. Jestliže $ X_n \xrightarrow{L_q} X$, pak i~$ X_n \klp X $. Tuto implikaci nelze obrátit (a na prostoru s~obecnou míru nemusí platit vůbec)!
\end{veta}
\begin{proof}
	Oba body dokážeme pomocí Jensenovy nerovnosti \ref{v-jensen}, která praví: $ \varphi(\E(X)) \leq \E(\varphi(X)) $. Za konvexní transformaci $ \varphi $ vezmeme funkci $ \varphi(x) := |x|^{q/p} $. Z~druhé derivace snadno zjistíme, že je konvexní na celé reálné ose. Potom
	\begin{equation*}
		\normp{X} = \bigl(\E|X|^p\bigr)^{1/p} = \bigl(\varphi(\E|X|^p)\bigr)^{1/q} \stackrel{\ref{v-jensen}}{\leq} \bigl( \E(\varphi(|X|^p))\bigr)^{1/q} = \bigl(\E(|X|^q)\bigr)^{1/q} = \normq{X}.
	\end{equation*}
	Odsud tedy plyne, že $ L_q \subset L_p $. Dosadíme-li speciálně $ X_n - X $, pak díky předpokladu $ X_n \xrightarrow{L_q} X $ zjistíme, že i $ X_n \klp X $. \emph{Převzato z:} \url{www.statslab.cam.ac.uk/~james/Lectures/pm13.pdf}.
\end{proof}
\begin{defi}[Skoro jistá konvergence]\label{def-konv-sj}
	Mějme posloupnost $ (X_n)_{n=1}^{+\infty} $ na prostoru $ (\Omega, \sa, P) $. \linebreak Řekneme, že $ (X_n) $ \textbf{konverguje skoro jistě k~$ X $} právě tehdy, když 
	\begin{equation}\label{eq-def-konv-sj}
		P\Bigl(\Bigl\lbrace  \omega \in \Omega\ \bigr\lvert\, \lim\limits_{n \rightarrow +\infty} X_n(\omega) = X(\omega) \Bigr\rbrace\Bigr) = 1,
	\end{equation} 
	zkráceně $ P\bigl(\,\lim\limits_{n\rightarrow+\infty}\!\! X_n = X\bigr) = 1 $. Značíme $ X_n \ksj X $. V~angličtině se setkáme s~pojmem \emph{almost sure convergence}, tedy a.~s.
\end{defi}
\begin{pozn}
	$  $
	\begin{itemize}
		\item V~teorii míry se tomuto typu konvergence někdy říká \emph{silná konvergence náhodných veličin}. Toto názvosloví však není příliš šťastné, protože je stejným přívlastkem \emph{silná} označována i~konvergence v~normě, ovšem na \emph{normovaných} prostorech.
		\item Buďte $ g_n\colon \mathbb{R}^s \rightarrow \mathbb{R} $ borelovsky měřitelné funkce na $ (\mathbb{R}^s, \bb_s, \mu) $, kde $ \mu $ je jistá obecná míra. Kvůli možné neomezenosti $ \mu $ musíme skoro jistou konvergenci funkční posloupnosti definovat doplňkovým jevem, tedy
		\begin{equation}\label{eq-ksj-pro-obecnou-miru}
			g_n \xrightarrow{\text{s. j. } \mu} g \Longleftrightarrow \mu\left(\left\lbrace x \in \mathbb{R}^s \mid g_n(x) \nrightarrow g(x) \right\rbrace\right) = 0.
		\end{equation}
		\item Konvergence v~$ L_p $ normě a skoro jistá konvergence spolu nemusí vůbec souviset (z~jedné neplyne druhá). Uveďme příklad podle \emph{Průvodce MAA3}, s.~17., a to na prostoru funkcí $ L_2\left([0,1], \dd x\right) $. Posloupnost $ f_n(x) = n^{3/2} x^{1/2}\e^{-nx} $ konverguje \emph{bodově} k~nulové funkci $ f =0 $ \emph{pro všechna} $ x \in [0,1] $ (tedy více než jen skoro jistě vzhledem k~$ \dd x $). Snadným výpočtem ale zjistíme, že
		\begin{equation*}
		 \lim_{n \rightarrow +\infty} \normm{f_n - f}^2 = \lim_{n \rightarrow +\infty} \int_0^1 (f_n(x) - f(x))^2 \dd x = \lim_{n \rightarrow +\infty} \int_0^1 n^3 x \e^{-2nx} \dd x = +\infty. 
		\end{equation*}
		Posloupnost $ (f_n) $ tedy nekonverguje na $ [0,1] $ podle $ L_2 $ normy, přestože $ f_n \rightarrow 0 $ (všude vůči~$ \dd x $). 
 
Pro to, aby ze skoro jisté konvergence plynula konvergence v $L_p$-normě, je potřeba navíc předpokládat existenci integrabilní majoranty pro posloupnost~$(X_n)$. Toto jsou koneckonců předpoklady zobecněné Lebesgueovy věty~\ref{LDCT-obecnejsi}, která bude dokázána vzápětí (a~dokonce k~tomu bude stačit pouhá konvergence podle pravděpodobnosti).
	\end{itemize}
\end{pozn}
Co však zformulovat můžeme, je nutná a postačující podmínka skoro jisté konvergence.
\begin{veta}[Kritérium konvergence s. j.]\label{v-krit-konv-sj}
	Buď $ (X_n)_1^{+\infty} \subset (\Omega, \sa, P)$. Pak platí:
	\begin{align*}
	X_n \ksj X & \Longleftrightarrow \forall \varepsilon > 0\colon \lim_{k \rightarrow +\infty}\!\! P\,\Bigl( \bigcap_{n \geq k}\left\lbrace \omega\ \bigr\lvert\ |X_n(\omega) - X(\omega)| < \varepsilon \right\rbrace\Bigr) = 1\\
	&\Longleftrightarrow \forall \varepsilon > 0\colon \lim_{k \rightarrow +\infty}\!\! P\,\Bigl( \bigcup_{n \geq k}\left\lbrace \omega\ \bigr\lvert\ |X_n(\omega) - X(\omega)| \geq \varepsilon \right\rbrace\Bigr) = 0.
	\end{align*}
	Druhou formulaci bychom použili i~pro obecnou míru $ \mu $.
\end{veta}
\begin{proof}
	V~dalším textu budeme tam, kde to bude možné, pro přehlednost vynechávat vyčíslování~$ X $ v~bodě~$ \omega$ a množinový zápis pravděpodobnosti. Jednotlivé kroky budou ekvivalentní, takže ukážeme obě implikace naráz. Dle definičního vztahu skoro jisté konvergence můžeme psát
	\begin{equation}\label{eq-dk-kriterium-konv}
	X_n \ksj X \stackrel{\eqref{eq-def-konv-sj}}{\Longleftrightarrow} P\,\Bigl(\lim_{n \rightarrow +\infty} X_n = X\Bigr) = P\bigl[(\forall\varepsilon >0)(\exists k \in \mathbb{N})(\forall n \geq k)(|X_n - X| < \varepsilon)\bigr] = 1.
	\end{equation}
	Velký kvantifikátor $ \forall $ lze nahradit průnikem přes všechna $ \varepsilon > 0 $. Existenci \emph{alespoň jednoho} $ k \in \mathbb{N} $ můžeme vyjádřit pomocí sjednocení přes $ k \in \mathbb{N}$. Podobné učiníme s~výrokem $ \forall n \geq k $. Výše uvedenou pravděpodobnost můžeme tedy ekvivalentně přepsat do tvaru
	\begin{equation*}
	P\Bigl[\,\bigcap_{\varepsilon > 0}\Bigl(\bigcup_{k \in \mathbb{N}}\Bigl(\bigcap_{n \geq k} \left\lbrace \omega\ \bigr\lvert\ |X_n(\omega) - X(\omega)| < \varepsilon \right\rbrace \Bigr)\Bigr)\Bigr] = 1.
	\end{equation*}
	Je-li však průnik množin jev jistý, musela být každá z~těchto množin také jistým jevem. Máme tedy
	\begin{equation*}
	\forall\varepsilon >0\colon\ P\Bigl[\,\bigcup_{k \in \mathbb{N}}\Bigl(\underbrace{\bigcap_{n \geq k} \left\lbrace \omega\ \bigr\lvert\ |X_n(\omega) - X(\omega)| < \varepsilon \right\rbrace}_{\text{ozn. }A_k^{\varepsilon}} \Bigr)\Bigr] = 1.
	\end{equation*}
	Uvažujme posloupnost jevů příslušných pevnému $ \varepsilon $, kterou jsme označili $ (A_k^{\varepsilon})_{k=1}^{+\infty} $. S rostoucím~$ k $ děláme průniky stále menšího počtu množin, čímž se průniky zvětšují. Obdrželi jsme tedy rostoucí posloupnost $ A_k^{\varepsilon} \nearrow \bigcup_{k=1}^{+\infty} A_k^{\varepsilon} := A^{\varepsilon} $. Nyní si vzpomeňme na dávnou vlastnost spojitosti $ P $ zdola (viz \ref{v-o-spojitosti-P}, s.~\pageref{v-o-spojitosti-P}), která zaručí, že $ \forall \varepsilon > 0 $ je $ \lim\limits_{k \rightarrow +\infty} P(A_k^{\varepsilon}) = P(A^{\varepsilon})$, což bylo dokázati.
\end{proof}
\begin{dusl}\label{dusl-sj-konv}
	Platí následující implikace: $ X_n \ksj X  \Longrightarrow (\forall \varepsilon > 0)(P(|X_n - X| \geq \varepsilon) \rightarrow 0 )$.
\end{dusl}
\begin{proof}
	Díky předchozí větě víme, že $ X_n \ksj X \Leftrightarrow \lim\limits_{k \rightarrow +\infty}\!\!P\left(\bigcup_{n \geq k} \lbrace \omega \mid |X_n - X| \geq \varepsilon \rbrace \right) = 0$. Přitom je ale jasné, že každý prvek sjednocení je v~něm obsažen, takže speciálně pro $  n = k $ je tomu tak i~u~množiny $ \lbrace \omega \mid |X_k - X| \geq \varepsilon \rbrace$. Z~monotonie $ P $ pak plyne, že
	\begin{equation*}
		0 \stackrel{\text{K}\ref{k2}}{\leq} P(|X_k - X| \geq \varepsilon)  \stackrel{\ref{v-o-vlastn-P}}{\leq} P\Bigl(\bigcup_{n \geq k} \lbrace \omega \mid |X_n - X| \geq \varepsilon \rbrace \Bigr) \xrightarrow{k\rightarrow+\infty} 0.
	\end{equation*}
\end{proof}
 
\begin{defi}[Konvergence podle $ P $]\label{def-konv-podle-P}
	Nechť $ (X_n)_1^{+\infty} \subset (\Omega, \sa, P) $. Říkáme, že $ (X_n) $ \textbf{konverguje k~$ X $ podle pravděpodobnosti}, symbolicky $ X_n \kpp X $, právě když
	\begin{equation}\label{eq-def-konv-podle-P}
		\forall\varepsilon >0\colon \lim_{n\rightarrow +\infty} P\bigl(\bigl\lbrace \omega \in \Omega\ \bigr\lvert\ |X_n(\omega) - X(\omega)| \geq \varepsilon \bigr\rbrace \bigr) = 0,
	\end{equation}
	zkráceně $ P(|X_n - X| \geq \varepsilon) \rightarrow 0 $ či ekvivalentně $ P(|X_n - X| < \varepsilon) \rightarrow 1 $. Též se říká, že $ (X_n) $ konverguje \emph{slabě}.
\end{defi}
\begin{pozn}
	Tato formulace je skutečně slabší než u skoro jisté konvergence \ref{def-konv-sj} -- vystačíme si totiž s~faktem, že pravděpodobnost, že se $ (X_n) $ blíží k~$ X $, \emph{konverguje} k~jedné (nemusí jí být přímo rovna).
 
	Na této\footnote{\url{https://stats.stackexchange.com/questions/2230/convergence-in-probability-vs-almost-sure-convergence}} adrese je rozdíl mezi slabou a skoro jistou konvergencí vysvětlen na přístroji, jehož spolehlivost se zvyšuje s~každým použitím (nechť $ n $ je počet použití). Konvergence podle pravděpodobnosti říká: pravděpodobnost, že se stroj při velkém $ n $ rozbije, je čím dál menší -- můžeme si být téměř jistí, že se nerozbije, ale vždy tu bude šance, že při jistém pokusu selže. 
 
	Oproti tomu skoro jistá konvergence tvrdí, že počet pokusů, při nichž stroj selže, je \emph{konečný} (to plyne ze vztahu \eqref{eq-dk-kriterium-konv}, neboť všechny členy posloupnosti jsou od jistého $ k $ počínaje vzdáleny od $ X $ o~méně než~$ \varepsilon $; výjimek, u nichž $ |X_n - X| \geq \varepsilon $, je \emph{konečně mnoho}). Od jistého pokusu tedy vyčerpáme všechny možné poruchy stroje a pak už bude fungovat navždy.
 
	Zatímco teoretický význam této odlišnosti je významný, z~praktického hlediska jde spíše o~filosofickou záležitost, protože stejně nevíme, zda onen "poslední defekt" již nastal nebo ne. V~běžném životě si vystačíme se slabou konvergencí, neboť se o~velmi nepravděpodobné jevy příliš neza\-jímáme. 
	%Ba co víc, slabá konvergence se snadněji dokazuje.
\end{pozn}
 
\begin{veta}\label{v-silna-implik-slabou}
	Silná (skoro jistá) konvergence implikuje slabou konvergenci (podle pravděpodobnosti), neboli
	\begin{equation*}
		X_n \ksj X \Longrightarrow X_n \kpp X.
	\end{equation*}
\end{veta}
\begin{proof}
	Plyne z~důsledku \ref{dusl-sj-konv}.
\end{proof}
 
\begin{veta}
	Z~konvergence v~$ L_p $-normě plyne slabá konvergence, tj. pro $ (X_n)_1^{+\infty} \subset L_p(\Omega, \sa, P) $ platí:
	\begin{equation*}
	X_n \klp X \Longrightarrow X_n \kpp X.
	\end{equation*}
\end{veta}
\begin{proof}
	Pro $ p = 1$ využijeme Markovovy nerovnosti (viz \ref{v-markov}), kam za $ X $ dosadíme $ X_n - X \in~L_1$. Potom rovnou s~využitím předpokladu dostáváme
		\begin{equation*}
			\forall \varepsilon > 0\colon P\bigl(|X_n - X| \geq \varepsilon\bigr) \leq \frac{\E|X_n-X|}{\varepsilon} = \frac{\norm{X_n - X}}{\varepsilon} \rightarrow 0,
		\end{equation*}
	což podle definice znamená, že $ X_n \kpp X $. 
 
	Jestliže $ X_n \klp X $ pro $ p > 1 $, pak jistě i~$ X_n \xrightarrow{L_1} X $ (podle věty \ref{v-konv-v-Lp-vs-Lq}), takže důkaz přejde zpátky na případ $ p = 1 $.
\end{proof}
 
\begin{veta}[Kritérium slabé konvergence]\label{v-kriterium-slabe-konv}
	Nechť $ (X_n)_1^{+\infty} \subset (\Omega, \sa, P)$. Potom platí:
	\begin{equation*}
	X_n \kpp X \Longleftrightarrow \lim_{n\rightarrow +\infty} \E\left(\frac{|X_n - X|}{1+|X_n-X|}\right) = 0.
	\end{equation*}
\end{veta}
\begin{proof}
	Můžeme uvažovat, že $ X_n - X \kpp 0 $, a dokonce lze BÚNO předpokládat $ X = 0 $ s.~j.
	\begin{itemize}
		\item[$ (\Rightarrow) $] Nechť $ X_n \kpp 0$. Zvolme libovolné $ \varepsilon > 0 $ a odhadujme shora výraz na pravé straně implikace. Integrační obor (tedy celé $ \Omega $), lze \emph{disjunktně} rozložit na $ \Omega = \lbrace \omega \mid |X_n| \geq \varepsilon \rbrace\ \dot{\cup}\ \lbrace \omega \mid |X_n| < \varepsilon \rbrace.$ Označme tyto množiny po řadě $ E_1 $ a $ E_2 $.
		\begin{align*}
		0 \leq \E\left(\frac{|X_n|}{1+|X_n|}\right) = \int_{\Omega} \frac{|X_n|}{1+|X_n|} \dd P = \int_{E_1} \frac{|X_n|}{1+|X_n|} \dd P + \int_{E_2} \frac{|X_n|}{1+|X_n|} \dd P \leq \int_{E_1} 1 \dd P + \int_{E_2} \frac{\varepsilon}{1} \dd P.
		\end{align*}
		První integrál je dle definice roven $ P(E_1) = P(|X_n| \geq \varepsilon) $. Hodnotu druhého integrálu ještě zvětšíme tím, že budeme integrovat přes celé $ \Omega $, takže dostaneme $ \int_{\Omega} \varepsilon \dd P = \varepsilon P(\Omega) = \varepsilon$. Celkový odhad tak činí $ 0 \leq \E\bigl[\,|X_n|\big/(1+|X_n|)\,\bigr] \leq P(|X_n| \geq \varepsilon) + \varepsilon$. Přitom dle předpokladu $ P(|X_n| \geq \varepsilon) \rightarrow 0$, takže po provedení limitního přechodu dostáváme pro každé $ \varepsilon $ libovolně malý odhad levé strany. Tím je dokázána nulovost limity.
		\item[$ (\Leftarrow) $] Označme $ Y_n := |X_n - X|\big/(1+|X_n-X|) $ a proveďme záměnu limity a integrálu -- ta bude v~pořádku, neboť $ |Y_n| \leq 1 \in L_1(\Omega, \sa, P) $. Dle předpokladu je $ 0 =\!\! \lim\limits_{n\rightarrow +\infty}\!\! \E Y_n = \E(\lim\limits_{n \rightarrow +\infty}\!\! Y_n) := \E Y $. Veličina $ Y $ je jakožto limita nezáporných funkcí též nezáporná a~navíc $ \E Y = 0$. Z~toho nutně plyne, že $ Y = 0 $ s.~j. Odsud už můžeme řetězit výroky: 
		\begin{equation*}
			\lim_{n \rightarrow +\infty}\!\!\! Y_n= 0 \text{ s.~j.} \Leftrightarrow P\Bigl(\lim_{n \rightarrow +\infty}\!\!\! Y_n = 0 \Bigr) = 1 \stackrel{\ref{def-konv-sj}}{\Leftrightarrow}\ Y_n \ksj 0\  \stackrel{\ref{v-silna-implik-slabou}}{\Rightarrow}\ Y_n \kpp 0 \Leftrightarrow |X_n - X| \kpp 0.
		\end{equation*}
		To už znamená, že $ X_n \kpp X $, což jsme měli ukázat. \qedhere
	\end{itemize}
\end{proof}
Rádi bychom implikaci ve větě \ref{v-silna-implik-slabou} obrátili. Obecně to však nelze udělat, a to kvůli druhé nerovnosti v~důkazu \ref{dusl-sj-konv} (může být totiž ostrá, a proto ji nelze jen tak otočit). I~přesto ze slabé konvergence něco vyplyne; to nám řekne následující tvrzení.
\begin{veta}\label{v-ze-slabe-plyne-konv-vybrane}
	Budiž $ (X_n)_1^{+\infty} \subset (\Omega, \sa, P) $. Potom platí:
	\begin{equation*}
	X_n \kpp X \Longrightarrow \left(\exists\, (n_k)_{k=1}^{+\infty} \subset \mathbb{N}, \text{ ostře rostoucí}\right)\left(X_{n_k} \ksj X\right).
	\end{equation*}
	Ze slabé konvergence tedy skoro jistá neplyne, ale vždy najdeme alepoň jednu \emph{vybranou} posloupnost, která už konverguje skoro jistě.
\end{veta}
\begin{proof}
	Využijeme předchozí věty ve směru $ (\Rightarrow) $. Díky předpokladu tedy víme, že
	\begin{equation*}
	 \lim\limits_{n\rightarrow +\infty}\E\left(\frac{|X_n - X|}{1+|X_n-X|}\right) \stackrel{\text{ozn.}}{=} \lim_{n \rightarrow +\infty} \E Y_n = 0,
	\end{equation*}
	kde $ 0 \leq Y_n \leq 1$. Má-li číselná posloupnost limitu, pak i~každá z~ní vybraná konverguje k~té samé hodnotě. Jistě tedy existuje vybraná posloupnost $ (Y_{n_k})_{k=1}^{+\infty} $ taková, že $ \lim_{k\rightarrow +\infty} \E Y_{n_k} = 0$, takže od jistého indexu dál je $ \E Y_{n_k} < 1/2^k $. Tuto nerovnost sečteme přes všechna $ k \in \mathbb{N} $.\footnote{Zcela správně bychom měli sčítat až od nějakého $ k_0 + 1 $, odkud nerovnost platí. S~konečně mnoha výjimkami si naštěstí lámat hlavu nemusíme.} Řada vpravo jistě konverguje, takže $ \sum_{k=1}^{+\infty} \E Y_{n_k} < +\infty $. Nyní proveďme záměnu podle Leviho věty \ref{v-beppo-levi}: to můžeme, protože řada $ \sum_{k=1}^{+\infty} \E |Y_{n_k}| $ konverguje (díky nezápornosti $ Y_n $). Tím pádem obdržíme nerovnost $ \E\bigl( \sum_{k=1}^{\infty} Y_{n_k} \bigr) < +\infty $. Z~Leviho věty také dostáváme, že $ \sum_{k=1}^{\infty} Y_{n_k} < +\infty $, což ale podle nutné podmínky konvergence řady znamená, že
	\begin{equation*}
		\lim_{k\rightarrow +\infty} Y_{n_k} = \lim\limits_{k\rightarrow +\infty}\frac{|X_{n_k} - X|}{1+|X_{n_k}-X|} = 0 \text{ s. j.},
	\end{equation*}
	takže podle definice $ |X_{n_k} - X| \ksj 0 $, a tím pádem $ X_{n_k} \ksj X $.
\end{proof}
Nyní jsme schopni ještě více zobecnit Lebesgueovu větu (viz LDCT \ref{v-LDCT}). Bude nám totiž stačit, aby $ (X_n) $ konvergovala \emph{podle pravděpodobnosti}, a navíc tvrzení rozšíříme i~na $ p > 1 $.
\begin{veta}[\emph{Lebesgue's dominated convergence theorem}, obecnější] \label{LDCT-obecnejsi}
	Mějme posloupnost $ (X_n)_1^{+\infty}  $ na $ (\Omega, \sa, P) $. Nechť dále $ X_n \kpp X $ a navíc $ (\exists Y \in \mathcal{L}_p)(\forall\, n \in \mathbb{N})(|X_n| \leq Y \text{ s.~j.}) $. Potom $ X \in \mathcal{L}_p $ a~$ X_n \klp X $. 
\end{veta}
\begin{proof}
	$  $
	\begin{enumerate}[(a)]
		\item Dokažme, že $ X \in \mathcal{L}_p $. Podle předpokladu je $ (\forall n \in \mathbb{N} )(|X_n| \leq Y \text{ s.~j.})$. Díky tomu, že $ X_n \kpp X $,  existuje dle přechozí věty vybraná posloupnost $ (X_{n_k})_{k=1}^{+\infty} $ taková, že dokonce $ X_{n_k} \ksj X $. Ovšem i~pro členy této vybrané posloupnosti musí s.~j. platit nerovnost $ |X_{n_k}| \leq Y $ pro všechna $ k \in \mathbb{N} $, takže provedením limity se dozvídáme, že s.~j. $ |X| \leq Y \in \mathcal{L}_p $.
		\item Ukažme, že $ X_n \klp X $. Pro spor předpokládejme, že tomu tak není, neboli $ \E|X_n - X|^p \nrightarrow 0 $. To, že tato číselná posloupnost nekonverguje k~nule, znamená následující: $ (\exists\, \varepsilon > 0)(\forall\, n_0 \in~\mathbb{N})\linebreak(\exists\, n > n_0)(\E|X_{n} - X|^p \geq \varepsilon) $. Jsme tedy schopni vybrat z~této posloupnosti takovou podposloupnost $ \bigl(\E|X_{n_k}-X|^p\bigr)_{k=1}^{+\infty} $, že všechny její členy budou od nuly odražené: $ (\forall k \in \mathbb{N})\linebreak(\E|X_{n_k}-X|^p \geq \delta > 0) $. Přitom ale víme, že $X_n \kpp X$, takže i $ X_{n_k} \kpp X $. Potom podle přechozí věty existuje znovu vybraná $ \bigl(X_{n_{k_j}}\bigr)_{j=1}^{+\infty} $ taková, že $ X_{n_{k_j}} \ksj X $. Studujme nyní konvergenci posloupnosti $ \bigl(|X_{n_{k_j}} - X|\bigr)_{j=1}^{+\infty} $ v~$ p $-normě. Můžeme použít klasickou LDCT, neboť její majorantou je $ 2Y $:
		\begin{equation*}
		|X_{n_{k_j}} - X | \leq |X_{n_{k_j}}| +~|X| \leq Y + Y \in \mathcal{L}_p\ \Longrightarrow\ |X_{n_{k_j}} - X|^p \in \mathcal{L}_1,
		\end{equation*}
		kde jsme při odhadu $ |X| $ využili bodu (a). Lebesgue tedy říká, že lze provést záměnu:
		\begin{equation*}
		\lim_{j \rightarrow +\infty} \E|X_{n_{k_j}} - X|^p = \E\bigl( \lim_{j \rightarrow +\infty}|X_{n_{k_j}} - X|^p \bigr) = \E 0 = 0.
		\end{equation*}
		To je ale spor, protože jsme v~posloupnosti, v~níž byly všechny členy zaručeně odhadnuté zdola číslem $ \delta > 0 $, našli podposloupnost, která k~nule konverguje. Proto tedy $ X_n \klp X $.\qedhere
	\end{enumerate}
\end{proof}
 
\begin{veta}\label{v-konv-podle-P-pro-transf}
	Nechť $ (X_n)_1^{+\infty} \subset (\Omega, \sa, P)$, kde $(\forall n \in \mathbb{N})(X_n \colon \Omega \rightarrow \mathbb{R}^s).$ Nechť dále $ g\colon \mathbb{R}^s \rightarrow \mathbb{R} $ je borelovsky měřitelná a spojitá skoro jistě $ P^X $. Platí:
	\begin{align*}
		 X_n \kpp X\  &\Longrightarrow\ g(X_n) \kpp g(X),\\
		 X_n \ksj X\ &\Longrightarrow\ g(X_n) \ksj g(X).
	\end{align*}
\end{veta}
\begin{proof}
	Pamatujme, že $ g(X_n) $ je naše značení pro $ g \circ X_n $. Budeme postupovat sporem. Nechť tedy $ g(X_n) \stackrel{P}{\nrightarrow} g(X)$. Znegováním $ \eqref{eq-def-konv-podle-P} $ zjistíme, že potom existuje $ \varepsilon > 0 $ takové, že 
	\begin{equation*}
		(\exists \delta > 0)(\forall n_0 \in \mathbb{N})(\exists n > n_0)\colon P\Bigl(|g(X_{n}) - g(X)| \geq \varepsilon\Bigl) \geq \delta > 0.
	\end{equation*}
	Najdeme vybranou posloupnost $ (g(X_{n_k}))_{k=1}^{+\infty} $ tak, aby výrok výše platil pro \emph{všechny} její členy: 
	\begin{equation}\label{eq-konv-dle-ppti-pro-transfci}
	\forall k \in \mathbb{N}\colon P\Bigl(|g(X_{n_k}) - g(X)| \geq \varepsilon\Bigl) \geq \delta > 0.
	\end{equation}
	Zároveň ale předpokládáme $ X_n \kpp X $, takže i~$ X_{n_k} \kpp X $. Potom podle věty~\ref{v-ze-slabe-plyne-konv-vybrane} existuje $(k_j)_{j=1}^{+\infty} $ taková, že $ X_{n_{k_j}} \ksj X $. Bylo ponecháno na každém, aby si ukázal, že potom $ g(X_{n_{k_j}}) \ksj~g(X) $,\footnote{Není to ale nic těžkého: Jestliže $ P\bigl(\lbrace \omega \mid X_n(\omega) \rightarrow X(\omega) \rbrace\bigr) = 1$, pak spojitá funkce $ g $ bude pro každé pevné~$ \omega $ převádět konvergentní \emph{číselnou} posloupnost  $ (X_n(\omega)) $ opět na konvergentní, takže $ P\bigl(\lbrace \omega \mid g(X_n(\omega)) \rightarrow g(X(\omega)) \rbrace\bigr) =~1$ -- a domácí úkol je hotov.} a~tím pádem (protože ze silné konvergence plyne slabá) $ g(X_{n_{k_j}}) \kpp g(X) $. To ale nemůže nastat, protože jsme v~posloupnosti $ (g(X_{n_k})) $, která \emph{nemohla} ke $ g(X) $ konvergovat podle pravděpodobnosti (viz~\eqref{eq-konv-dle-ppti-pro-transfci}), našli konvergentní podposloupnost s~limitou~$ g(X) $. Tím pádem jsme došli ke sporu.
\end{proof}
 
\begin{dusl}
	Nechť $ (X_n)_1^{+\infty} $, $ (Y_n)_1^{+\infty} \subset (\Omega, \sa, P)$, kde $ X_n$ a $ Y_n $ jsou jednorozměrné. Buď $ g\colon \mathbb{R}^2 \rightarrow \mathbb{R}$ spojitá borelovská funkce. Jestliže $ X_n \kpp X \wedge Y_n \kpp Y $, pak $ g(X_n, Y_n) \kpp g(X, Y) $.
\end{dusl}
\begin{proof}
	Toto je pouhý důsledek předchozí věty pro $ s = 2 $. Je však třeba korektně zdůvodnit, že konvergence vektorové veličiny platí i~po složkách. 
\end{proof}
 
\section{Zákony velkých čísel}
\paragraph{Úmluva.} Mějme posloupnost $ (X_n)_1^{+\infty} \subset (\Omega, \sa, P)$. Odteď budeme navždy (i~v~matematické statistice) používat následující značení:
\begin{itemize}
	\item Označme $ n$-tý částečný součet $ S_n := \sum_{j=1}^n X_j $. Pak $ \overline{X_n} := \frac{1}{n}S_n $ nazveme \textbf{aritmetickým průměrem} veličin $ X_1,\ldots,X_n $.
	\item Jsou-li $ (\forall j \in \hat{n})(X_j \in \mathcal{L}_1) $, klademe $ \mu_j := \E X_j $ a $ \overline{\mu_n} :=  \frac{1}{n}\sum_{j=1}^n \mu_j$.
	\item Jsou-li $ (\forall j \in \hat{n})(X_j \in \mathcal{L}_2) $, klademe $ \sigma_j^2 := \D X_j $ a $ \overline{\sigma_n^2} := \frac{1}{n}\sum_{j=1}^n \sigma_j^2$.
	\item Mají-li $ X_j \in \mathcal{L}_2 $ \emph{stejné rozdělení}, pak mají všechny společnou střední hodnotu, resp. rozptyl. Pro všechna $ j \in \hat{n} $ tedy pokládáme:
	\begin{align*}
		\E X_j &= \mu_j := \mu,\\
		\D X_j &= \sigma_j^2 := \sigma^2,
	\end{align*}
	a tím pádem $ \overline{\mu_n} = \mu $ a $ \overline{\sigma_n^2} = \sigma^2 $.
\end{itemize}
Střední hodnoty a rozptyly budeme takto značit proto, že je to v~souladu s~normálním rozdělením.
 
Zákon velkých čísel (anglicky \emph{law of large numbers}, dále jen ZVČ) popisuje, jak se chovají výsledky experimentu, když ho mnohokrát opakujeme. Říká, že naměřený (aritmetický) průměr se s~rostoucím počtem opakování experimentu blíží k teoretické (očekávané) střední hodnotě. Existuje ve dvou verzích, slabé a silné, ovšem v~několika formulacích od mnoha významných matematiků. 
\begin{veta}[Čebyševova\footnote{Pafnutij L. Čebyšev (1821--1894).} formulace slabého ZVČ, 1867]\label{v-ZVC-slaby-cebysev}
	Mějme posloupnost \emph{po dvou nezávislých} veličin $ (X_n)_1^{+\infty} \subset \mathcal{L}_2(\Omega, \sa, P) $, jejichž rozptyly jsou stejně omezené: $ (\exists K > 0)\bigl(\sup_{j\in\mathbb{N}} \sigma_j^2 \leq K\bigr) $. Potom
	\begin{equation*}
		\xp - \mup \kpp 0,
	\end{equation*}
	tj. pro každé $ \varepsilon > 0 $ je $ \lim\limits_{n \rightarrow +\infty}\!\! P\left( \left|\xp - \mup \right| \geq \varepsilon\right) = 0 $. Ať už dostaneme libovolné kladné rozmezí, s~dostatečně velkým $ n $ bude pravděpodobnost, že $ |\xp - \mup| \geq \varepsilon $, "velmi malá". Nepožadujeme, aby měly veličiny stejné rozdělení.
\end{veta}
\begin{proof}
	Využijeme (jak jinak) Čebyševovy nerovnosti (viz \ref{v-cebysevova-nerovnost}), do níž dosadíme $ \xp \in \mathcal{L}_2 $. Napočítejme si nejdříve $ \E\xp $. Podle naší úmluvy a linearity $ \E $ snadno obdržíme $ \E \xp = \frac{1}{n}\sum_{j=1}^n \E X_n = \linebreak = \frac{1}{n} \sum_{j=1}^n \mu_j := \mup $. Co se týče $ \D \xp $, pišme
	\begin{equation*}
	\D \xp = \frac{1}{n^2}\D\Bigl(\sum_{j=1}^n X_j \Bigr) \stackrel{\ref{v-rozptyl-souctu}}{=} \frac{1}{n^2}\Bigl(\sum_{j=1}^n\D X_j + \underbrace{\sum_{i \neq j} \cov(X_i, X_j)}_{=0 \text{ dle \ref{vlastnosti-Cov}}}\Bigr) = \frac{1}{n^2}\sum_{j=1}^n\D X_j = \frac{1}{n}\sip.
	\end{equation*}
	K~vynulování celé vyznačené sumy nám nezávislost po dvou stačila. Nyní už pouze dosadíme $ \xp $ do Čebyševovy nerovnosti, takže
	\begin{equation*}
	\forall \varepsilon >0\colon\ P\left(\left| \xp - \mup \right| \geq \varepsilon \right) \leq \frac{1}{\varepsilon^2}\frac{\sip}{n}.
	\end{equation*}
	Otázkou je, zda pravá strana nerovnosti konverguje k~nule. Zde využijeme stejné omezenosti rozptylů:
	\begin{equation*}
		\frac{\sip}{n} \leq \frac{\frac{1}{n}nK}{n} \xrightarrow{n\rightarrow+\infty} 0,
	\end{equation*}
	což znamená, že $ \xp - \mup \kpp 0$.
\end{proof}
Čebyšev nepředpokládal, že $ X_n $ mají stejné rozdelění, a dokonce nepotřeboval nic vědět o~asymptotice posloupnosti $ (\mup) $. Důsledek níže je pouze speciálním případem, kdy $ (\mup) $ konverguje.
\begin{dusl}
	Existuje-li konečná $ \lim_{n \rightarrow +\infty} \mup := m \in \mathbb{R}$, potom můžeme v~předchozí větě psát $ \xp \kpp m $.
\end{dusl}
Nejčastěji se setkáme s~následující verzí slabého ZVČ.
\begin{veta}[Standardní formulace slabého ZVČ]\label{v-slZVC-standardni} Buďte $ (X_n)_1^{+\infty} \subset \mathcal{L}_2(\Omega, \sa, P) $ i.~i.~d. (vzájemně nezávislé a se stejným rozdělením). Potom 
	\begin{equation*}
		\xp \kpp \mu.
	\end{equation*} 
\end{veta}
\begin{proof}
	Tvrzení plyne přímo z~Čebyševovy verze, neboť zde jsou předpoklady silnější. Tím, že jsou veličiny stejně rozdělené, jistě existuje $ \lim_{n \rightarrow +\infty} \mup = \mu = \E X_j $ pro všechna $ j \in \mathbb{N} $. Společný rozptyl~$ \sigma^2 $ je jistě konečný, tím pádem omezitelný.
\end{proof}
Tak se dostáváme k~prvnímu průkopníkovi zákona velkých čísel, a sice k~Jacobu Bernoullimu\footnote{Čti [bernu(l)i].} (1655--1705). Jelikož nemohl znát Čebyševovu nerovnost, musel sestavit na svou dobu geniální důkaz. Název zákona pochází od Poissona (1781--1840).
\begin{veta}[Bernoulliho formulace slabého ZVČ, 17. st.]
	Buďte $ (X_n)_1^{+\infty} $ nezávislé veličiny se stejným, Bernoulliho rozdělením: $ X_j \sim \text{Be}(p) $. Potom $ \xp \kpp \mu $.
\end{veta}
\begin{proof}
	Veličina s~Bernoulliho (též \emph{alternativním}) rozdělením nabývá s~pravděpodobností $ p \in (0,1) $ hodnoty $ 1 $, s~pravděpodobností $ 1-p $ hodnoty $ 0 $. Tím pádem $ \forall j \in \mathbb{N} $ je $ \E X_j = p $ a $ \D X_j = p(1-p) $, a proto $ X_j \in \mathcal{L}_2 $. Můžeme tedy použít Čebyševovu větu~\ref{v-ZVC-slaby-cebysev}, z~níž plyne, že
	\begin{equation*}
		\xp = \frac{1}{n}S_n \kpp \mu = p.
	\end{equation*}
	V~tomto případě má aritmetický průměr $ S_n/n $ význam relativní četnosti: je to podíl počtu příznivých jevů a všech pokusů.
\end{proof}
 
Silný zákon velkých čísel už je z~hlediska teorie poměrně složitá záležitost a jeho důkaz bude vyžadovat trochu víc práce. Vyslovíme ho ve dvou verzích, na obou měl zásadní podíl Kolmogorov.
\begin{veta}[1. Kolmogorovova formulace silného ZVČ, 1932]\label{v-ZVC-silny-kolmog1} Nechť $ (X_n)_1^{+\infty} \subset \mathcal{L}_2$ jsou vzájemně nezávislé a nechť řada $ \sum_{n=1}^{+\infty}\sigma_n^2/n^2 $ konverguje. Potom
	\begin{equation*}
		\xp - \mup \ksj 0,
	\end{equation*}
	neboli $ P\left(\lim_{n \rightarrow +\infty} (\xp - \mup) = 0 \right) = 1 $. Silný ZVČ nám tedy říká, že od jistého $ n_0 $ počínaje už $ |\xp - \mup| \geq \varepsilon $ \emph{skoro jistě} (tedy s~plnou pravděpodobností) \emph{nenastane}. To jsme u~slabého ZVČ nevěděli: případů, kdy $ |\xp - \mup| \geq \varepsilon $, mohlo být pořád nekonečně mnoho; věděli jsme jen to, že pravděpodobnost je \emph{čím dál menší}.
\end{veta}
\begin{pozn}
	Než přistoupíme k~samotnému důkazu, uvedeme tvrzení, která jsou bezprostředním důsledkem silného ZVČ nebo vznikla modifikací jeho předpokladů.
	\begin{itemize}
		\item Čebyševovi (viz \ref{v-ZVC-slaby-cebysev}) stačí pouze nezávislost \emph{po dvou}, kdežto jeho požadavek stejné omezenosti rozptylů je přísnější, neboť z~něj konvergence řady $ \sum_{n=1}^{+\infty}\sigma_n^2/n^2 $ ihned plyne.
		\item Pro i.~i.~d. veličiny $ (X_n)_1^{+\infty} \subset \mathcal{L}_2$ existuje $ \lim_{n\rightarrow +\infty}\mup = \mu $,  takže (platí-li \ref{v-ZVC-silny-kolmog1}) dostaneme:
			\begin{veta}[Standardní formulace silného ZVČ]
				Buďte $ (X_n)_1^{+\infty} \subset \mathcal{L}_2$ i.~i.~d. Potom
				\begin{equation*}
					 \xp \ksj \mu .
				\end{equation*}
				Jelikož je $ (\forall n \in \mathbb{N})(\sigma_n^2 = \sigma^2 < +\infty) $, řada $ \sum_{n=1}^{+\infty}\sigma^2/n^2 $ automaticky konverguje.
			\end{veta}
		\item Silnější verze Bernoulliho slabého ZVČ pochází od Borela.
			\begin{veta}[Borelova formulace ZVČ]
				Mějme i.~i.~d. veličiny $ (X_n)_1^{+\infty} \subset \mathcal{L}_2$, $ X_n \sim \text{Be}(p) $. Potom
				\begin{equation*}
				\frac{1}{n}S_n \ksj p.
				\end{equation*}
				Teď už konečně víme, že když hodíme mincí dostatečně mnohokrát, můžeme očekávat, že orel padnul v~polovině případů.
			\end{veta}
		\item Modifikací předpokladů v~první Kolmogorovově větě obdržíme následující tvrzení. Povšimněme si, že nyní předpokládáme~$ \mathcal{L}_1 $!
		 	 \begin{veta}[2. Kolmogorovova formulace silného ZVČ, 1930] Buďte $ (X_n)_1^{+\infty} \subset \mathcal{L}_1 $ i.~i.~d. Potom
		 	 	\begin{equation*}
		 	 	\xp \ksj \mu.
		 	 	\end{equation*}
		 	 Tvrzení věty lze dokonce obrátit: Nechť $ (X_n)_1^{+\infty}$ jsou i.~i.~d. a navíc $ (\exists \mu \in \mathbb{R})(\xp \ksj \mu) $. Pak $ (\forall n \in \mathbb{N})(X_n \in \mathcal{L}_1\, \wedge\, \E X_n = \mu) $. Dostáváme tedy \emph{nutnou} podmínku skoro jisté konvergence aritmetických průměrů.
		 	 \end{veta}
	\end{itemize}
\end{pozn}
K~důkazu první formulace budeme potřebovat tzv. Kolmogorovovu nerovnost. Jedná se v~podstatě o~obecnější Čebyševovu nerovnost \ref{v-cebysevova-nerovnost}.
\begin{lemma}
	Nechť $ (X_n)_1^{+\infty} \subset \mathcal{L}_2$ jsou vzájemně nezávislé a $ (\forall n\in \mathbb{N})(\E X_n = 0 \wedge \D X_n = \sigma_n^2) $. Potom
	\begin{equation}\label{eq-kolmog-nerovnost}
		(\forall \varepsilon > 0)(\forall n \in \mathbb{N})\colon\ P\left(\max_{k\in\hat{n}}|S_k| \geq \varepsilon\right) \leq \frac{\D S_n}{\varepsilon^2}.
	\end{equation}
\end{lemma}
\begin{proof}
	Pravou stranu můžeme s~využitím nezávislosti a vztahu $ \D X_j = \E X_j^2 - (\E X_j)^2 $ zjednodušit:
	\begin{equation*}
		\D S_n = \D\Bigl(\sum_{j=1}^n X_j \Bigr) = \sum_{j=1}^n \D X_j + 0 = \sum_{j=1}^n \E X_j^2 = \E S_n^2.
	\end{equation*}
	Budeme zdola odhadovat pravou stranu, dokud (doufejme) nedospějeme k~výrazu na straně levé. K~tomu sestrojíme číselnou posloupnost $ (\xi_k)_{k=1}^{+\infty} $, kde
	\begin{equation*}
		\xi_k := 
		\begin{cases}
			1, &\text{ když } \bigl(\forall j \in \widehat{k-1}\bigr)\bigl(|S_j| < \varepsilon\, \wedge\, |S_k| \geq \varepsilon\bigr),\\
			0 &\text{ jinak.}
		\end{cases}
	\end{equation*}
	Hodnota $ \xi_k $ je tedy $ 1 $, jestliže částečný součet veličin $ X_j $ dosáhnul $ \varepsilon $ nejdříve v $ k $-tém kroku. Potom $ \sum_{k=1}^n\xi_k =~1$, pokud bylo $ \varepsilon $ dosaženo alespoň jednou. Takto definovaná posloupnost zajistí, že hodnotu $ \E S_n^2 $ \emph{nezvětšíme}, když do ní vneseneme $ \sum_{k=1}^n \xi_k $. Pišme:
	\begin{align*}
		\E S_n^2 &\geq \E\Bigl( \sum_{k=1}^n\xi_k S_n^2 \Bigr)\\ 
		&=  \E\Bigl( \sum_{k=1}^n\xi_k \bigl(S_k +(S_n-S_k)\bigr)^2 \Bigr) \\
		&= \E\Bigl[\sum_{k=1}^n\xi_kS_k^2 + 2\sum_{k=1}^n \xi_k S_k(S_n-S_k) + \sum_{k=1}^n \underbrace{\xi_k(S_n - S_k)^2}_{\geq 0 \text{, zahodíme}} \Bigr]\\
		&\geq \E\Bigl[\sum_{k=1}^n\xi_kS_k^2\Bigr] + 2\sum_{k=1}^n\E\bigl[\,\underbrace{\xi_k S_k}_{(*)}\underbrace{(S_n - S_k)}_{(**)}\,\bigr].
	\end{align*}
	Nyní si uvědomme, že $ \xi_k S_k $ závisí pouze na prvních $ k $ sčítancích $ X_j $, kdežto $ S_n - S_k = \sum_{j=k+1}^{n} X_j$, takže v~tomto výrazu se objevují sčítance $ X_{k+1} $$ X_n $. Navzájem jsou tedy činitele $ (*) $ a $ (**) $ nezávislé, takže můžeme střední hodnotou zapůsobit na každý zvlášť (podle věty \ref{v-o-nezavislosti-pro-E}). Můžeme tedy pokračovat v~úpravách a vzpomeňme si při tom na předpoklad $ (\forall j \in \mathbb{N})(\E X_j = 0) $, z~čehož je \linebreak $ \E(S_n - S_k) =~0 $.
	\begin{align*}
		\E S_n^2 &\geq \E\Bigl[\sum_{k=1}^n\xi_kS_k^2\Bigr] + 2\sum_{k=1}^n\E(\xi_kS_k)\underbrace{\E(S_n - S_k)}_{= 0} = \E\Bigl[\sum_{k=1}^n\xi_kS_k^2\Bigr] \geq \E\Bigl[\sum_{k=1}^n\xi_k\varepsilon^2\Bigr]. 
	\end{align*}
	Poslední odhad platí, protože $ \xi_k \in \{0,1\}$. Je-li tedy $ \xi_k = 1$, muselo to být proto, že $ |S_k| \geq \varepsilon $, a~v~případě $ \xi_k = 0 $ nerovnost $ \xi_k S_k^2 \geq \xi_k\varepsilon^2 $ platí jakbysmet. Položme $ \Xi :=  \bigl\lbrace \omega \mid \sum_{k=1}^n \xi_k = 1 \bigr\rbrace$ a~počítejme dále:
		\begin{align*}
			\varepsilon^2\E\Bigl[\sum_{k=1}^n\xi_k\Bigr] = \varepsilon^2\int\limits_{\Omega} \sum_{k=1}^n \xi_k \dd P = \varepsilon^2 \int\limits_{\Xi} 1 \dd P = \varepsilon^2 P\Bigl( \sum_{k=1}^n \xi_k = 1 \Bigr) = \varepsilon^2 P\Bigl( \max_{k\in\hat{n}} |S_k| \geq \varepsilon \Bigr).
		\end{align*}
		Tak jsme se od $ \D\!S_n $ dostali až k~tvrzení věty. Tím je důkaz dokončen.
\end{proof}
Nyní už máme v~ruce aparát, s~jehož pomocí dokážeme Kolmogorovou formulaci ZVČ.
\begin{proof}[Důkaz věty \ref{v-ZVC-silny-kolmog1}]
	Bez újmy na obecnosti můžeme položit $ \E X_j := 0 $. Je-li totiž $ \E X_j \neq 0 $, vycentrujeme veličinu $ X_j $ posunutím o~$ \mu_j $, takže $ \E X_j' = \E(X_j - \mu_j) = 0 $. 
 
	Definujme veličiny $ Y_m $ vztahem $ Y_m := \max\limits_{k\leq 2^m} |S_k|$, kde $ m \in \mathbb{N} $. Pak pro každé $ n $ v~rozmezí $ 2^{m-1} \leq n \leq 2^m $ platí následující nerovnost:
	\begin{equation*}
		\frac{|S_n|}{n} \leq \frac{Y_m}{2^{m-1}} = 2\frac{Y_m}{2^{m}},
	\end{equation*}
	protože $ 2^{m-1} \leq n $ a $ |S_k| \leq |Y_m|$. Rozhodneme o~konečnosti součtu řady $ \sum_{m=1}^{+\infty} P\bigl(Y_m/2^m \geq \varepsilon \bigr) $. Pak totiž bude konvergovat k~nule její libovolný zbytek po $ k $-tém členu, z~čehož vyplyne skoro jistá konvergence, kterou chceme ukázat. Jistě je $ \sum_{m=1}^{+\infty} P\bigl(Y_m/2^m \geq \varepsilon \bigr) = \sum_{m=1}^{+\infty} P\bigl(Y_m \geq \varepsilon\, 2^m \bigr)$. Dosaďme toto $ \varepsilon\,2^m $ do Kolmogorovovy nerovnosti $ \eqref{eq-kolmog-nerovnost} $, čímž dostaneme horní odhad:
	\begin{equation*}
		\sum_{m=1}^{+\infty} P\bigl(Y_m \geq \varepsilon\, 2^m \bigr) \leq \sum_{m=1}^{+\infty} \frac{\E S_{2^m}^2}{(\varepsilon\, 2^m)^2} = \frac{1}{\varepsilon^2} \sum_{m=1}^{+\infty}\frac{1}{4^m}\sum_{k=1}^{2^m}\sigma_k^2 \stackrel{(*)}{=} \frac{1}{\varepsilon^2}\sum_{k=1}^{+\infty}\sigma_k^2 \sum_{\substack{m \in \mathbb{N} \\ 2^m \geq k}}^{+\infty}\frac{1}{4^m} = (**)
	\end{equation*}
	V~kroku označeném $ (*) $ jsme na součin řad použili něco, co dr. Kůs nazval \emph{Kroneckerovým přerovnáním}. Bohužel jsme ani v~českých, ani v~anglických zdrojích nenašli nic, co by se tak nazývalo nebo co by tomu odpovídalo. Neztrácejme však hlavu a rozepišme si, co znamená součin řad před krokem $(*)$:
	\begin{equation*}
		\sum_{m=1}^{+\infty}\frac{1}{4^m}\sum_{k=1}^{2^m}\sigma_k^2 = \frac{1}{4}(\sigma_1^2 + \sigma_2^2) + \frac{1}{4^2}(\sigma_1^2 + \sigma_2^2 + \sigma_3^2 + \sigma_4^2) + \frac{1}{4^3}(\sigma_1^2 + \cdots + \sigma_8^2) + \cdots.
	\end{equation*}
	Vytkneme-li postupně koeficienty před $ \sigma_k^2 $, obdržíme
	\begin{equation*}
		\sigma_1^2\left(\frac{1}{4} + \frac{1}{4^2} + \frac{1}{4^3} + \cdots\right) + \sigma_2^2\left(\frac{1}{4} + \frac{1}{4^2} + \frac{1}{4^3} + \cdots\right) + \sigma_3^2\left(\frac{1}{4^2} + \frac{1}{4^3} + \frac{1}{4^4} + \cdots\right) + \ldots,
	\end{equation*}
	což ale není nic jiného než součin řad po provedení Kroneckerova přerovnání.\footnote{Poznámka pro ty, co byli přítomni na přednášce: Dr. Kůs napsal při provedení $ (*) $ do spodní meze druhé sumy ostrou nerovnost $ 2^m > k $ a až poté tuto řadu odhadnul shora tak, že do spodní meze napsal $ 2^m \geq k $ (tj. "přidal člen"). Troufáme si však tvrdit, že to je chyba, protože by to nevycházelo. Naštěstí se na pravdivosti věty nic nemění.}
 
	Odsud už vidíme, že vnitřní řada je geometrická s~kvocientem $ 1/4 $, takže po jejím sečtení dostáváme:
	\begin{equation*}
		(**) = \frac{1}{\varepsilon^2}\sum_{k=1}^{+\infty}\sigma_k^2 \frac{1/k^2}{1-1/4} <+\infty,
	\end{equation*}
	protože řada $ \sum_{k=1}^{+\infty}\sigma_k^2/k^2 $ podle předpokladu konverguje. Každý zbytek řady $ \sum_{m\geq k}^{+\infty} P\bigl(Y_m/2^m \geq~\varepsilon \bigr) $ tím pádem pro $ k \rightarrow +\infty $ vymizí. Zároveň však podle Booleovy nerovnosti \ref{bool} platí:
	\begin{equation*}
		P\Bigl(\bigcup_{m\geq k}\Bigl\lbrace \omega\ \Big\rvert\ \frac{Y_m}{2^m} \geq\varepsilon \Bigr\rbrace\Bigr)
		\leq \sum_{m\geq k}^{+\infty} P\Bigl(\frac{Y_m}{2^m} \geq \varepsilon \Bigr) \xrightarrow{k\rightarrow +\infty} 0,
	\end{equation*}
	a to pro libovolné $ \varepsilon > 0 $. To už podle kritéria skoro jisté konvergence \ref{v-krit-konv-sj} znamená, že
	\begin{equation*}
		\xp = \frac{S_n}{n} \leq \frac{|S_n|}{n} \leq 2\frac{Y_m}{2^m} \ksj 0,
	\end{equation*}
	což jsme měli ukázat.
\end{proof}
\begin{pozn}
	ZVČ lze zformulovat i~pro vektorové veličiny $ \xx_j\colon \Omega \rightarrow \mathbb{R}^s $. Platí-li nějaká sada předpokladů výše zmíněných vět, můžeme říci, že $ \overline{\xx_n} \kpp \mm $ či $ \overline{\xx_n} \ksj \mm $.
\end{pozn}
 
\section{Konvergence v distribuci}
\begin{defi}\label{def-konvergence-rozdeleni}
	Mějme posloupnost vektorových náhodných veličin $ (\xx_n)_{n=1}^{+\infty} $ takovou, že \linebreak $ \xx_n\colon \Omega_n \rightarrow \mathbb{R}^s$ jsou náhodné veličiny na různých prostorech $ (\Omega_n, \sa_n, P_n) $, tj. $ \xx_n \sim P^{\xx_n} $. Nechť dále $ \xx\colon \tilde{\Omega} \rightarrow \mathbb{R}^s $ je náhodná veličina na pravděpodobnostním prostoru $ (\tilde{\Omega}, \tilde{\sa}, \tilde{P}) $, tedy $ \xx \sim \tilde{P}^{\xx} $. Říkáme, že posloupnost rozdělení $ (P^{\xx_n}) $ \textbf{konverguje slabě}, psáno
	\begin{equation}
	P^{\xx_n} \kw \tilde{P}^{\xx}\!,
	\end{equation}
	právě když pro všechny reálné spojité omezené funkce $ g\colon \mathbb{R}^s \rightarrow \mathbb{R} $, značeno $ g \in \mathcal{C}_B^{0}$,\footnote{Index B z~anglického \emph{bounded}.} platí:
	\begin{equation}\label{konvergence-rozdeleni}
	\int_{\mathbb{R}^s} g(\mx) \dd P^{\xx_n} \xrightarrow{n \rightarrow +\infty} \int_{\mathbb{R}^s} g(\mx) \dd \tilde{P}^{\xx}.
	\end{equation}
\end{defi}
\begin{pozn}\label{pozn-konvergence-rozdeleni}
	Uvědomme si, co se v předchozí definici vlastně děje. Máme posloupnost vektorových náhodných veličin $ (\xx_n)_{n=1}^{+\infty} $, kde každá je definována na jiném pravděpodobnostním prostoru a každá má na příslušném prostoru jiné rozdělení. Konvergence zavedená v~předchozí definici tudíž nemá nic společného s~klasickou představou konvergence, jak ji známe. Nekonvergují k sobě funkční hodnoty $ \xx_n(\omega) $, nýbrž příslušná rozdělení veličin, a to ještě vzhledem k~pravděpodobnostnímu prostoru, na kterém jsou definována. Konvergence $ P^{\xx_n} \kw P^{\xx} $ tedy bere v~potaz výhradně jednotlivá rozdělení, a~nikoli veličiny samotné.
 
	Upravme podmínku konvergence \eqref{konvergence-rozdeleni} pomocí věty o přenosu integrace (viz \ref{v-VPI}):
	\begin{equation*}
	\int_{\Omega_n} g(\xx_n) \dd P_n\ \xrightarrow{n \rightarrow +\infty}\ \int_{\tilde{\Omega}} g(\xx) \dd \tilde{P},
	\end{equation*}
	což lze dále přepsat pomocí střední hodnoty, a sice:
	\begin{equation*}
	\forall g \in \mathcal{C}^0_B \colon \quad \E_{P_n} (g(\xx_n))\  \xrightarrow{n \rightarrow +\infty}\ \E_{\tilde{P}} (g(\xx)).
	\end{equation*}
	Dolní index u střední hodnoty budeme nadále vynechávat. Měl jen poukázat na skutečnost, že se v~každém kroku počítá vzhledem k~jiné pravděpodobnostní míře.
\end{pozn}
\begin{pozn}
	Mohlo by se zdát, že například platí výrok:
	\begin{equation*}
	\E g(X_n)  \xrightarrow{n \rightarrow +\infty} \E g(X)\ \Longrightarrow\
	\E X_n  \xrightarrow{n \rightarrow +\infty} \E X.
	\end{equation*}
	To však nemusí být vždy pravdou, protože transformační funkce $ g = \id_{\mathbb{R}^s} $ není omezená.
\end{pozn}
\begin{pozn}
	Místo reálných omezených spojitých funkcí $ \mathcal{C}^0_{B} $ stačí uvažovat množinu \emph{omezených lipschitzovských} funkcí.\footnote{Funkce $ g $ je $L  $-lipschitzovská, právě když $(\exists L > 0)(\forall x, y \in \mathbb{R})(|g(x) - g(y)| \leq L |x-y|)$.} To nám umožní zúžit třídu kandidátů, pro něž máme ověřovat definiční podmínku~\eqref{konvergence-rozdeleni}. Zřejmě totiž platí, že každá lipschitzovská funkce je spojitá. 
\end{pozn}
To, že je konvergence rozdělení skutečně "slabší", ukazuje následující věta.
\begin{veta}
	Buď $ (X_n)_{n=1}^{+\infty} $ posloupnost náhodných veličin na $ (\Omega, \sa, P) $, kde $ (\forall n \in \mathbb{N})(X_n \sim P^{X_n})$. Buď dále $ X $ náhodná veličina na tomtéž pravděpodobnostním prostoru $ (\Omega, \sa, P) $ a $ X \sim P^X $. Pak platí:
	\begin{equation*}
	X_n \kpp X\ \Longrightarrow\ P^{X_n} \kw P^X.
	\end{equation*}
\end{veta}
\begin{proof}
	Povšimněme si, že se nyní členy posloupnosti $ (X_n) $ nachází na stejném prostoru. Jinak by o~konvergenci podle pravděpodobnosti nemohla být vůbec řeč.
 
	Chceme ukázat, že pro libovolnou funkci $ g \in \mathcal{C}_{B}^{0} $ platí:
	\begin{equation*}
	\int_{\mathbb{R}} g(x) \dd P^{X_n} \xrightarrow{n \rightarrow +\infty} \int_{\mathbb{R}} g(x) \dd P^{X},
	\end{equation*}
	což jsme v poznámce \ref{pozn-konvergence-rozdeleni} ekvivalentně přepsali na
	\begin{equation*}
	\E g(X_n)  \xrightarrow{n \rightarrow +\infty} \E g(X).
	\end{equation*}
	Zvolme fixně libovolnou funkci $ g \in \mathcal{C}_{B}^{0} $. Víme, že spojitá funkce zachovává konvergenci posloupnosti a zároveň z předpokladu věty je $ X_n \kpp X $. Z~toho díky větě \ref{v-konv-podle-P-pro-transf} plyne, že
	\begin{equation*}
	g(X_n) \kpp g(X).
	\end{equation*}
	Protože je funkce $ g $ omezená, můžeme využít zobecněnou LDCT~\ref{LDCT-obecnejsi}, kde za integrabilní majorantu~$ Y $ vezmeme dostatečně velkou konstantu $ K > 0$ tak, aby $ |X_n| \leq Y $ pro všechna $ n \in \mathbb{N} $. Díky omezenosti pravděpodobnostní míry je jistě $ Y \in \mathcal{L}_1$. Z~LDCT tedy dostáváme, že
	\begin{equation*}
	g(X_n) \xrightarrow{L_1} g(X),
	\end{equation*}
	a potom z definice konvergence v $ L_1 $:
	\begin{align*}
	\E |g(X_n) - g(X)| &\xrightarrow{n \rightarrow +\infty} 0,\\
	|\E g(X_n) -\E g(X)|&\xrightarrow{n \rightarrow +\infty} 0,\\
	\E g(X_n)  &\xrightarrow{n \rightarrow +\infty} \E g(X).
	\end{align*}
	Tím je důkaz dokončen.
\end{proof}
\begin{dusl}
	Při stejném značení plyne z~minulé věty toto tvrzení:
	\begin{equation*}
	X_n \klp X \Longrightarrow P^{X_n} \kw P^X.
	\end{equation*}
	Implikaci v předchozí větě \emph{nelze} obecně obrátit! To, zda za jistých předpokladů platí i opačně, rozebereme v~následující větě.
\end{dusl}
\begin{veta}\label{v-z-konv-v-distr-plyne-podle-ppti}
	Buď $ (X_n)_{n=1}^{+\infty} $ posloupnost náhodných veličin na $ (\Omega, \sa, P) $, kde $ (\forall n \in \mathbb{N})(X_n \sim P^{X_n})$. Buď dále $ X $ veličina na stejném prostoru $ (\Omega, \sa, P) $ s rozdělením $ P^X = \delta_c $, tj. $ X = c \in \mathbb{R}$ s.~j.~$ P $, kde $ \delta_c $ značí Diracovo rozdělení.\footnote{Říkáme, že $ X $\emph{degenerované} rozdělení nebo že $ X $ je \emph{degenerovaná}.} Potom platí:
	\begin{equation*}
	P^{X_n} \kw \delta_c\ \Longrightarrow\ X_n \kpp X = c \text{ \ s. j. } P 
	\end{equation*}
\end{veta}
\begin{proof}
	Využijeme kritéria konvergence podle pravděpodobnosti \ref{v-kriterium-slabe-konv}, které říká:
	\begin{equation*}
	X_n \kpp X \Longleftrightarrow \lim_{n\rightarrow +\infty} \E\left(\frac{|X_n - X|}{1+|X_n-X|}\right) = 0.
	\end{equation*}
	Z předpokladu věty a z definice $ P^{X_n} \kw \delta_c $ plyne:
	\begin{equation*}
	\forall g \in \mathcal{C}_B^{0}\colon\ \E g(X_n) \xrightarrow{n \rightarrow +\infty} \E g(c).
	\end{equation*}
	Vezměme funkci $ g(t) = \frac{|t - c|}{1 + |t-c|} $. Snadno nahlédneme, že $ g \in \mathcal{C}_B^{0} $. Teď už je vše připraveno k~závěrečnému kroku důkazu. Pišme:
	\begin{equation*}
	\lim_{n \rightarrow +\infty} \E\left(\frac{|X_n - c|}{1 + |X_n -c|}\right) \stackrel{\footnotemark}{=} 
	\E\left(\frac{|c - c|}{1 + |c -c|}\right) = 
	\E (0) = 0.
	\end{equation*}
	Splnili jsme tudíž kritérium konvergence podle pravděpodobnosti, čímž je tvrzení věty dokázáno.
	\footnotetext{Tuto záměnu limity a integrálu jsme oprávněni provést, protože $ \frac{|X_n - c|}{1 + |X_n -c|} \leq 1 \in \mathcal{L}_1(\Omega, \sa, P)  $.}
\end{proof}
 
\paragraph{Úmluva.} Slabou konvergenci rozdělení $ P^{X_n} \kw P^X $ budeme nadále značit $ X_n \kd X $ a budeme říkat, že posloupnost náhodných veličin $ (X_n)_{n=1}^{+\infty} $ \textbf{konverguje v~distribuci} k~$ X $. To, že je takové názvosloví opodstatněné, říká následující věta.
 
\begin{veta}\label{veta-libova}
	Buď $ (X_n)_{n=1}^{+\infty} $ posloupnost náhodných veličin zobrazujících do $ \mathbb{R}^1 $. Pak platí následující ekvivalence:
	\begin{equation}
	X_n \kd X \Longleftrightarrow F_{X_n} \rightarrow F_X.
	\end{equation}
	Konvergence je bodová na množině $ D $ husté v~$ \mathbb{R} $.
\end{veta}
\begin{proof}
	$  $
	\begin{itemize}
		\item[($ \Rightarrow $)] Víme, že $ X_n \kd X $. Zvolme pevné $ x \in \mathbb{R} $, které lze BÚNO brát z~množiny bodů spojitosti funkce $ F_X $, označme ji $ D := \lbrace x \in \mathbb{R} \mid F_X(x-) = F_X(x)\rbrace $. Zkonstruujme posloupnost omezených spojitých funkcí $ (g_n)_{n=1}^{+\infty} \subset \mathcal{C}^0_B$ následujícím předpisem (viz též obrázek~\ref{fig7-graf-gn})
		\begin{equation*}
		g_n(t) := 
		\begin{cases}
		1 &\text{ pro } t \in (-\infty,\, x),\\
		-n(t-x)+1 &\text{ pro } t \in [x,\, x+1/n],\\
		0 &\text{ pro } t \in (x+1/n,\, +\infty).
		\end{cases}
		\end{equation*}
		Pomocí této funkční posloupnosti nyní pro všechna $ k,\,n \in \mathbb{N} $ odhadněme distribuční funkci takto: $ F_{X_k}(x) \leq \E(g_n(X_k))$. Takový odhad skutečně platí, neboť:
		\begin{equation}\label{odhad}
		F_{X_k}(x) \leq \E(g_n(X_k)) = \underbrace{\int\limits_{(-\infty,\, x]}\mkern-10mu 1 \dd P^{X_k}}_{F_{X_k}(x)}\
		+ \underbrace{\int\limits_{[x,\, x+1/n]} \mkern-18mu g_n(t) \dd P^{X_k}}_{> 0}.
		\end{equation}
		Limita $ \lim\limits_{n \rightarrow +\infty} F_{X_n} \stackrel{\text{ozn.}}{=} F_X $ bude existovat, právě když
		\begin{equation*}
		\liminf_{k \rightarrow +\infty} F_{X_k}(x) = \limsup_{k \rightarrow +\infty} F_{X_k}(x) = F_X(x).
		\end{equation*}
		Platnost této rovnosti ověříme pomocí dvou nerovností. Nejdříve přejděme v~odhadu \eqref{odhad} k~limitě pro $ k \rightarrow +\infty $:
		\begin{equation*}
		\forall n \in \mathbb{N}\colon\ \liminf_{k \rightarrow +\infty} F_{X_k}(x) \leq \limsup_{k \rightarrow +\infty} F_{X_k}(x)
		\stackrel{\eqref{odhad}}{\leq} \lim_{k \rightarrow +\infty}\!\! \E g_n(X_k) = \E g_n(X),
		\end{equation*}
		kde poslední rovnost plyne z~předpokladu konvergence $ X_n \kd X $. Aplikace LDCT byla v~pořádku, protože jsou $ g_n $ omezené. Nyní stačí provést limitní přechod pro $ n \rightarrow +\infty $:
		\begin{equation*}
		\limsup_{k \rightarrow +\infty}F_{X_k}(x) \leq
		\lim_{n \rightarrow +\infty}\!\! \E g_n(X) = (*).
		\end{equation*}
		Použitím LDCT \ref{v-LDCT} můžeme dále limitu upravovat:
		\begin{equation*}
		(*) = \E\Bigl( \lim_{n \rightarrow +\infty} g_n(X) \Bigr)= \E [\chi_{(-\infty, x]} (X)] = \int\limits_{(-\infty, x]}\mkern-10mu 1 \dd P^X = P^X((-\infty, x]) = F_X(x),
		\end{equation*}
		čímž jsme došli k~první hledané nerovnosti. Analogicky bychom ukázali, že $ F_X(x) \leq \liminf\limits_{k \rightarrow +\infty}F_{X_k}(x) $. Opět bychom sestrojili funkční posloupnost $ (\tilde{g}_n) $, ale tentokrát tak, aby 
		\begin{equation*}
		\tilde{g}_n(t) := 
		\begin{cases}
		1 &\text{ pro } t \in (-\infty,\, x-1/n),\\
		-n\bigl(t-(x-1/n)\bigr)+1 &\text{ pro } t \in [x-1/n,\, x],\\
		0 &\text{ pro } t \in (x,\, +\infty).
		\end{cases}
		\end{equation*}
		Potom $(\forall n,k \in \mathbb{N})(F_{X_k}(x) \geq \E(\tilde{g}_n(X_k))$ a dále postupuje se obdobně.
		\item[($ \Leftarrow $)] Nyní vyjděme z předpokladu, že $ F_{X_n}(x) \rightarrow F_X(x) $ na nějaké husté množině $ D $. Chceme ukázat $ X_n \kd X $, tedy že pro všechny funkce $ g \in \mathcal{C}_B^{0} $ platí:
		\begin{equation*}
		\lim_{n \rightarrow +\infty}\!\! \E g(X_n) = \E g(X).
		\end{equation*}
		Zvolme pevné $ \varepsilon > 0 $ a k němu volme dva body $ a, b \in \mathbb{R} $ takové, že 
		$ P(X \in [a, b]) > 1 -\varepsilon $, jak je vidět na obrázku \ref{fig8-volba-epsilon}. Zvolme fixně libovolnou funkci $ g \in \mathcal{C}_B^{0} $. Protože je funkce $ g $ spojitá na uzavřeném intervalu $ [a,b] $, je na něm spojitá stejnoměrně, z~čehož plyne možnost najít body $ (a_j)_{j=0}^k $, aby platilo:
		\begin{equation*}
		a = a_0 < a_1 < \ldots < a_k = b \text{\  tak, že\  } \bigl(\forall x \in (a_{j-1},a_{j}]\bigr)\bigl(|g(x) - g(a_j)| < \varepsilon \bigr).
		\end{equation*}
		Tyto body můžeme díky hustotě volit z~množiny $ D $.
		Jedná se v podstatě o aproximaci distribuční funkce $ F_X $ stupňovitou funkcí $ h $, přičemž $ h $ definujeme následovně:
		\begin{equation*}
		h(x) := 
		\begin{cases}
		g(a_j) &\text{ pro } x \in (a_{j-1},\, a_{j}),\\
		0 &\text{ pro } (x < a) \lor (x > b).
		\end{cases}
		\end{equation*}
		Nyní už máme vše připravené na závěrečný odhad.
		\begin{equation*}
		|\E(g(X_n) - g(X))| \leq |\E(g(X_n) - h(X_n))| + |\E(h(X_n) - h(X))| + |\E(h(X) - g(X))|.
		\end{equation*}
		Odhadujme dále poslední člen:
		\begin{align*}
		\E|h(X) - g(X)| &\stackrel{\text{VPI}}{=} \int_{\mathbb{R}} |h(x) - g(x)| \dd P^X = 
		\int\limits_{[a, b]} |h(x) - g(x)| \dd P^X + \int\limits_{\comp{[a,b]}} |h(x) - g(x)| \dd P^X \leq\\
		&\leq \int\limits_{[a, b]}\mkern-5mu \varepsilon \dd P^X + \int\limits_{\comp{[a,b]}}\mkern-5mu \underbrace{\vphantom{\int\limits_{\comp{[a,b]}} 1 \dd P^X}\sup_{x \in \mathbb{R}} |g(x)|}_{\leq K \in \mathbb{R}} \dd P^X \leq 
		\varepsilon \cdot 1 + K\!\!\!\!\underbrace{\int\limits_{\comp{[a,b]}}\mkern-5mu 1 \dd P^X}_{ 1-P(X\in[a,b]) < \varepsilon} 
		\leq \varepsilon(1+K).
		\end{align*}
		Podobně bychom odhadli i ostatní sčítance. Po limitním přechodu tak obdržíme libovolně malý odhad limity na levé straně, z~čehož plyne, že $  \lim_{n \rightarrow +\infty} \E g(X_n) = \E g(X) $. Tím je věta dokázána.\qedhere
	\end{itemize}
\end{proof}
\begin{figure}
	\centering
	\begin{subfigure}[h]{.49\linewidth}
		\centering
		\includegraphics[width=\linewidth]{Fig7-graf-gn.png}
		\caption{Graf $ n $-tého členu posloupnosti $ (g_n) $.}
		\label{fig7-graf-gn}
	\end{subfigure}
	\begin{subfigure}[h]{.49\linewidth}
		\centering
		\includegraphics[width=\linewidth]{Fig8-volba-epsilon.png}
		\caption{Volba $ \varepsilon $.}
		\label{fig8-volba-epsilon}
	\end{subfigure}
	\caption{K~větě \ref{veta-libova}.}
	\label{fig7}
\end{figure}
 
Sice nemůžeme říci, že z~konvergence v~distribuci plyne konvergence skoro jistě (kvůli potížím s~různými prostory), jistá forma obrátky však přeci jen existuje. Je připisována A. Skorochodovi (1930--2011).
\begin{veta}[Skorochodův reprezentační teorém]
	Mějme posloupnost $ (X_n)_1^{+\infty} $, kde $ X_n\!\colon \Omega_n \rightarrow~\mathbb{R}^s$. Nechť $ X_n \kd X $, kde $ X\!\colon \Omega \rightarrow \mathbb{R}^s $. Potom existují posloupnost $ (Y_n)_1^{+\infty} $, veličina $ Y $ a společný prostor $ (\Omega', \sa', P') $ tak, že $ (\forall n \in \mathbb{N})(P^{X_n} = P^{Y_n}) $ a $ P^X = P^Y $ a navíc $ Y_n \ksj Y $.
 
	Ke skoro jisté konvergenci (která funguje pouze na společném prostoru) se tedy lze dostat "objížďkou" přes prostor $ (\Omega', \sa', P') $.
\end{veta}
\begin{proof}
	Důkaz proveďme pouze pro $ s=1 $. Hledaný prostor dovedeme přímo zkonstruovat, a to položením $ (\Omega', \sa', P') := \bigl([0,1], \bb([0,1]), \lambda \bigr) $, kde $ \lambda $ je Lebesgueova míra zúžená na interval $ [0,1] $ (je tedy v~tomto případě pravděpodobnostní). Posloupnost $ (Y_n) $ a její limitní veličinu $ Y $ sestrojíme pomocí kvantilových funkcí (viz definici \ref{def-kvantilova-fce}). Pokládáme tedy $ \forall n \in \mathbb{N} $ a $ \forall t \in [0,1] $:
		\begin{align*}
			Y_n(t) &:= F_{X_n}^-(t) = \inf\lbrace x \in \mathbb{R} \mid F_{X_n}(x) \geq t \rbrace,\\
			Y(t) &:= F_X^-(t) = \inf\lbrace x \in \mathbb{R} \mid F_X(x) \geq t \rbrace.
		\end{align*}
	O těchto veličinách dokážeme, že vyhovují tvrzení věty. Nemůžeme obecně napsat $ F_X^{-1} $, jelikož inverzní funkce v~pravém slova smyslu nemusí vždy existovat. Z~definice distribuční funkce máme:
	\begin{equation*}
		F_Y(y) = \lambda\bigl( \lbrace t \in [0,1] \mid Y(t) \leq y \rbrace\bigr) = \lambda\bigl( \lbrace t \in [0,1] \mid F_X^{-}(t) \leq y \rbrace\bigr) = \lambda\bigl( \lbrace t \in [0,1] \mid t \leq F_X(y) \rbrace\bigr) = F_X(y),
	\end{equation*}
	a to pro všechna $ y $. Zcela analogicky (připsáním indexu) ukážeme $ F_{Y_n} = F_{X_n} $. Rozdělení je jednoznačně určeno distribuční funkcí, takže $ (\forall n \in \mathbb{N})(P^{X_n} = P^{Y_n}) $ a $ P^X = P^Y $.
 
	To, že $ Y_n \ksj Y $, bylo ukázáno takzvaně "obrázkem". Možné případy mohou vypadat následovně:
	\begin{itemize}
		\item \textbf{$ F_X $ je ostře rostoucí a spojitá.} Pak nemáme potíže, protože $ F_X^- = F_X^{-1} $. Podle věty~\ref{veta-libova} ze skutečnosti, že $ X_n \kd X $, plyne konvergence $ F_{X_n} \rightarrow F_X $ v~bodech spojitosti. To, že i~$ F_{X_n}^{-1} \rightarrow F_{X}^{-1} $, je zaručeno spojitostí distribuční funkce.
		\item \textbf{$ F_X $ je na nějakém úseku konstantní.} Pak na tomto úseku nemůže existovat $ F_X^{-1} $ (její graf by byl svislý, takže to, čeho je grafem, nemůže být funkce). To však nevadí kvantilové funkci~$ F_X^- $, která existuje vždy; pouze bude v~bodě, který odpovídá funkční hodnotě konstantního úseku, nespojitá (ale definovaná zprava). Takových skoků může být podle věty \ref{v-o-nespoj-F} nanejvýš spočetně mnoho.
		\item \textbf{$ F_X $ je nespojitá.} Má-li $ F_X $ v~jistém bodě (či spočetně mnoha bodech) skok, pak s~tím $ F_X^- $ nemá problém, protože díky spojitosti $ F_X $ zprava bude tato hodnota kvantilovou funkcí spojitě dodefinována. 
	\end{itemize}
	Jelikož pracujeme s~Lebesgueovou mírou, je množina všech možných nespojitostí funkce $ F_X^- $ nulové míry (je nejvýše spočetným sjednocením množin míry nula). Symbolicky je
	\begin{equation*}
	\lambda\bigl(\lbrace t \in[0,1] \mid F_{X_n}^-(t) \nrightarrow F_X^-(t) \rbrace \bigr) = 0,
	\end{equation*}
	takže podle definice (viz \eqref{eq-ksj-pro-obecnou-miru}) $ F_{X_n}^- \ksj F_X^-$, a tím pádem $ Y_n \ksj Y $. 
\end{proof}
 
\begin{veta}\label{v-konv-v-distrib-a-transfce}
	Mějme posloupnost $ (X_n)_1^{+\infty} $, $ X_n\!\colon \Omega_n \rightarrow \mathbb{R}^s $ a nechť $ X_n \kd X $. Nechť $ h\colon \mathbb{R}^s \rightarrow \mathbb{R} $ je borelovsky měřitelná transformace, která je spojitá s.~j. vzhledem k~$ P^X $. Pak $ h(X_n) \kd h(X)$.
\end{veta}
\begin{proof}
	Podle Skorochodovy věty existuje společný prostor $ (\Omega', \sa', P') $, kde $ Y_n \ksj Y $ a $ P^X = P^Y $. Z~toho lze usoudit, že~$ h $ bude spojitá i~vzhledem k~rozdělení~$ P^Y $ a podle věty \ref{v-konv-podle-P-pro-transf} (schováno v~jejím důkazu) platí $ h(Y_n) \ksj h(Y) $ a odsud $ h(Y_n) \kd h(Y) $. Díky rovnosti rozdělení $ P^{X_n} = P^{Y_n} $ pro každé $ n \in \mathbb{N} $ je i~$ h(X_n) \kd h(X) $, což jsme měli ukázat.
\end{proof}
\begin{pozn}
	Podobně jako u~konvergence podle pravděpodobnosti by nás lákalo vyslovit následující tvrzení: \emph{Nechť $ X_n \kd X,\ Y_n \kd Y$ a $ h\colon \mathbb{R}^2 \rightarrow \mathbb{R}$ je s.~j. spojitá vzhledem k~$ P^{(X,Y)}$. Potom $ h(X_n, Y_n) \kd h(X,Y) $.} Pak bychom za $ h $ mohli zvolit libovolnou spojitou operaci (sčítání, násobení atd.), čímž by třeba $ X_n + Y_n \kd X + Y $. Takové tvrzení však neplatí, protože konvergence v~distribuci obecně nefunguje po složkách!
 
	Přesto bychom však chtěli něco takového (s výhledem do statistiky) zavést. V~následujícím textu uvidíme, že to půjde.
\end{pozn}
 
\begin{veta}[Slutského\footnote{Eugen Slutsky (1880--1948).} perturbační věta]\label{v-slutsky-perturbace} Buďte $ (X_n)_1^{+\infty}, (Y_n)_1^{+\infty}  $ posloupnosti veličin takových, že $ X_n,\, Y_n\colon \Omega_n \rightarrow \mathbb{R}^s $ a $ X_n \kd X $. Nechť $ Y_n $ jsou perturbacemi veličin $ X_n $, tzn. $ |X_n - Y_n| \kpp 0 $.\footnote{Pamatujme, že je tím myšlena eukleidovská norma.} Potom $ Y_n \kd X $.
\end{veta}
\begin{proof}
	Aby mohly $ Y_n $ "narušovat" $ X_n $, je důležité, aby působily na stejných prostorech. Víme, že se při posuzování konvergence $ Y_n \kd X $ stačí soustředit pouze na omezené $ L $-lipschitzovské funkce. Vezměme tedy takovou transformaci $ g $ a odhadujme výraz $ \left|\E g(X_n) - \E g(Y_n) \right| $. Když ho stlačíme pod libovolné $ \varepsilon $, budeme vědět, že posloupnosti $ (\E g(X_n)) $ a $ (\E g(Y_n)) $ mají stejnou limitu. Zvolme tedy $ \varepsilon > 0$. Pak
	\begin{equation*}
			\left|\E g(X_n) - \E g(Y_n) \right| \leq \E\left|g(X_n) - g(Y_n) \right| \stackrel{\text{VPI}}{=} \int_{\mathbb{R}^s}\left|g(x_n) - g(y_n) \right| \dd P^{(X_n, Y_n)} = (*)
	\end{equation*}
	Integrační obor rozložíme na $ E_1 = \lbrace x,\, y \in \mathbb{R}^s \mid |x_n - y_n| < \varepsilon \rbrace $ a $ E_2 = \lbrace x,\, y \in \mathbb{R}^s \mid |x_n - y_n| \geq \varepsilon \rbrace$. Potom
	\begin{align*}
		(*) &= \int\limits_{E_1}\underbrace{|g(x_n) - g(y_n)|}_{\leq L|x_n - y_n| < L\varepsilon} \dd P^{(X_n, Y_n)} + \int\limits_{E_2}\underbrace{|g(x_n) - g(y_n)|}_{\leq 2\sup\limits_{\mathbb{R}^s}|g(x)|} \dd P^{(X_n, Y_n)} < L\varepsilon \cdot 1 + 2\sup\limits_{\mathbb{R}^s}|g(x)|\int\limits_{E_2} 1 \dd P^{(X_n, Y_n)} =\\
		&= L \varepsilon + 2\sup\limits_{\mathbb{R}^s}|g(x)|\cdot P\bigl(|X_n - Y_n| \geq \varepsilon \bigr).
	\end{align*}
	Dle předpokladu víme, že pro libovolné $ \varepsilon > 0 $ je $ P\bigl(|X_n - Y_n| \geq \varepsilon \bigr) \rightarrow 0 $. Provedením limitního přechodu na obou stranách nerovnosti dostaneme, že $ \lim\limits_{n \rightarrow +\infty} \E g(Y_n) = \lim\limits_{n \rightarrow +\infty} \E g(X_n) = \E(g(X))$, takže i~pro posloupnost $ (Y_n) $ platí, že $ Y_n \kd X $. 
\end{proof}
Z~předchozí věty nyní vyplyne, že konvergence v~distribuci funguje po složkách, když alespoň jedna z~posloupností v~limitě zdegeneruje.
\begin{lemma}
	Buďte $ (X_n)_1^{+\infty}, (Y_n)_1^{+\infty} $ vektorové veličiny zobrazující do $ \mathbb{R}^s $ a nechť $ X_n \kd X $ a~$ Y_n \kd c \in \mathbb{R}^s$. Potom $ (X_n, Y_n) \kd (X,c) $.
\end{lemma}
\begin{proof}
	Není těžké zdůvodnit, že $ (X_n, c) \kd (X,c) $. Skutečně. Podle definice to bude pravdou, když pro každou $ f \in \mathcal{C}_{\text{B}} $, kde $ f = f(x,y) $, bude platit, že $ \E(f(X_n,c)) \rightarrow \E(f(X, c)) $. Uvažme funkci jedné proměnné $ g_c(x) := f(x,c) $, kde $ c $ nyní hraje roli pevného parametru. Pak je ale i~$ g_c $ spojitá a~omezená, a tedy $ \E(g_c(X_n)) \rightarrow \E(g_c(X)) $. Pro pevné $ c $ to je ekvivalentní s~konvergencí $ (X_n, c) \kd (X, c)  $.
 
	Do perturbační věty nyní dosaďme vektory $( X_n, c) $ a~$ (X_n, Y_n) $. Musíme ověřit, že druhý vektor je opravdu perturbací prvního. Podle definice eukleidovské normy je
	\begin{equation*}
		|(X_n, c) - (X_n, Y_n)| = \bigl((X_n - X_n)^2 + (c - Y_n)^2\bigr)^{1/2} = |Y_n - c| \kpp 0,
	\end{equation*}
	což jsme mohli říci díky větě \ref{v-z-konv-v-distr-plyne-podle-ppti}. Předpoklady perturbační věty jsou splněny, takže $ (X_n, Y_n) \kd~(X,c) $.
\end{proof}
Důsledkem předchozích tvrzení je tzv. Slutského věta.
\begin{veta}[Slutského]\label{v-slutsky}
	Nechť $ X_n \kd X $ a $ Y_n \kd c $. Potom
	\begin{itemize}
		\item $ X_n + Y_n \kd X + c $,
		\item $ X_n Y_n \kd Xc $,
		\item $ X_n/Y_n \kd X/c $, je-li $ c \neq  0$. 
	\end{itemize}
\end{veta}
\begin{proof}
	Plyne z~přechozího lemmatu a perturbační věty, když si uvědomíme, že zobrazení $ g(x,y) = x+y $, $ g(x,y) = xy $, $ g(x,y) = x y^{-1}$ jsou spojitá. (V~posledním případě je samozřejmě třeba, aby $ y \neq 0 $.)
\end{proof}
Následující věta je důležitým pojítkem mezi konvergencí v~distribuci a~\emph{bodovou} konvergencí charakteristických funkcí.
\begin{veta}[Lévyho\footnote{Paul Lévy (1886--1971). Neplést s~Beppem Levim, po němž se jmenuje věta \ref{v-beppo-levi}.} věta o spojitosti]\label{v-levyho-o-spoj} Nechť $ (X_n)_1^{+\infty} $ je posloupnost veličin $ X_n\colon \Omega_n \rightarrow \mathbb{R}^s $ a~$ \varphi_{X_n} $ jsou příslušné charakteristické funkce. Potom
	\begin{equation*}
	X_n \kd X\ \ \Longleftrightarrow\ \ \varphi_{X_n}\! \rightarrow \varphi_X,
	\end{equation*}
	tedy bodově. Tvrzení lze ekvivalentně přepsat pomocí Fourierovy transformace následovně:
	\begin{align*}
		P^{X_n} \kw P^X\ \ &\Longleftrightarrow\ \ \mathscr{F}[P^{X_n}] \rightarrow \mathscr{F}[P^{X}]\\
		\mathscr{F}^{-1}[P^{X_n}] \kw \mathscr{F}^{-1}[P^{X}]\ \ &\Longleftrightarrow\ \ \varphi_{X_n}\! \rightarrow \varphi_X.
	\end{align*}
	Fourierova transformace je tedy \emph{spojitá} vzhledem ke slabé konvergenci.
\end{veta}
\begin{proof}
	Neprovedeme důkaz celý, protože je zdlouhavý a náročný. Čtenář může nahlédnout do materiálů, které obdržel na přednášce.
	\begin{itemize}
		\item[$ (\Rightarrow) $] Tato implikace je snadná, neboť $ \sin, \cos \in \mathcal{C}_{\text{B}}^0 $, takže s~pomocí předpokladu  $ X_n \kd X $ a~věty~\ref{v-konv-v-distrib-a-transfce} máme:
		\begin{equation*}
			\varphi_{X_n}(t) = \E\left(\e^{\ii t X_n}\right) = \E(\cos t X_n) + \ii \E(\sin t X_n) \longrightarrow \E (\cos tX) + \ii \E(\sin tX) = \varphi_X(t).
		\end{equation*}
		\item[$ (\Leftarrow) $] Důkaz opačné implikace je náročnější část důkazu. Využijeme věty o vzájemné jednoznačnosti distribuční a charakteristické funkce~\ref{v-jedn-charakt}. Jsou-li $ a,b $ body spojitosti funkcí $ F_{X_n} $, pak můžeme psát (pro $ s=1 $):
		\begin{equation*}
			F_{X_n}(b) - F_{X_n}(a) = \frac{1}{2\pi}\lim_{c \rightarrow +\infty} \int_{-c}^c \frac{\e^{-\ii a t} - \e^{-\ii bt}}{\ii t} \varphi_{X_n}(t) \dd t.
		\end{equation*}
		Proveďme limitní přechod na obou stranách rovnosti:
		\begin{equation*}
			\lim_{n \rightarrow +\infty}\!\!\left(F_{X_n}(b) - F_{X_n}(a)\right) \stackrel{?}{=} \frac{1}{2\pi}\lim_{c \rightarrow +\infty} \int_{-c}^c \frac{\e^{-\ii a t} - \e^{-\ii bt}}{\ii t} \varphi_{X}(t) \dd t \stackrel{\ref{v-jedn-charakt}}{=} F_X(b) - F_X(a).
		\end{equation*}
		Za otazníkem se však skrývá mnoho nuancí:
		\begin{itemize}
			\item Lze zaměnit $ \lim_{c \rightarrow +\infty} $ a $ \lim_{n \rightarrow +\infty} $?
			\item Lze poté provést záměnu $ \int_{-c}^c $ a  $\lim_{n \rightarrow +\infty} $?
			\item Existuje limita na levé straně?
			\item Pokud ano, můžeme ji roztrhnout?
			\item Je pravdou, že $ \lim\limits_{n \rightarrow +\infty} F_{X_n}(b) = F_X(b)? $ (A podobně pro $ F_{X_n}(a) $?)
		\end{itemize}
		Na poslední otázku v~případě $ s = 1$ odpověděl E. Helly (1884--1943).
		\begin{veta}[Hellyho věta o selekci]
			Sestrojme množinu reálných funkcí jedné reálné proměnné
			\begin{equation*}
				\mathcal{F} := \bigl\lbrace F\!\colon \mathbb{R} \rightarrow \mathbb{R}\ \big\rvert\ F \text{ neklesá, je zprava spojitá a } 0 \leq F \leq 1 \bigr\rbrace. 
			\end{equation*}
			Potom je $ \mathcal{F} $ vzhledem ke slabé limitě \emph{kompaktním} prostorem, neboli
			\begin{equation*}
				\left(\forall\, (F_n)_{n=1}^{+\infty} \subset \mathcal{F}\right)\left(\exists\, (F_{n_k})_{k=1}^{+\infty}\right)\left(\exists\, F \in \mathcal{F}\left)\right(F_{n_k} \rightarrow F \in \mathcal{F}\right),
			\end{equation*}
			přičemž konvergence je bodová (a to v~bodech spojitosti).\footnote{Posluchači funkcionální analýzy spatřili v~tomto výroku definici \emph{sekvenciální} kompaktnosti, nikoli kompaktnosti samotné (prostor je sekvenciálně kompaktní, právě když každá posloupnost obsahuje konvergentní podposloupnost). To není chyba, když si uvědomíme, že na metrickém prostoru jsou tyto dva pojmy ekvivalentní. Prostor $ \mathcal{F} $ vybavený tzv.~Lévyho metrikou skutečně metrickým je.} Množina $ \mathcal{F} $ obsahuje všechny distribuční funkce, ale nejen ty, protože na její prvky neklademe požadavek $ \lim_{x \rightarrow +\infty} F(x) =~1 $. Takovým funkcím se říká \emph{subdistribuce}. Důkaz Hellyho věty najde čtenář v~přiložených materiálech.
		\end{veta} 
		Naznačíme, jak by se postupovalo dále. Ukážeme-li, že $ F_{X_n} \rightarrow F_X $ v~bodech spojitosti, pak odsud konvergence $ X_n \kd X $ vyplyne díky větě \ref{veta-libova}. Nejenže potřebujeme, aby $ (F_{X_n}) $ vůbec konvergovala, ale také musíme vědět, že limitní funkce je skutečně distribuční. Z~posloupnosti $ (F_{X_n}) \subset \mathcal{F} $ vybereme posloupnost $ (F_{X_{n_k}})_{k=1}^{+\infty} $. Pro tu díky Hellyho větě platí, že $ F_{X_{n_k}} \rightarrow F \in\mathcal{F} $. Nemáme však zaručeno, že~$ F $ je distribuční. Zde přichází na řadu předpoklad $ \varphi_{X_n} \rightarrow \varphi_{X} $. Potom jistě i~$ \varphi_{X_{n_k}} \rightarrow \varphi_{X} $ a navíc jsou funkce $ \varphi_{X_{n_k}} $ a $ F_{X_{n_k}} $ podle věty \ref{v-jedn-charakt} ve \emph{vzájemně jednoznačném vztahu}. Přitom je $ \varphi_X $ charakteristickou funkcí limitní veličiny~$ X $, tudíž není zbytí a je nutně $ F_X = F $. Tak je dokázáno, že $ F_{X_n} \rightarrow F_X $, a tedy $ X_n \kd X $. Odpovědi na ostatní otázky položené výše už jsou bohužel nad rámcem přednášky.\qedhere
	\end{itemize}
\end{proof}
 
\section{Centrální limitní věty}
Nyní už se blížíme k vyslovení tzv. centrálních limitních vět, které jsou spolu se zákony velkých čísel považovány za vrchol teorie pravděpodobnosti. Viděli jsme, že ve formulacích ZVČ vždy vystupoval aritmetický průměr i.~i.~d. náhodných veličin $ \xp $, který dle vět konvergoval (skoro jistě či podle pravděpodobnosti) ke střední hodnotě $ \mu $. V této fázi přednášky už víme, že z~této konvergence plyne konvergence v~distribuci, tj. $ \xp \kd \mu $. Znamená to, že ať je rozdělení $ \xp $ jakékoli, v~limitě zdegeneruje na  Diracovo~$ \delta_{\mu} $. Nabízí se zde vcelku jednoduchá myšlenka, která má však obrovský dopad, a sice že rozdělení~$ \xp $ přeškálujeme. Uvidíme, že nám v~distribuci už nezkonverguje k~degenerovanému rozdělení.
\begin{defi}
	Nechť $ (X_n)_{n=1}^{+\infty} $ je posloupnost náhodných veličin do $ \mathbb{R} $. Řekneme, že posloupnost $ (X_n)_{n=1}^{+\infty} $ je \textbf{asymptoticky normální} právě tehdy, když 
	existují číselné posloupnosti $ (\mu_n)_{n=1}^{+\infty} \subset \mathbb{R} $ a $ (\sigma_n)_{n=1}^{+\infty} \subset{\mathbb{R}}^+ $ takové, že platí:
	\begin{equation}\label{rovn-asy-norm}
	\frac{X_n - \mu_n}{\sigma_n} \kd Z,
	\end{equation} 
	kde $ Z $ je náhodná veličina s normálním rozdělením $ \mathcal{N}(0,1) $. Tuto skutečnost značíme \linebreak$ X_n \sim \mathcal{AN}(\mu_n, \sigma_n^2) $, přičemž $ \mu_n $ nazýváme \textbf{asymptotickou střední hodnotou} a $ \sigma_n^2 $  \textbf{asymptotickým rozptylem}.
\end{defi}
\newpage
\begin{pozn}
	$  $
	\begin{itemize}
		\item Čtenáře by mohlo napadnout aplikovat na konvergenci \eqref{rovn-asy-norm} střední hodnotu a tvrdit, že
		\begin{equation*}
		\E\left(\frac{X_n - \mu_n}{\sigma_n}\right) = \frac{1}{\sigma_n}(\E X_n - \mu_n) \xrightarrow{?} \E Z = 0.
		\end{equation*}
		\textsc{Pozor}, to ovšem není obecně pravda, protože identická transformace $ g = \id $ použitá do definice konvergence v~distribuci \ref{def-konvergence-rozdeleni} není omezená, a proto \emph{nemusí} být pravdou, že
		\begin{equation*}
		\E\left(\frac{X_n - \mu_n}{\sigma_n}\right) \rightarrow \E Z. 
		\end{equation*}
		\item Nechť má náhodná veličina $ Z $ rozdělení $ \mathcal{N}(0,1) $; víme, že její distribuční funkce $ F_Z $ je spojitá v~každém bodě. Nechť dále $ \frac{X_n - \mu_n}{\sigma_n} \kd Z $. Potom z~věty \ref{veta-libova} plyne bodová konvergence distribučních funkcí: 
		\begin{equation*}
		F_{\frac{X_n - \mu_n}{\sigma_n}} \rightarrow F_Z.
		\end{equation*}	
		Tudíž můžeme aproximovat distribuční funkci $ F_{\frac{X_n - \mu_n}{\sigma_n}} $ distribuční funkcí standardního normálního rozdělení~$ F_Z $ (kterou jsme značili $ \Phi $), a to s libovolnou přesností při volbě dostatečně velkého $ n \in \mathbb{N} $: 
		\begin{equation*}
		F_{\frac{X_n - \mu_n}{\sigma_n}} \approx F_Z.
		\end{equation*}
		Zpětným přeškálováním můžeme získat ekvivalentní aproximaci pomocí obecného normálního rozdělení, tj:
		\begin{equation*}
		F_{X_n} \approx F_{\tilde{Z}},
		\end{equation*}
		kde $ \tilde{Z} \sim \mathcal{N}(\mu_n, \sigma_n^2) $. Můžeme tedy aproximovat například pravděpodobnost tvaru:
		\begin{equation*}
		P(a < X_n \leq b) = F_{X_n}(b) - F_{X_n}(a) \approx \Phi\Bigl(\frac{b-\mu_n}{\sigma_n}\Bigr) - \Phi\Bigl(\frac{a-\mu_n}{\sigma_n}\Bigr),
		\end{equation*}
		kde $ \Phi $ je označení pro distribuční funkci standardního rozdělení $ \mathcal{N}(0,1) $. V praxi je tato aproximace hojně využívána.
	\end{itemize}
\end{pozn}
\paragraph{Úmluva.} Místo psaní $ \frac{X_n - \mu_n}{\sigma_n} \kd Z $, kde $ Z  \sim \mathcal{N}(\mu, \sigma^2) $, budeme využívat zkráceného zápisu:
\begin{equation*}
\frac{X_n - \mu_n}{\sigma_n} \kd \mathcal{N}(\mu, \sigma^2).
\end{equation*}
Je potřeba na tento zápis dopředu upozornit, jelikož rigorózně vzato jde o nesmysl. Na levé straně vystupuje náhodná veličina, na straně pravé rozdělení náhodné veličiny. Je jasné, že k sobě tyto entity nemohou konvergovat. 
\begin{veta}\label{v-pred-clt}
	Mějme posloupnost $ (X_n)_{n=1}^{+\infty} $ náhodných veličin zobrazujících do $ \mathbb{R} $. Nechť dále pro každé $ n \in \mathbb{N} $ je $ X_n \sim \asyn(\mu_n, \sigma_n^2) $, kde
	\begin{align*}
	\lim_{n \rightarrow +\infty} \mu_n &= \mu,\\
	\lim_{n \rightarrow +\infty} \sigma_n^2 &= 0.
	\end{align*}
	Potom $ X_n \kpp \mu $.
\end{veta}
\begin{proof}
	Z předpokladů věty plyne, že posloupnost $ (X_n)_{n=1}^{+\infty} $ degeneruje (rozdělení limitního prvku je Diracovo). Sestrojme posloupnost náhodných veličin $ (Y_n)_{n=1}^{+\infty} $ následovně:
	\begin{equation*}
	 (\forall n \in \mathbb{N})(Y_n := \sigma_n \text{ s. j. } P).
	\end{equation*}
	Pak můžeme psát:
	\begin{equation*}
	X_n - \mu_n \stackrel{\text{s.j. }P}{=} \left(\frac{X_n-\mu_n}{\sigma_n}\right) \cdot Y_n.
	\end{equation*}
	Z předpokladu víme, že $ X_n \sim \asyn(\mu_n, \sigma_n^2) $, a tedy $ \frac{X_n - \mu_n}{\sigma_n} \kd \mathcal{N}(0,1) $. Zároveň je z~naší konstrukce $ Y_n = \sigma_n $ a předpokladu $ \lim_{n \rightarrow +\infty} \sigma_n^2 = 0 $ zřejmé, že
	\begin{equation*}
	 Y_n \ksj 0  \Rightarrow Y_n \kpp 0 \Rightarrow Y_n \kd 0.
	\end{equation*}
	Splňujeme tedy všechny předpoklady Slutského věty \ref{v-slutsky}, takže je zaručeno, že i~součin konverguje v~distribuci:
	\begin{equation*}
	\underbrace{\left(\frac{X_n-\mu_n}{\sigma_n}\right)}_{\kd Z \sim \mathcal{N}(0,1)} \cdot \underbrace{\vphantom{\left(\frac{X_n-\mu_n}{\sigma_n}\right)}Y_n}_{\kd 0} \kd Z \cdot 0 = 0.
	\end{equation*}
	To nám rázem umožňuje použít větu \ref{v-z-konv-v-distr-plyne-podle-ppti}, v~níž jsme řešili, za kterých předpokladů platí implikace $ Z_n \kd Z \Rightarrow Z_n \kpp Z$. To je pravdou, když posloupnost $ (Z_n) $ zdegeneruje. Jak jsme však ukázali, $	X_n - \mu_n  \kd 0 $, tudíž podle zmíněné věty platí:
	\begin{equation*}
	X_n - \mu_n \kpp 0\ \Rightarrow\ X_n \kpp \mu.\qedhere
	\end{equation*}
\end{proof}
 
Blížíme se do finále a můžeme konečně vyslovit centrální limitní teorémy.
\begin{veta}[Lindebergova--Lévyho\footnote{Jarl W. Lindeberg (1876--1932).} formulace CLT, 20. léta 20. st.]\label{v-Lindeberg-Levy}
	Buďte $ (X_j)_{j=1}^{+\infty} \subset \mathcal{L}_2 $ i.~i.~d. Označme
	\begin{align*}
	(\forall j \in \mathbb{N})(\E X_j &= \mu),\\
	(\forall j \in \mathbb{N})(\D X_j &= \sigma^2),
	\end{align*}
	a nechť $ \sigma^2 > 0 $. Potom
	\begin{equation*}
	\xp \sim \asyn\left(\mu, \frac{1}{n}\sigma^2\right),
	\end{equation*}
	což můžeme podle definice ekvivalentně přepsat jako
	\begin{equation}\label{rovn-ekviv-tvrzeni}
	\frac{\xp - \mu}{\sigma/\sqrt{n}} \kd \mathcal{N}(0,1)\ \Longleftrightarrow\ \frac{S_n - n \mu}{\sqrt{n \sigma^2}} = \frac{S_n - \E S_n}{\sqrt{\D S_n}} \kd \mathcal{N}(0,1),
	\end{equation}
	kde $ S_n = n\,\xp = \sum_{j=1}^{n} X_j $. CLT nám poskytuje zcela zásadní poznatek: Ať už jsou i.~i.~d. veličiny~$ X_n $ jakkoli rozdělené, např. binomicky, normálně či poissonovsky, rozdělení jejich aritmetických průměrů se limitně blíží  \emph{normálnímu}. Distribuční funkci takto přeškálovaných veličin tedy můžeme pro dostatečně velká $ n $ aproximovat distribuční funkcí normálního rozdělení.
\end{veta} 
\begin{proof}
	Nejdříve provedeme důkaz pro $ \mu = 0, \ \sigma^2 = 1 $. Jistě budeme přeškálováním schopni dokázat tvrzení pro libovolné $ \mu $ a $ \sigma $ neporušující předpoklady věty.	
	\begin{enumerate}[(I)]
		\item Naším cílem je ukázat, že
		\begin{equation*}
		\xp \sim \asyn\Bigl(0,\frac{1}{n}\Bigr) \text{, tj. } \  \sqrt{n}\;\xp = \frac{S_n}{\sqrt{n}} \kd \mathcal{N}(0,1).
		\end{equation*}
		To bude díky Lévyho větě \ref{v-levyho-o-spoj} zaručeno, když ukážeme bodovou konvergenci příslušných charakteristických funkcí. Vezměme si charakteristickou funkci veličiny $ \frac{S_n}{\sqrt{n}} = \sum_{j=1}^n\frac{X_j}{\sqrt{n}} \stackrel{\text{ozn.}}{=}~Z_n$.
		\begin{equation*}
		\varphi_{S_n/\!\sqrt{n}}(t) = \varphi_{Z_n}(t) \stackrel{\ref{v-o-nezavislosti-char-fce}}{=} \prod_{j=1}^{n} \varphi_{X_j}\!\left(\frac{t}{\sqrt{n}}\right) \stackrel{\text{i.i.d.}}{=} \left(\varphi\left(\frac{t}{\sqrt{n}}\right)\right)^n = (*).
		\end{equation*}
		Díky tomu, že jsou veličiny $ (X_j)_{j=1}^{+\infty} $ i.~i.~d., mají společnou charakteristickou funkci. Dále z~předpokladu víme, že $ (X_j)_{j=1}^{+\infty} \subset \mathcal{L}_2 $, z čehož plyne $ \varphi \in \mathcal{C}^2 $ díky 4.~bodu věty~\ref{v-vlastnosti-char}. Nyní provedeme Taylorův rozvoj charakteristické funkce $ \varphi $ do druhého řádu v bodě $ t = 0 $. Připravme si proto nultou, první a druhou derivaci:
		\begin{itemize}
			\item $ \varphi(t)\big\rvert_{t=0}\ \, = \varphi(0) = 1$,
			\item $ \varphi'(t)\big\rvert_{t=0}\: = \ii \E X_1 = \ii \mu = 0 $,
			\item $ \varphi''(t)\big\rvert_{t=0} = \ii^2 \E(X_1)^2 = -1 \cdot \bigl(\E (X_1)^2 - \underbrace{(\E X_1)^2}_{=0}\bigr) = - \D X_1 = -1 $.
		\end{itemize}
		Rozviňme $ \varphi $ do druhého řádu
		\begin{equation}\label{rovn-komplexni-o}
		\varphi(t) = 1 - \frac{t^2}{2} + o\left(t^2\right), \text{ kde } \ \lim_{t \rightarrow 0} \frac{o(t^2)}{t^2} = 0,
		\end{equation}
		a pokračujme dosazením do $ (*) $:
		\begin{equation}\label{rovn-limitni-prechod}
		(*) = \left[1 - \frac{t^2}{2n} + o\left(\frac{t^2}{n}\right)\right]^n \xrightarrow[n \rightarrow +\infty]{\forall t \in \mathbb{R}}\ \e^{-t^2/2} = \varphi_{\mathcal{N}(0,1)}(t).
		\end{equation}
		Díky jednoznačnosti přiřazení $ \varphi_X \leftrightarrow P^X $ víme, že naše původní charakteristická funkce veličiny $ \frac{S_n}{\sqrt{n}} $ konverguje bodově k~charakteristické funkci veličiny s~normálním rozdělením $ \mathcal{N}(0,1) $, tj.
		\begin{equation*}
		\varphi_{\frac{S_n}{\sqrt{n}}} \longrightarrow \varphi_Z,
		\end{equation*}
		kde $ Z \sim {\mathcal{N}(0,1)} $. Z~Lévyho věty \ref{v-levyho-o-spoj} plyne kýžená konvergence v~distribuci:
		\begin{equation*}
		\frac{S_n}{\sqrt{n}} \kd Z.
		\end{equation*} 
		\item Buďte nyní $ \mu \neq 0$ a $ \sigma > 0 $ libovolné. Standardizujeme  naši posloupnost $ (X_j) $, tj. přejdeme k~$ (Y_j)_{j=1}^{+\infty} $ následovně:
		\begin{equation*}
			\forall j \in \mathbb{N}\colon\ Y_j := \frac{X_j - \mu}{\sigma}.
		\end{equation*}
		Je tedy $ \E Y_j = 0 $, $ \D Y_j = 1 $ a aritmetický průměr členů $ (Y_j)_{j=1}^n $ je roven $ \yp = \frac{1}{\sigma}(\xp - \mu)$. Podle bodu (I) můžeme psát, že $ \sqrt{n}\;\overline{Y_n} \kd \mathcal{N}(0,1)$, tedy
		\begin{equation*}
		\sqrt{n}\left(\frac{\xp - \mu}{\sigma}\right) \kd \mathcal{N}\left(0,\, 1\right)\ \Longrightarrow\ \xp \kd \mathcal{N}\left(\mu,\, \frac{1}{n}\sigma^2\right).
		\end{equation*}
		Tímto je věta dokázána. V~postupu je však jeden menší háček.
		\item V rovnici \eqref{rovn-komplexni-o} je totiž zbytkový člen $ o(t^2/n) $ obecně komplexní (ve~vyšších derivacích $ \varphi $ mohou zůstat mocniny imaginární jednotky). Správně bychom tedy měli ověřit korektnost limitního přechodu v~rovnici \eqref{rovn-limitni-prechod}, konkrétně je zapotřebí ukázat, že komplexní zbytek nezmění výslednou limitu. Naštěstí bude výsledek stejný, ale tento krok necháváme na čtenáři. Jistě si poradí převodem na obecnou mocninu a rozvojem logaritmu. \qedhere		
	\end{enumerate}
\end{proof}
\begin{dusl}
	Při stejném značení a stejných předpokladech upravujme tvrzení předchozí věty. Víme, že za daných předpokladů platí
	\begin{equation*}
	\xp \sim \asyn\left(\mu,\, \frac{1}{n}\sigma^2\right).
	\end{equation*}
	To je ekvivalentní s následujícím výrokem:
	\begin{equation*}
	\xp - \mu \sim \asyn\left(0,\,\frac{1}{n}\sigma^2\right),
	\end{equation*}
	přičemž $  \sigma^2/n \rightarrow 0 $. To ale znamená, že $ \xp - \mu  \kd Z $, kde $ Z \sim \delta_0 $. Z~věty \ref{v-pred-clt} plyne dokonce konvergence podle pravděpodobnosti:
	\begin{equation*}
	\xp - \mu \kpp 0.
	\end{equation*}
	Srovnáme-li nyní tyto předpoklady a samotné tvrzení se standardním ZVČ~\ref{v-slZVC-standardni}, vidíme, že Lindebergova--Lévyho formulace CLT je určitým zobecněním slabého ZVČ. Tam jsme pouze dozvěděli, že $\xp - \mu \kpp 0 $. Teď už ale víme víc. Upravme ještě jednou vztah $ \xp \sim \asyn(\mu, \frac{\sigma^2}{n}) $ následujícím způsobem:
	\begin{equation*}
	n^{\alpha}(\xp -\mu) \sim \asyn(0, n^{2\alpha -1} \sigma^2).
	\end{equation*}
	Předpokladem věty \ref{v-pred-clt} je, aby $ \lim_{n \rightarrow +\infty} n^{2\alpha -1} \sigma^2 =0 $. To zajistíme omezením $ \alpha < \frac{1}{2} $, a tak z~\ref{v-pred-clt} dostáváme, že
	\begin{equation*}
	n^{\alpha}(\xp -\mu) \kpp 0\ \text{ pro } \alpha < \frac{1}{2}.
	\end{equation*}
	Podařilo se nám tedy ještě zesílit tvrzení slabého ZVČ.
 
\end{dusl}
\begin{veta}[Moivreova--Laplaceova formulace CLT, 1738]
	Buďte $ (X_j)_{j=1}^{+\infty} \subset \mathcal{L}_2 $ i.~i.~d. veličiny s~Bernoulliho (též \emph{alternativním}) rozdělením, tj. 
	\begin{equation*}
	(\forall j \in \mathbb{N})(X_j \sim \text{Be}(p)),
	\end{equation*}
	kde $ p $ je pravděpodobnost, že nastane příznivý jev. Pak platí:
	\begin{equation*}
	\xp = \frac{1}{n}S_n \sim \asyn\left(p,\, \frac{p(1-p)}{n}\right).
	\end{equation*}
\end{veta}
\begin{proof}
	Jde o přímý důsledek Lindebergovy--Lévyho formulace \ref{v-Lindeberg-Levy} aplikované na Bernoulliho rozdělení, protože $ \E X_j = p $ a $ \D X_j = p(p-1)$ pro všechna $ j \in \mathbb{N} $. 
\end{proof}
\begin{dusl}
	Za stejných předpokladů položme $ S_n := \sum_{j=1}^{n} X_j $. Potom
	\begin{equation*}
	S_n \sim \text{Bi}(n,p),
	\end{equation*}
	kde $ \text{Bi}(n,p) $ značí \emph{binomické} rozdělení. Z předchozí věty tedy máme
	\begin{equation*}
	S_n \sim \asyn(np, np(1-p)),
	\end{equation*}
	což znamená, že distribuční funkci binomického rozdělení můžeme aproximovat pomocí distribuční funkce normálního rozdělení s parametry $ \mu = np $ a $ \sigma^2 = np(1-p) $. V~praxi se spíše užívá přeškálovaná forma (hodnoty distribuční funkce normálního rozdělení jsou tabelovány pouze pro $ \mathcal{N}(0,1) $) a využívá se následující konvergence:
	\begin{equation*}
	\frac{S_n -np}{\sqrt{np(1-p)}} \kd \mathcal{N}(0,1).
	\end{equation*}
	Tuto formu jsme obdrželi dosazením $ \mu $ a $ \sigma^2 $ do \eqref{rovn-ekviv-tvrzeni}.
\end{dusl}
 
\begin{pozn}
	Lindebergovu--Lévyho formulaci CLT lze rozšířit i~na $ \sigma = 0 $. Sice není dovoleno napsat "$ \sqrt{n}(\xp - \mu)/0 \kd \mathcal{N}(0,1) $", ale řekneme-li, že
	\begin{equation*}
		\sqrt{n}(\xp - \mu) \kd \mathcal{N}(0,0),
	\end{equation*}
	není s~tím žádný problém. V~takovém případě to znamená, že $ P^{\xp} \kw \delta_\mu $.
\end{pozn}
Předpoklady CLT lze ještě více zeslabit. Postačující podmínkou bude pouhá nezávislost veličin a splnění jistého požadavku na rozptyly.
\begin{veta}[Lindebergova--Fellerova\footnote{William Feller (1906--1970).} formulace CLT, 1922]\label{v-CLT-lind-feller} Buďte $ (X_j)_1^{+\infty} \subset \mathcal{L}_2 $ \emph{nezávislé}. Označme $ s_n^2 := \sum_{j=1}^n \sigma_j^2 $. Nechť je dále splněna tzv. \emph{Lindebergova podmínka}:
	 \begin{equation}\tag{LP}\label{eq-LP}
		 \forall \varepsilon > 0\colon \lim_{n \rightarrow +\infty} \frac{1}{s_n^2}\sum_{j=1}^n \int\limits_{T} (t-\mu_j)^2 \dd P^{X_j}(t) \stackrel{\text{ozn.}}{=} \lim_{n \rightarrow +\infty}\! L_n^{\varepsilon} = 0,
	 \end{equation}
	 kde integračním oborem je množina $ T = \lbrace t \in \mathbb{R}\; \big\rvert\; |t-\mu_j| > \varepsilon s_n \rbrace $. Potom platí:
	 \begin{equation*}
		 \xp \sim \mathcal{AN}\left( \mup, \frac{1}{n}\sip\right).
	 \end{equation*}
	Podle našeho značení je $ \mup = \frac{1}{n}\sum_{j=1}^n \mu_j $ a  $ \sip = \frac{1}{n} \sum_{j=1}^n \sigma_j^2 $.
\end{veta}
Větu ponecháme bez důkazu. Postupuje se podobně jako v~Lindebergově--Lévyho verzi, ale odhad komplexního zbytku musí být zpracován mnohem delikátněji.
\begin{pozn}
	Postačující podmínku dokázal Lindeberg. Feller později potvrdil, že podmínka \eqref{eq-LP} je dokonce nutná, platí-li navíc, že $ \max\limits_{j\in\hat{n}}\sigma_j^2 \big/s_n^2 \rightarrow 0$. Dohromady tedy pro nezávislé veličiny $ (X_j)_1^{+\infty} \subset \mathcal{L}_2 $ máme:
	\begin{equation*}
		\forall \varepsilon > 0 \text{ platí \eqref{eq-LP}}\ \Longleftrightarrow\ \xp \sim \mathcal{AN}\left( \mup,\, \frac{1}{n}\sip\right).
	\end{equation*}
\end{pozn}
Ověřování Lindebergovy podmínky je náročné, ale jednodušší kritérium poskytnul Ljapunov. \linebreak Zaplatíme za to tím, že budeme potřebovat veličiny, které jsou integrabilní s~vyšší než druhou mocninou.
\begin{veta}[Ljapunovova\footnote{Alexandr Ljapunov (1857--1918).} formulace CLT]\label{v-CLT-ljap}
	Mějme nezávislé veličiny $ (X_j)_1^{+\infty} \subset \mathcal{L}_{\nu} $, kde $ \nu > 2 $. Opět označme $ s_n^2 := \sum_{j=1}^n \sigma_j^2 $. Nechť je dále splněna \emph{Ljapunovova podmínka}:
	\begin{equation}\tag{LjP}\label{eq-LjP}
		\lim_{n \rightarrow +\infty} \frac{1}{s_n^\nu}\sum_{j=1}^n \E|X_j - \mu_j|^\nu = 0,
	\end{equation}
	neboli součet $ \nu $-tých centrálních momentů (v~absolutní hodnotě) $ \E|X_j-\mu_j|^{\nu} $ je řádu $ o(s_n^\nu) $. Potom
	\begin{equation*}
		\xp \sim \mathcal{AN}\left( \mup, \frac{1}{n}\sip\right).
	\end{equation*}
\end{veta}
\begin{proof}
	Ukážeme, že z~podmínky $ \eqref{eq-LjP} $ plyne $ \eqref{eq-LP} $. Zvolme libovolné $ \varepsilon >0$ a shora odhadujme výraz v~integračním oboru $ T $:
	\begin{equation*}
		1 < \frac{|t-\mu_j|}{\varepsilon s_n} < \frac{(t-\mu_j)^2}{(\varepsilon s_n)^2} < \frac{|t-\mu_j|^\nu}{(\varepsilon s_n)^\nu}.
	\end{equation*}
	Odsud vyjádříme $ (t-\mu_j)^2 $ a dosadíme do $ \eqref{eq-LP} $. Obdržíme tak horní odhad pro $ L_n^{\varepsilon} $:
		\begin{equation*}
		L_n^{\varepsilon} < \frac{1}{s_n^2} \sum_{j=1}^n \int_T |t-\mu_j|^{\nu}\, \varepsilon^{2-\nu}\, s_n^{2-\nu} \dd P^{X_j} \leq \frac{1}{s_n^2} \varepsilon^{2-\nu}\, s_n^{2-\nu} \sum_{j=1}^n \int_{\mathbb{R}} |t-\mu_j|^{\nu}\dd P^{X_j} = \varepsilon^{2-\nu}\frac{1}{s_n^\nu} \sum_{j=1}^n \E|X_j-\mu_j|^{\nu} \xrightarrow{n\rightarrow+\infty} 0.
		\end{equation*}
	Využili jsme předpokladu, že platí $ \eqref{eq-LjP} $. Odsud už díky větě \ref{v-CLT-lind-feller} dostáváme tvrzení.
\end{proof}
 
Jak vidno, v~teorii pravděpodobnosti je každá věta po někom pojmenována. Aby to autorům nebylo líto, vyslovíme následující tvrzení.
\begin{veta}[Kovářova--Van der Meerova formulace CLT, 2019]
	Buďte $ (X_j)_1^{+\infty} \subset \mathcal{L}_{\pi+\e}$ i.~d. a~nechť platí tzv. \emph{Kovářova podmínka}:
	\begin{equation*}
	\sum_{j=1}^n \E|X_j - \mu_j|^{\pi+\e} = o(s_n^{\pi+\e}).
	\end{equation*}
	Potom $ \xp \sim \asyn(\mup,\, \sip \big/ n) $.
\end{veta}
 
Věty, které budou následovat, jsou ponechány bez důkazu. Dále rozšiřují poznatky týkající se konvergence v~distribuci.
\begin{veta}[Pólyova\footnote{György Pólya (1887--1985).}] 
	Mějme posloupnost veličin $ (X_n)_1^{+\infty} $ a $ (\forall n \in \mathbb{N})(X_n \sim F_{X_n}) $. Nechť $ F_{X_n} \rightarrow~F_{X} $ bodově a nechť je limitní funkce $ F_X $ spojitá na $ \mathbb{R} $. Potom $ F_{X_n} \rightrightarrows F_X$ na $ \mathbb{R} $.
\end{veta}
\begin{proof}
	Konvergence v~distribuci se dle věty \ref{veta-libova} týká bodů spojitosti $ F_X $. Předpoklady požadují spojitost~$ F_X $ na $ \mathbb{R} $, takže je bodová konvergence $ F_{X_n} \rightarrow F_X$ zajištěna všude. Vcelku přímočarý důkaz je k~nahlédnutí např. zde \url{https://math.stackexchange.com/questions/2154799/proof-of-polyas-theorem}.
\end{proof}
\begin{dusl}
	Konvergence v~CLT je dokonce \emph{stejnoměrná} na $ \mathbb{R} $, neboť
	\begin{equation*}
	 Z_n = \frac{S_n - \E S_n}{\sqrt{\D S_n}} \kd Z \sim \mathcal{N}(0,1).
	\end{equation*}
	Jak víme z~věty \ref{veta-libova}, znamená to bodovou konvergenci $ F_{Z_n} \rightarrow F_Z $. Distribuční funkce normálního rozdělení je všude spojitá, a proto podle Pólyovy věty dokonce $ F_{Z_n} \rightrightarrows F_Z $ na celé reálné ose.
\end{dusl}
Nutnou a postačující podmínkou stejnoměrné konvergence je tzv. supremální kritérium. Následující věta nám poskytne horní odhad toho suprema, ovšem za silnějších předpokladů.
\begin{veta}[Berryho--Esseenova\footnote{A. C. Berry (1906--1998); C.-G. Esseen (1918--2001).}, 1941]
	Buďte $ (X_n)_1^{+\infty} \subset \mathcal{L}_3$ i.~i.~d. Potom existuje konstanta $ C > 0 $ taková, že
	\begin{equation*}
		\sup_{x \in \mathbb{R}}|F_{Z_n}(x) - F_Z(x)| \leq C\frac{\E|X_1 - \mu|^3}{\sigma^3} \frac{1}{\sqrt{n}},
	\end{equation*}
	kde $ \mu = \E X_1 $ a $ Z_n,\ Z $ jsou stejná jako výše. Věta říká, že toto supremum je nanejvýš řádu $ O(1/\sqrt{n}) $. Zatím nejlepší odhad konstanty $ C $ pochází z~roku 2012, a to $0,4097 < C < 0,4748 $.
\end{veta}
 
\section{Vícerozměrné Gaussovo rozdělení}
Na závěr výkladu se pokusíme odvodit CLT pro vektorové veličiny.
 
Mějme i.~i.~d. veličiny $ (\xx_j)_{j=1}^{+\infty} \subset \mathcal{L}_2$, kde $ (\forall j \in \mathbb{N})(\xx_j \colon \Omega \rightarrow \mathbb{R}^s) $ a položme
\begin{align*}	
	\E \xx_j &:= \mm\\
	\mathbb{C}(\xx_j) &:= \mathbb{C}.
\end{align*}
Vektor $ \mm $ a kovarianční matice $ \mathbb{C} $ jsou pro všechny veličiny společné. Požadavkem $ \xx_j \in \mathcal{L}_2 $ míníme integrabilitu ve všech složkách. Dále zaveďme $ \forall \ma \in \mathbb{R}^s $ jednorozměrné veličiny $ Y_j := \ma^{\text{T}}(\xx_j - \mm)$. (Za výchozí vektory z~$ \mathbb{R}^s $ budeme považovat sloupcové, proto transponujeme, aby měl součin rozměrově smysl.) Spočtěme $ \forall j \in \mathbb{N} $ jejich střední hodnotu a rozptyl:
\begin{align*}
	\E Y_j &= \ma^{\text{T}}(\E \xx_j - \mm) = 0,\\
	\D Y_j &= \D(\ma^{\text{T}}\xx_j - \ma^{\text{T}}\mm) \stackrel{\ref{v-rozptyl-afinni-transf}}{=} \D(\ma^{\text{T}}\xx_j) \stackrel{\ref{v-PSD-kovariancni-matice}}{=} \ma^{\text{T}}\mathbb{C}\ma < +\infty,\\
	\overline{Y_n} &= \frac{1}{n}\sum_{j=1}^n \ma^{\text{T}}(\xx_j - \mm) = \ma^{\text{T}}(\overline{\xx_n} - \mm).
\end{align*}
Na takové veličiny už ale umíme použít Lindebergův--Lévyho CLT \ref{v-Lindeberg-Levy}. Jeho aplikací zjistíme, že $ \sqrt{n}(\overline{Y_n} - 0) \kd \mathcal{N}(0,\,\ma^{\text{T}}\mathbb{C}\ma) $. Dosazením za $ \overline{Y_n} $ obdržíme:
\begin{align*}
	\ma^{\text{T}}\sqrt{n}(\overline{\xx_n} - \mm) \kd \mathcal{N}(0,\,\ma^{\text{T}}\mathbb{C}\ma)
\end{align*}
a přeznačením máme $ \forall \ma \in \mathbb{R}^s $:
\begin{equation*}
	\ma^{\text{T}}\uu_n \kd \ma^{\text{T}}\uu,
\end{equation*}
kde $ \uu_n := \sqrt{n}(\overline{\xx_n} - \mm) $. Náhodná veličina $ \uu $ má takovou vlastnost, že po vynásobení vektorem $ \ma \in~\mathbb{R}^s $ má veličina $ \ma^{\text{T}}\uu $ \emph{jednorozměrné} normální rozdělení $ \mathcal{N}(0,\, \ma^{\text{T}}\mathbb{C}\ma) $.\footnote{Dá se ukázat, že pokud $ (\forall \ma \in \mathbb{R}^s)(\ma^{\text{T}}\uu_n \kd \ma^{\text{T}}\uu) $, pak i~$ \uu_n \kd \uu $. Dr.~Kůs to s~oblibou zkouší na A.} Tímto nepřímým způsobem je definováno vícerozměrné Gaussovo rozdělení.
\begin{defi}
	Řekneme, že náhodná veličina $ \xx\colon \Omega \rightarrow \mathbb{R}^s $\emph{$ s $-rozměrné} Gaussovo rozdělení $ \mathcal{N}_s(\mm, \mathbb{C}) $, právě když
	\begin{equation*}
		\forall \ma \in \mathbb{R}^s\!\colon\ \ma^{\text{T}}\xx \sim \mathcal{N}(\ma^{\text{T}}\mm,\, \ma^{\text{T}}\mathbb{C}\ma),
	\end{equation*}
	kde $ \mm = \E \xx $, $ \mathbb{C} $ je kovarianční matice $ \xx $ a $\mathcal{N}(\ma^{\text{T}}\mm,\, \ma^{\text{T}}\mathbb{C}\ma)  $ už je jednorozměrné normální rozdělení. Jinými slovy: $ \xx $$ s $-rozměrné Gaussovo rozdělení, právě když každá jeho lineární kombinace má jednorozměrné Gaussovo rozdělení. 
\end{defi}
\begin{pozn}
	$  $
	\begin{itemize}
		\item Okamžitým důsledkem definice je, že má-li $ \xx $ $ s $-rozměrné normální rozdělení, pak je každá jeho složka $ X_j $ též normálně rozdělená, a sice jednorozměrně. Plyne to z~volby $ \ma = (0, \ldots, 1, \ldots, 0) $ s~jedničkou na $ j $-té pozici. Potom $ X_j \sim \mathcal{N}_1(\mu_j, c_{jj}) $.
		\item Naopak to ale říct nemůžeme. I~kdybychom měli $ s $ gaussovsky rozdělených veličin $ X_j $, $ j \in \hat{s} $, jejich společný vektor se nemusí nutně řídit $ s $-rozměrným normálním rozdělením. Uvidíme však, že pro nezávislé veličiny tomu tak bude.
	\end{itemize}
\end{pozn}
 
\begin{defi}[Asymtpotická normalita v $ \mathbb{R}^s $]
	Říkáme, že posloupnost vektorových veličin $ (\xx_n)_1^{+\infty} $, kde $ \xx_n\colon \Omega \rightarrow \mathbb{R}^s $, je \textbf{asymptoticky normální}, právě když
	\begin{equation*}
		\left(\exists\, (\mm_n)_1^{+\infty } \subset \mathbb{R}^s\right)\left(\exists\, (\sigma_n)_1^{+\infty} \subset \mathbb{R}^+\right)\left(\exists\, \mathbb{C} \in \mathbb{R}^{s,s}\right)\ \text{ tak, že }\ \frac{\xx_n - \mm_n}{\sigma_n} \kd \bm{Z} \sim \mathcal{N}(\bm{0}, \mathbb{C}),
	\end{equation*} 
	kde $ \mathbb{C} $ je libovolná pozitivně semidefinitní symetrická matice. Píšeme $ \xx_n \sim \asyn_s(\mm_n,\, \sigma_n^2\mathbb{C}) $.
\end{defi}
Vyslovme nyní CLT ve vektorové verzi, kterou jsme si odvodili na začátku odstavce.
\begin{veta}[Lindebergův--Lévyho CLT v $ \mathbb{R}^s $]
	Buďte $ (\xx_j)_{j=1}^{+\infty} \subset \mathcal{L}_2$ i.~i.~d. Potom $ \overline{\xx_n} \sim\linebreak \sim \asyn\left(\mm,\, \frac{1}{n}\mathbb{C}\right)$,
	kde $ (\forall j \in \mathbb{N})(\mm = \E\xx_j) $ a $ \mathbb{C} $ je jejich společná kovarianční matice.
\end{veta}
 
Zabývejme se otázkou, co se děje s~\emph{kvadrátem} aritmetického průměru $ \xp $ při konvergenci v~distribuci. Z~CLT již víme, že $ \sqrt{n}(\xp - \mu)/\sigma \kd Z \sim \mathcal{N}(0,1) $. Věta \ref{v-konv-v-distrib-a-transfce} zaručí, že se konvergence v~distribuci přenese i~libovolnou spojitou transformací. Jistě tedy při volbě transformace $ g(t) = t^2 $ bude platit, že
\begin{equation*}
	Z_n^2 = \Bigl(\sqrt{n}\,\frac{\xp-\mu}{\sigma}\Bigr)^2\ \kd\ Z^2 \sim \chi^2(1).
\end{equation*}
Proto můžeme můžeme použít aproximaci $ F_{Z_n} \approx F_Z $. Obecně však nemůžeme tvrdit, že by platilo $ F_{\xp^2} \approx F_{[\mathcal{N}(\mu,\, \sigma^2/n)]^2} $. Jak tento přenos obecně funguje u vektorových veličin, nám řekne následující věta.
\begin{veta}[Nabla-metoda]
	Mějme posloupnost $ (\xx_n)_1^{+\infty} $, $ \xx_n \sim \asyn_s(\mm_n,\, \sigma_n^2\mathbb{C}) $. Nechť navíc $ \mm_n \rightarrow \mm $ a $ \sigma_n \rightarrow 0 $. Buď dále $ g\colon \mathbb{R}^s \rightarrow \mathbb{R} $ taková transformace, že $ g \in \mathcal{C}^1(H_{\mm}) $. Potom
	\begin{equation*}
		g(\xx_n) \sim \asyn_1\left(g(\mm_n),\, \sigma_n^2(\nabla g(\mm)) \cdot \mathbb{C}\cdot \trans{(\nabla g(\mm))}\right).
	\end{equation*}
\end{veta}
\begin{proof}
	Budeme zkoumat veličinu $ \bigl(g(\xx_n) - g(\mm_n)\bigr)\big/\sigma_n $ a její konvergenci v~distribuci. Proto na okolí~$ H_{\mm} $ rozvineme funkci $ g $ do prvního řádu se středem v~bodě~$ \mm_n $. Máme tedy $ \forall n \in \mathbb{N} $:
	\begin{equation*}
		g(\xx_n) = g(\mm_n) + g'(\kk_n)(\xx_n - \mm_n),
	\end{equation*}
	kde $ \kk_n \in (\mm_n, \xx_n) $,\footnote{Označme takto \emph{spojnici} vektorů $ \mm_n  $ a $ \xx_n $.} jak plyne z vícerozměrného Taylorova rozvoje. Jelikož $ g $ zobrazuje do $ \mathbb{R}^1 $, je příslušná Jacobiho matice jednořádková, tj. $ g'(\kk_n) = (\partial_{x_1}g,\ldots, \partial_{x_s}g) = \grad g = \nabla g $. 
 
	Otázkou je, jak se vlastně chová vektor $ \kk_n $. To, kde leží, totiž závisí na $ \xx_n $. Ve skutečnosti se tedy jedná o náhodnou veličinu $ \kk_n = \kk_n(\xx_n) $. Předpoklady $ \mm_n \rightarrow \mm $ a $ \sigma_n \rightarrow 0 $ nám umožňují použít větu \ref{v-pred-clt}, která říká, že potom $ \xx_n \kpp \mm $. To ale znamená, že i~$ \kk_n \kpp \mm $. Spojitá transformace přenáší i~konvergenci podle pravděpodobnosti, takže $ g'(\kk_n) \kpp g'(\mm) $ (zdegeneruje). Máme tedy:
	\begin{equation*}
		\frac{g(\xx_n) - g(\mm_n)}{\sigma_n} = \underbrace{\vphantom{\frac{\xx_n - \mm_n}{\sigma_n}}g'(\kk_n)}_{\kd g'(\mm)}\cdot\underbrace{\frac{\xx_n - \mm_n}{\sigma_n}}_{\kd \bm{Z} \sim \mathcal{N}_s(\bm{0}, \mathbb{C})} \kd g'(\mm) \cdot \bm{Z} \sim \mathcal{N}_1\left( \bm{0};\, (\nabla g(\mm)) \cdot \mathbb{C}\cdot \trans{(\nabla g(\mm))}\right).
	\end{equation*}
	Použili jsme Slutského větu \ref{v-slutsky} pro součin. To, že $ g'(\mm)\cdot\bm{Z} \sim \mathcal{N}_1$, plyne z~definice $ s $-rozměrného rozdělení, kde bereme $ \trans{\ma} = g'(\mm) = \nabla g(\mm) $ (tento vektor je nyní řádkový, takže musíme transponovat pravou stranu součinu). Tím je tvrzení dokázáno.
\end{proof}
\begin{dusl}
	V jedné dimenzi zvolme transformaci $ g(t) = t^2 $. Derivace je $ g'(\mu) = 2\mu $ a~$ g(\mu) =~\mu^2 $ Je-li podle CLT $ \xp \sim \asyn(\mu, \sigma^2/n) $, potom nám předchozí věta říká, že
	\begin{equation*}
		\xp^2 \sim \asyn\left(\mu^2;\, 2\mu \cdot\frac{\sigma^2}{n}\cdot 2\mu\right) = \asyn\left(\mu^2;\, 4\mu^2\frac{\sigma^2}{n}\right),
	\end{equation*}
	takže můžeme aproximovat distribuční funkci kvadrátu aritmetického průměru: $ F_{\xp^2} \approx F_{Z} $, kde $ Z \sim \mathcal{N}(\mu^2,\, 4\mu^2\sigma^2/n) $. 
\end{dusl}
 
Odvoďme ještě charakteristickou funkci $ s $-rozměrně rozdělené veličiny $ \xx $.
\begin{veta}\label{v-char-fce-vekt}
	Nechť $ \xx \sim \mathcal{N}_s(\mm, \mathbb{C}) $. Potom má charakteristická funkce veličiny $ \xx $ následující tvar:
	\begin{equation*}
		\forall \mt \in \mathbb{R}^s\colon\ \varphi_{\xx}(\mt) = \exp\left(\ii \trans{\mt}\mm - \frac{1}{2}\trans{\mt}\mathbb{C}\mt\right).
	\end{equation*}
\end{veta}
\begin{proof}
	Z~definice je $ \varphi_{\xx}(\mt) = \E(\e^{\ii \trans{\mt}\cdot\xx}) $. Pokud však $ \xx \sim \mathcal{N}_s $, potom $ \trans{\mt}\cdot \xx \stackrel{\text{ozn.}}{=} Y \sim \mathcal{N}_1(\trans{\mt}\mm,\, \trans{\mt}\mathbb{C}\mt) $. S~využitím VPI a dříve spočítané jednorozměrné charakteristické funkce můžeme psát
	\begin{equation*}
		\varphi_{\xx}(\mt) = \E(\e^{\ii \trans{\mt}\cdot\xx}) \stackrel{\text{VPI}}{=} \E(\e^{iY}) = \E(\e^{i1Y}) = \varphi_Y(1) \stackrel{\ref{priklad-mX}}{=} \exp\left(\ii 1(\trans{\mt}\mm) - \frac{1}{2} 1^2(\trans{\mt}\mathbb{C}\mt)\right).
	\end{equation*}
	Do \ref{priklad-mX} jsme dosadili bod $ t = 1 $ a parametry $ \mu = \trans{\mt}\mm $, $ \sigma^2 = \trans{\mt}\mathbb{C}\mt$.
\end{proof}
 
Jak uvidíme v~následující větě, gaussovskost rozdělení se nezmění dokonce ani po linární transformaci libovolnou maticí $ \mathbb{D} $.
\begin{veta}\label{asymp-transformace}
	Nechť $ \xx \sim \mathcal{N}_s(\mm, \mathbb{C}) $, kde $ \mathbb{C} \in \mathbb{R}^{s,s} $. Mějme dále transformační matici $ \mathbb{D} \in \mathbb{R}^{k,s} $, kde $ k \in \hat{s} $. Potom pro veličinu $ \yy := \mathbb{D}\xx $ platí:
	\begin{equation*}
		\yy \sim \mathcal{N}_k(\mathbb{D}\mm,\, \mathbb{D}\mathbb{C}\trans{\mathbb{D}}).
	\end{equation*}
\end{veta}
\begin{proof}
	Určíme charakteristickou funkci veličiny $ \yy $. Čtenář ať se neleká manévrů s~transpozicemi. Takto to musí vypadat, má-li dávat násobení rozměrově smysl. Pro všechna $ \mt \in \mathbb{R}^k $ je
	\begin{align*}
		\varphi_{\yy}(\mt) &= \E\left[\exp(\ii\trans{\mt}\yy)\right] = \E\left[\exp(\ii (\trans{\mt}\mathbb{D})\xx)\right] = \E\left[\exp\bigl (\ii\trans{(\trans{\mathbb{D}}\mt)}\xx\bigr)\right] = \varphi_{\xx}(\trans{\mathbb{D}}\mt)=\\ 
		&\stackrel{\ref{v-char-fce-vekt}}{=} \exp\left(\ii \trans{(\trans{\mathbb{D}}\mt)}\mm - \frac{1}{2}\trans{(\trans{\mathbb{D}}\mt)}\mathbb{C}(\trans{\mathbb{D}}\mt)\right) = \exp\left(\ii \trans{\mt}(\mathbb{D}\mm) - \frac{1}{2}\trans{\mt}(\mathbb{D}\mathbb{C}\trans{\mathbb{D}})\mt\right).
	\end{align*}
	Tato charakteristická funkce musí příslušet rozdělení $ \mathcal{N}_k(\mathbb{D}\mm,\, \mathbb{D}\mathbb{C}\trans{\mathbb{D}}) $, což víme díky jednoznačnosti přiřazení $ F_{\yy} \leftrightarrow \varphi_{\yy} $ z~věty \ref{v-jedn-charakt}.
\end{proof}
 
Jak říká věta \ref{vlastnosti-Cov}, z~nezávislosti veličin plyne jejich nekorelovanost. Normální rozdělení má však ještě jednu zajímavou vlastnost: pojmy nezávislosti a nekorelovanosti jsou u něj totiž \emph{ekvivalentní}. 
\begin{veta}
	Nechť $ (X_1, \ldots, X_s) = \xx \sim \mathcal{N}_s(\mm, \mathbb{C}) $. Pak jsou veličiny $ (X_j)_1^s $ nezávislé, \emph{právě když} jsou nekorelované, neboli $ \mathbb{C}(\xx) = \diag(\sigma_1^2, \ldots, \sigma_s^2) $.
\end{veta}
\begin{proof}
	$  $
	\begin{itemize}
		\item[$ (\Rightarrow) $] Jsou-li veličiny nezávislé, pak jsou jistě nezávislé po dvou, takže $ (\forall i \neq j)(\cov(X_i, X_j) = 0) $.
		\item[$ (\Leftarrow) $] Stačí, když ukážeme, že $ \varphi_{\xx}(\mt) = \prod_{j=1}^s \varphi_{X_j}(t_j) $. Skutečně, z~předpokladu je $ \mathbb{C}(\xx) =\linebreak= \diag(\sigma_j^2)_{j=1}^s $, takže
		\begin{align*}
			\varphi_{\xx}(\mt) &\stackrel{\ref{v-char-fce-vekt}}{=} \exp\Bigl(\ii \trans{\mt}\mm - \frac{1}{2} \trans{\mt} \cdot\diag(\sigma_j^2)_{j=1}^s\cdot \mt \Bigr) \\
			&= \exp\Bigl(\ii\sum_{j=1}^s t_j\mu_j - \frac{1}{2}\sum_{j=1}^s t_j^2 \sigma_j^2\Bigr)\\
			&= \prod_{j=1}^s\exp\Bigl(\ii t_j\mu_j - \frac{1}{2}(t_j\sigma_j)^2\Bigr) \\
			&= \prod_{j=1}^s\varphi_{X_j}(t_j),
		\end{align*}
		což vynucuje nezávislost veličin $ (X_j)_1^s $.\qedhere
	\end{itemize}
\end{proof}
\begin{dusl}
	V~případě nezávislých veličin $ (X_j)_1^s \sim \mathcal{N}(\mu_j,\sigma_j^2)$ tedy můžeme říci, že z~nich složený vektor $ \xx $$ s $-rozměrné normální rozdělení $ \mathcal{N}_s\bigl(\mm,\, \diag(\sigma_j^2)_{j=1}^s\bigr) $.
\end{dusl}
 
\section{Vícerozměrná hustota pravděpodobnosti}
 
\begin{veta}
	Nechť $ (X_1, \ldots, X_s) = \xx \sim \mathcal{N}_s(\mm, \mathbb{C}) $ a buď dále $ \mathbb{C} $ regulární matice. Pak existuje regulární matice $ \mathbb{A} \in \mathbb{R}^{s,s} $ a náhodná veličina $ \bm{Z} $ taková, že platí:
	\begin{align*}
	\mathbb{C} &= \mathbb{A} \trans{\mathbb{A}},\\
	\xx &= \mathbb{A} \zz + \mm,
	\end{align*}
	kde $ \zz \sim \mathcal{N}_s(\bm{0}, \mathbb{I}) $. 
\end{veta}
\begin{proof}
	Kovarianční matice $ \mathbb{C} $ je obecně pozitivně \emph{semidefinitní}, protože však předpokládáme regularitu, musí být $ \mathbb{C} $ pozitivně \emph{definitní}. Jelikož je $ \mathbb{C} $ symetrická, je tím pádem i~diagonalizovatelná, takže existuje ortogonální matice $ \mathbb{B} \in \mathbb{R}^{s,s} $ taková, že $ \trans{\mathbb{B}} \mathbb{C} \mathbb{B} = \mathbb{I} $. Z lineární algebry víme, že matice $ \mathbb{B} $ je tvořena vlastními vektory příslušejícími vlastním číslům matice $ \mathbb{C} $.\newpage Jednotlivé vlastní vektory jsme podělili příslušnými vlastními čísly, aby nám nevyšla obecná diagonální matice $ \mathbb{D} $, ale přímo matice jednotková $ \mathbb{I} $. Definujme náhodnou veličinu $ \zz $ následovně:
	\begin{equation}\label{nahodna vel z}
	\zz = \trans{\mathbb{B}}(\xx - \mm)
	\end{equation}
	a označme $ \mathbb{A} = (\trans{\mathbb{B}})^{-1} $. Potom úpravou rovnice \eqref{nahodna vel z} dostáváme
	\begin{equation*}
	\xx = \mathbb{A} \zz + \mm.
	\end{equation*}
	Ověřme, že pro takto označenou matici $ \mathbb{A} $ už platí tvrzení věty:
	\begin{align*}
	\trans{\mathbb{B}} \mathbb{C} \mathbb{B} &= \mathbb{I} \\
	\mathbb{C} \mathbb{B} &= \mathbb{A}\\
	\mathbb{C} &= \mathbb{A} \mathbb{B}^{-1} \\
	\mathbb{C} &\stackrel{\footnotemark}{=} \mathbb{A} \trans{\mathbb{A}}.	
	\end{align*}
	\footnotetext{Zde jsme využili rovnosti $ (\trans{\mathbb{B}})^{-1} = \trans{(\mathbb{B}^{-1})} $.}Zbývá ukázat, že má náhodná veličinu $ \zz $ opravdu rozdělení $ \mathcal{N}_s(0, \mathbb{I}) $. Z předpokladu víme, že $ (\xx - \mm) \sim \mathcal{N}_s(0, \mathbb{C}) $, stačí tedy použít větu \ref{asymp-transformace}, kde bude roli $ \mathbb{D} $ hrát matice $ \trans{\mathbb{B}} $, tj. 
	\begin{equation*}
	\zz = \trans{\mathbb{B}}(\xx -\mm) \sim \mathcal{N}(\bm{0}, \trans{\mathbb{B}} \mathbb{C} \mathbb{B}) =  \mathcal{N}(\bm{0}, \mathbb{I}).\qedhere
	\end{equation*}
\end{proof}
 
V~jedné dimenzi víme, že hustota normálního rozdělení existuje vždy až na případ $ \sigma = 0 $. Ve více rozměrech už je otázka existence komplikovanější; závěrečná věta nám však poskytne nutnou a postačující podmínku.
\begin{veta}[Hustota pravděpobnosti vícerozměrného normálního rozdělení]
	Nechť $ (X_1, \ldots, X_s) =\linebreak= \xx \sim \mathcal{N}_s(\mm, \mathbb{C}) $. Hustota pravděpodobnosti $ f_{\xx} $ náhodné veličiny $ \xx $ existuje právě tehdy, když je kovarianční matice $ \mathbb{C} $ regulární, a je tvaru
	\begin{equation}
		f_{\xx}(\mx) = \frac{1}{\sqrt{(2\pi)^s\det\mathbb{C}}}\exp\left(-\frac{1}{2}\trans{(\mx-\mm)}\mathbb{C}^{-1}(\mx-\mm)\right).
	\end{equation}
\end{veta}
\begin{proof}
	Přechozí věta nám zaručuje existenci matice $ \mathbb{A} $ a veličiny $ \bm{Z} $ takových, že $ \xx = \mathbb{A}\bm{Z} +~\mm $ a $ \mathbb{A}\trans{\mathbb{A}} = \mathbb{C}$. Z~toho, že $ \bm{Z} \sim \mathcal{N}_s(\bm{0}, \mathbb{I}) $, plyne, že každá její složka $ Z_j $ má standardní normální rozdělení $ Z_j \sim \mathcal{N}_1(0,1) $ a jsou vzájemně nezávislé. Spočtěme nejdříve hustotu $ f_{\bm{Z}} $ a pak pomocí věty o~transformaci hustoty \ref{v-o-tranfci-Rn-Rn} přejdeme k~$ f_{\xx} $. Díky nezávislosti máme $ \forall \bm{z} \in \mathbb{R}^s $:
	\begin{equation*}
		f_{\bm{Z}}(\bm{z}) = \prod_{j=1}^s f_{Z_j}(z_j) = \prod_{j=1}^s\Bigl(\frac{1}{\sqrt{2\pi}}\exp(-z_j^2/2)\Bigr) = \frac{1}{\sqrt{(2\pi)^s}}\exp\Bigl(-\frac{1}{2}\sum_{j=1}^s z_j z_j\Bigr) = \frac{1}{\sqrt{(2\pi)^s}}\exp\Bigl(-\frac{1}{2}\trans{\bm{z}}\cdot\bm{z}\Bigr).
	\end{equation*}
	Naší transformací $ g\colon\mathbb{R}^s \rightarrow \mathbb{R}^s $ je nyní $g\colon \bm{Z} \mapsto \mathbb{A}\bm{Z} + \mm$, takže $ g^{-1}\colon \bm{X} \mapsto \mathbb{A}^{-1}(\xx-\mm) $. Jakobián transformace $ g^{-1} $ je $ |\det \mathbb{J}_{g^{-1}}| = |\det\mathbb{A}^{-1}|$. My však víme, že $ \mathbb{C} = \mathbb{A}\trans{\mathbb{A}}$, tedy  $ \det\mathbb{C} = (\det\mathbb{A})^2 $, odkud snadno zjistíme, že $ \det\mathbb{A}^{-1} = 1/\sqrt{\det\mathbb{C}}$. Odsud už použitím věty \ref{v-o-tranfci-Rn-Rn} obdržíme kýženou hustotu:
	\begin{align*}
		f_{\xx}(\mx) &= \frac{1}{\sqrt{(2\pi)^s}}|\det\mathbb{A}^{-1}|\exp\left(-\frac{1}{2}\trans{\bigl(\mathbb{A}^{-1}(\mx-\mm)\bigr)}\mathbb{A}^{-1}(\mx-\mm)\right)\\ &=\frac{1}{\sqrt{(2\pi)^s\det\mathbb{C}}}\exp\left(-\frac{1}{2}\trans{(\mx-\mm)}\mathbb{C}^{-1}(\mx-\mm)\right).
	\end{align*}
\end{proof}