Zdrojový kód
%\wikiskriptum{01MIP}
%
\chapter{Charakteristiky hustoty pravděpodobnosti}
Tato kapitola je věnována pojmům, které lze nyní pomocí hustoty pravděpodobnosti zavést. Řadíme sem charakteristiky neintegrální, nezávislé na pojmu integrál, a~charakteristiky integrální, jež definujeme prostřednictvím Lebesgueova integrálu na prostoru s~pravděpodobnostní mírou. Konečně se tak seznámíme s~důležitými vlastnostmi rozdělení, jako jsou střední hodnota, rozptyl a~momenty vyšších řádů.
\section{Neintegrální charakteristiky}
\begin{defi}
Nechť $ X \sim f_{X} $.
\begin{itemize}
\item \textbf{Nosičem} hustoty pravděpodobnosti nazveme množinu $ \supp f_X := \overline{\lbrace x \in \mathbb{R} \mid f_X(x) > 0 \rbrace} $. Ekvivalentně: Je to nejmenší uzavřená množina taková, že $ F_X(\supp f_X) = P(X \in \supp f) =~1 $.
\item Množinou \textbf{módů} budeme rozumět $ \!\!\!\! \mod\! f_X := \lbrace x \in \mathbb{R} \mid f_X \text{ nabývá v } x \text{ maxima} \rbrace.$ Toto maximum může být lokální či globální. Má-li $ f_X $ jen jedno maximum, říkáme, že~$ X $ má \emph{unimodální rozdělení}.
\item Veličina $ X $ má \textbf{symetrické rozdělení} okolo bodu $ x = 0 $, když platí: $ X \sim P^X \Leftrightarrow -X \sim P^X$. Symetrii okolo libovolného bodu $ x = a $ definujeme tak, že $ X - a $ je symetrická kolem $ x = 0 $.
\end{itemize}
\end{defi}
\begin{defi}[Kvantilová funkce]\label{def-kvantilova-fce}
Nechť $ X \sim F_X $. Funkci inverzní k~$ F_X $ nazýváme \textbf{kvantilovou funkcí} a~$ \forall \alpha \in (0,1) $ ji definujeme předpisem
\begin{equation}\label{eq-kvantil}
F^{-}_X(\alpha) := \inf\lbrace x \in \mathbb{R} \mid F_X(x) \geq \alpha \rbrace.
\end{equation}
\end{defi}
\begin{pozn}\label{pozn-kvantil}
Jak víme, distribuční funkce je s~pravděpodobností spojena vztahem $ F_X(x) =\linebreak= P(X \leq x) = \alpha \in [0,1]$. Ukázali jsme si, že $ F_X $ je monotónní (a sice rostoucí), takže k~ní v~bodech, kde je spojitá a~\emph{ryze} monotónní, existuje inverze\footnote{Nemusíme ji však najít v~elementárním tvaru, jako je tomu např. u~normálního rozdělení.}, tedy $ F_X^{-1}(\alpha) = x $.
Kvantilová funkce je do jisté míry inverzní funkcí k~$ F_X $, značíme ji však $ F_X^{-} $, protože ne vždy může být o~inverzi řeč. Problém nastává např. v~případě diskrétního rozdělení, které není spojité a~ryze monotónní. Našli bychom mnoho bodů $ x $, pro něž je $ F_X(x) = \alpha $, takže musíme přikročit k~obecnější definici přes infimum~\eqref{eq-kvantil}. Toto infimum je vždy jednoznačně dáno, jelikož distribuční funkce $ F_X $ je z definice zprava spojitá. Můžeme však říci že $ F_X^{-} = F_X^{-1}$ v~případě, že $ F_X $ je spojitá a ryze monotónní. Je-li $ F_X $ pouze ostře rostoucí, splývají na definičním oboru $ F_X^{-1} $.
Specifickým bodům (hodnotám kvantilové funkce), které rozdělují obor hodnot distribuční funkce na části, jejichž pravděpodobnostní míra je stejná, říkáme \textbf{kvantily}. \textbf{Alfa-kvantily} vymezují "přepážky", které dělí plochu pod grafem hustoty pravděpodobnosti na $ \alpha \in \mathbb{N}$ stejných částí (tedy je jich právě $ \alpha - 1 $), a~budeme je značit~$ x_\alpha $. Tyto přepážky získáme zapůsobením kvantilovou funkcí v~bodech $ j/\alpha $, kde $ 0 < j <\alpha $. Např. $ 4$-kvantily jsou body $ F_X^{-}(1/4) $, $ F_X^{-}(2/4) $, $ F_X^{-}(3/4) $ a~říká se jim \emph{kvartily}. Zmiňme dále třeba $ 5$-kvantily (\emph{kvintily}) či $ 100 $-kvantily (neboli \emph{percentily}). Jediný $ 2 $-kvantil (čili $ F_X^{-}(1/2) $) je tzv.~\emph{medián} -- prostřední hodnota statistického souboru.
Je-li to z~nějakého důvodu nutné, lze v~definici kvantilové funkce uvažovat i~$ \alpha = 0 $ či $ \alpha = 1 $.
\end{pozn}
\begin{priklad}
Graf distribuční funkce $ F_X $ na obrázku \ref{fig5-kvantily} názorně ilustruje nutnost obecné definice kvantilové funkce.
\begin{enumerate}[(1)]
\item Alfa-kvantil příslušný $ \alpha_1 $ zjistíme přímo pomocí \emph{inverzní} funkce $ F_X^{-1} $, jelikož na okolí $ x_{\alpha_1} $ je distribuční funkce ostře rostoucí.
\item Alfa-kvantil příslušný $ \alpha_2 $ je dle definice nejbližší bod zprava $ x $ takový, že $ F_X(x) \geq \alpha_2 $, tudíž bod $ x_{\alpha_2} $.
\item Alfa-kvantil příslušný $ \alpha_3 $ by byl nejednoznačný, kdybychom neměli obecnou definici alfa-kvantilu přes infimum; platí totiž $ \left(\forall x \in [x_{\alpha_3}, x_{\alpha_2})\right)\left(F_X(x) \geq \alpha_3\right) $. Infimem tohoto intervalu je bod $ x_{\alpha_3} $, tj. alfa-kvantil příslušný $ \alpha_3 $ je bod $ x_{\alpha_3} $.
\end{enumerate}
\begin{figure}[h]
\centering
% \begin{subfigure}[h]
\includegraphics[width=0.65\textwidth]{Fig5-kvantily.png}
\caption{Příklad nespojité distribuční funkce, kde je nutné hledat inverzi pomocí definice \eqref{eq-kvantil}.}
\label{fig5-kvantily}
% \end{subfigure}
\end{figure}
\end{priklad}
\begin{veta}
Mějme náhodnou veličinu $ X \sim F_X $, symetrickou okolo bodu $ a \in \mathbb{R} $ a nechť je $ F_X $ ostře rostoucí funkce. Pak platí:
\begin{equation*}
\left(\forall \alpha \in (0,1)\right)\left(x_{\alpha} = 2a - x_{1-\alpha}\right).
\end{equation*}
Speciálně pro volbu $ a = 0 $ platí $ x_{\alpha} = -x_{1-\alpha} $.
\end{veta}
\begin{proof}
V důkazu se omezíme na spojité distribuční funkce $ F_X $. Buď $ F_X $ ostře rostoucí a navíc spojitá funkce. Pak můžeme využít poznámky \ref{pozn-kvantil} a psát $\left(\forall \alpha \in (0,1)\right) (x_{\alpha} = F_X^{-1}(\alpha) )$.
\begin{align*}
\alpha &= F_X(x_{\alpha}) \\
&= P(X-a \leq x_{\alpha} - a) \\
&\stackrel{\footnotemark}{=} P(-X+a \leq x_{\alpha} -a) \\
&= P(X \geq 2a - x_{\alpha}) \\
&\stackrel{\footnotemark}{=} 1 - P(X \leq 2a - x_{\alpha}) \\
&= 1 - F_X(2a - x_{\alpha}).
\end{align*}
\footnotetext[14]{Využili jsme symetrie $ X $ kolem bodu $ a $.}
\footnotetext{Jelikož je $ F_X $ spojitá, nezáleží na volbě ostré nebo neostré nerovnosti. Formálně je správně ostrá nerovnost (jakožto doplněk neostré), ale nám se tu více hodí neostrá, abychom ihned dostali definici distribuční funkce.}
Obdrželi jsme tedy rovnost $ F_X(2a-x_{\alpha}) = 1 - \alpha $. Z~definice inverzní funkce $ F_X^{-1} $ nám plyne tvrzení věty: $ 2a - x_{\alpha} = x_{1-\alpha} \Leftrightarrow x_{\alpha} = 2a - x_{1-\alpha}$.
\end{proof}
\section{Integrální charakteristiky}
\begin{defi}\label{def-simple-func}
Buď $ (\Omega, \sa, \mu) $ prostor s obecnou mírou $ \mu $, která je $ \sigma $-konečná. Pak funkci $ \varphi\colon \Omega \rightarrow \mathbb{R} $ tvaru
\begin{equation}
\varphi(\omega) = \sum_{j=1}^{k} a_j \chi_{A_j}(\omega),
\end{equation}
kde $(\forall j \in \hat{k})\left( a_j \in \mathbb{R} \text{, } A_j \in \sa \right) $, nazveme \textbf{jednoduchou} funkcí. Také se používá anglický termín \emph{simple function}.
Její integrál na množině $ \Omega $ definujme následovně:
\begin{equation*}
\int_{\Omega} \varphi \dd \mu := \sum_{j=1}^k a_j \mu(A_j) .
\end{equation*}
\end{defi}
\begin{pozn}
Jednoduchá funkce je vlastně ekvivalentem stupňovité funkce z~MAA4, která byla využita při Daniellově konstrukci Lebesgueova integrálu. Nyní uvažujeme \emph{obecnou} míru~$ \mu $, takže pojem stupňovité funkce v~jistém smyslu zobecňujeme na pojem \emph{jednoduché} funkce.
Všimněme si, že pokud zvolíme za $ \mu $ Lebesgueovu míru, tak nám přejde definice integrálu $ \varphi $ do již známého tvaru:
\begin{equation*}
\int_{\Omega} \varphi \dd \lambda := \sum_{j=1}^k a_j \lambda(A_j),
\end{equation*}
kde $ \lambda(A_j) $ je Lebesgueova míra množiny $ A_j $, neboli \emph{objem} z~MAA4. V~případě Lebesgueovy míry se tedy integrál přes $ \Omega $ shoduje s~integrálem vystavěným na stupňovitých funkcích.
\end{pozn}
\begin{defi}
Buď $ X $ nezáporná funkce na $ (\Omega, \sa, \mu) $. Potom klademe
\begin{equation}
\int_{\Omega} X \dd \mu := \sup\left\{\int_{\Omega} \varphi \dd \mu \Bigm\vert \varphi \text{ je \emph{jednoduchá} funkce, } 0 \leq \varphi \leq X \right\}.
\end{equation}
\end{defi}
\begin{pozn}
V případě Lebesgueovy míry jsme zkonstruovali třídu $ \Lambda^+ $, kam patřily takové funkce, jež byly limitou nějaké rostoucí posloupnosti stupňovitých funkcí $ \varphi_n $. Pro $ X \in \Lambda^+ $ jsme číslo $ \int X := \lim_{n \rightarrow +\infty} \int\! \varphi_n$ nazvali \emph{integrálem funkce $ X $}, jestliže $ \left(\exists (\varphi_n)_1^{+\infty}\!\!, \ \varphi_n \text{ stupňovité}\right)\!(\varphi_n \nearrow~X) $.
\end{pozn}
\begin{defi}
Buď $ X $ náhodná veličina a $ P $ pravděpodobnostní míra na $ (\Omega, \sa, P) $. Potom definujeme
\begin{equation}\label{eq-def-E}
\int_{\Omega} X \dd P := \int_{\Omega} X^+ \dd P - \int_{\Omega} X^- \dd P
\end{equation}
za předpokladu existence \emph{obou} a~konečnosti \emph{alespoň jednoho} z~integrálů na pravé straně. Funkce $ X^+ := \max\{ X, 0\}$ označuje kladnou část~$ X $ a $ X^- := \max\{-X, 0\}$ její zápornou část. Obě tyto funkce jsou nezáporné, takže je umíme integrovat podle předchozí definice. Je vidět, že $ X = X^+ - X^- $ a $ |X| = X^+ + X^- $.
\end{defi}
\begin{pozn}
Tento krok je nápadně podobný konstrukci třídy $ \Lambda $ z~přednášky pana tajemníka. Takový integrál má samozřejmě smysl zavést i~pro libovolnou $ \sigma $-finitní míru $\mu $, ale obecně se hodnota tohoto integrálu nenazývá \emph{střední hodnotou}. Proč se v~případě pravděpodobnostní míry nazývá zrovna střední, se dozvíme později.
\end{pozn}
\subsection{Prostor $\mathcal{L}_1$ a střední hodnota}
\begin{defi}
Integrál z předchozí definice nazveme \textbf{střední hodnotou} náhodné veličiny~$ X $ a~značíme ji $ \E(X) $ či jen $ \E X $, tj.
\begin{equation*}
\E X := \int_{\Omega} X \dd P.
\end{equation*}
\end{defi}
\paragraph{Úmluva.}
\begin{itemize}
\item Říkáme, že "$ \E X $ \emph{existuje}", jestliže integrál $ \int_{\Omega} X \dd P $ existuje.
\item Říkáme, že "$ \E X $ \emph{existuje} a je \emph{konečná}", pokud je~$ X $ vzhledem k~míře $ P $ \emph{integrabilní} (integrál existuje a~je konečný).
\end{itemize}
\begin{defi}
Mějme prostor $ (\Omega, \sa, P) $, $ n $-rozměrnou náhodnou veličinu $ \xx\!\colon \Omega \rightarrow \mathbb{R}^n $ a množinu $ A \in \sa $. Pak definujeme \textbf{střední hodnotu} náhodné veličiny $ \xx $ po složkách:
\begin{equation*}
\left(\forall j \in \hat{n}\right)\left(EX_j = \int_A X_j \dd P = \int_{\Omega} X \chi_A \dd P\right)
\end{equation*}
a píšeme $ \E \xx = (\E X_1, \ldots, \E X_n) $.
\end{defi}
\begin{defi}
Množinu $ \mathcal{L}_1 = \mathcal{L}_1(\Omega, \sa, P) := \{ X \text{ náh. veličina na } (\Omega, \sa, P) \mid |\E X| < +\infty\}$ nazveme množinou náhodných veličin \textbf{integrabilních} vzhledem k míře $ P $.
\end{defi}
\begin{veta}
$ \mathcal{L}_1 $ je vektorový prostor a střední hodnota $ \E $ je na tomto prostoru lineární funkcionál, tj.
$ \E \left(\sum_1^n \alpha_j X_j\right) = \sum_1^n \alpha_j \E X_j $ .
\end{veta}
\begin{proof}
Větu dokazovat nebudeme, jelikož jsme si ji ve speciálním případě Lebesgueovy míry dokázali v~rámci přednášek MAA4.
\end{proof}
\begin{veta}
$ X \in \mathcal{L}_1 \Leftrightarrow |X| \in \mathcal{L}_1 $. Navíc platí, že $ |\E X| \leq \E|X| $.
\end{veta}
\begin{proof}
Tuto větu také ponecháme bez důkazu. Jedná se vlastně o~větu o~absolutní konvergenci integrálu.
\end{proof}
\begin{dusl}\label{v-o-integrab-omez-vel}
Mějme nyní již \emph{pravděpodobnostní} prostor, tj. $ (\Omega, \sa, P) $, kde $ P $ je pravděpodobnostní míra. Z předchozích vět dostáváme tvrzení, že každá omezená náhodná veličina $ X $ je integrovatelná vzhledem k pravděpodobnostní míře $ P $, tj. $ X \in \mathcal{L}_1(\Omega, \sa, P) $.
\end{dusl}
\begin{proof}
Nechť je náhodná veličina $ X $ z předpokladu omezena konstantou $ K >0 $, tj. $ |X| \leq K $. Pak
\begin{equation*}
|\E X| \leq \E|X| \leq \E(K) = K\E(1) = K \int_{\Omega} 1 \dd P = KP(\Omega) = K < +\infty.
\end{equation*}
\end{proof}
\begin{pozn}
Uvědomme si, že předchozí tvrzení neplatí pro každou míru; např. pro míru Lebes\-gueovu $ \lambda $ tento výrok jistě neplatí. Konstantní funkce $ f(x) = 1 $ je na celém $ \mathbb{R} $ omezená, ale její integrál konečný není.
\end{pozn}
\begin{veta}\label{v-o-rovnosti-ex-ey}
Nechť $ X,Y $ jsou náhodné veličiny na pravděpodobnostním prostoru $ (\Omega, \sa, P) $ takové, že $ \E X, \E Y$ existují a nechť dále $ P(X=Y) = 1 $. Pak $ \E X = \E Y $.
\end{veta}
\begin{proof}
Ukážeme, že platí $ \E (X-Y) $. Množinu, kde $ X=Y $, označme $ A $.
\begin{equation*}
\E(X-Y) = \int_{\Omega} (X - Y) \dd P = \int_A (X - Y) \dd P + \int_{\comp{A}} (X-Y) \dd P = 0 + 0 = 0.
\end{equation*}
$ \int_A (X - Y) \dd P $ je roven nule, protože $ A = \{\omega \mid X(\omega) - Y(\omega) = 0\} $. Druhý integrál přes doplněk množiny $ A $, tj. $ \comp{A} $, je roven nule, jelikož z předpokladu víme, že $ P(A) = 1 $, tedy $ P(\comp{A}) = 0 $. Tímto je věta dokázána.
\textsc{Pozor}, v~této větě se skrývá potíž, kterou popíšeme v~následující poznámce.
\end{proof}
\begin{pozn}
Množina $ A $, kterou jsme zadefinovali v~důkazu věty, nemusí obecně splňovat $ A \in \sa $, tedy nemusí být $ \sa $-měřitelná. Tento fakt je implicitně zapsaný v~předpokladu $ P(X =~Y) = \linebreak = 1 = P(A) $. Tím, že měříme množinu mírou $ P $, už dáváme najevo, že to má smysl, tedy že $ A $ je elementem $ \sigma $-algebry $ \sa $. Věta je tedy správně vyslovená, ale předpoklady jsou zbytečně omezující. Abychom tuto větu dokázali v~obecnější podobě, musíme opět udělat malou odbočku do teorie míry.
\end{pozn}
\begin{defi}
Mějme prostor $ (\Omega, \sa, P) $. Pak se množina $ N \subset \Omega $ nazývá \textbf{nulovou množinou} (vzhledem k~míře P), právě když existuje $ \sa $-měřitelná $ A \in \sa $ taková, že $ N \subset A \land P(A) = 0 $.
Systém všech nulových množin označme $ \mathcal{N} := \{N \subset \Omega \mid N \text{ je nulová vzhledem k míře } P \} $.
\end{defi}
\begin{defi}
Výrok $ V $ platí \textbf{skoro jistě} vzhledem k~míře~$ P $ (zkráceně s.~j. $ P $), právě když existuje $ N \in \mathcal{N} $ taková, že~$ V $ platí všude na množině $ \Omega \setminus N $.
\end{defi}
\begin{pozn}
Termín \emph{skoro jistě} je vlastně zobecnění pojmu \emph{skoro všude}, který známe z~konstrukce Lebesgueova integrálu. Souvislost mezi \emph{skoro jistě} a~\emph{skoro všude} lze pregnantně vyjádřit následovně: "Pojem \emph{skoro jistě} vzhledem k Lebesgueově míře $ \lambda $ je ekvivaletní pojmu \emph{skoro všude}."
\end{pozn}
\begin{defi}
Mějme prostor $ (\Omega, \sa, P) $. Systém množin $ \overline{\sa} = \sa \cup \mathcal{N} := \{A \cup N \mid A \in \sa, \ N \in \mathcal{N}\} $ nazveme \textbf{zúplněním $ \sigma $-algebry} $ \sa $.
\end{defi}
\begin{pozn}
Zúplnění $ \overline{\sa} $ je $ \sigma $-algebra. Ponecháváme na čtenáři, aby se o~tom přesvědčil sám.
\end{pozn}
\begin{defi}
Mějme prostor $ (\Omega, \sa, P) $. Rozšíření míry $ P $, značeno $ \P $, definujeme následovně: $ \left(\forall A \in \sa\right)\left(\forall N \in \mathcal{N}\right)\left(\P(A \cup N) := P(A)\right) $
\end{defi}
Rozšířili jsme tedy pravděpodobnostní míru na $ \sigma $-algebru $ \overline{\sa} $. Umožňuje nám to poměřit i~množiny, na něž byla míra $P$ krátká, a to tak, že jsme jim přiřadili míru nula.
V~následující větě se přesvědčíme, že $ \P $ je nejenom jednoznačná, ale dokonce pravděpodobnostní míra na $ (\Omega, \overline{\sa}) $.
\begin{veta}
Funkce $ \P\colon \overline{\sa} \rightarrow \mathbb{R} $ zkonstruovaná výše je jednoznačná pravděpodobnostní míra na rozšířeném prostoru $ (\Omega, \overline{\sa}) $.
\end{veta}
\begin{proof}
Svůj postup rozdělíme do tří kroků.
\begin{enumerate}[(a)]
\item \textbf{Existenci} jsme ukázali tím, že jsme $ \P $ přímo sestrojili; dalšího důkazu tedy netřeba.
\item \textbf{Jednoznačnost.} Aby byla definice $ \P $ korektní, je třeba ověřit, že nezáleží na rozkladu množiny $ C \in \overline{\sa} $. Předpokládejme tedy, že existují dva různé rozklady množiny $ C $: $ A_1 \cup N_1 = C = A_2 \cup N_2$, kde $ A_j \in \sa $, $ N_j \in \mathcal{N}$. Z~definice nulových množin však existují měřitelné nadmnožiny míry nula $ B_1 \in \sa $, resp. $ B_2 \in \sa$ takové, že $ (A_1 \cup N_1) \subset (A_1 \cup B_1) $, resp. $ (A_2 \cup N_2) \subset (A_2 \cup B_2) $. S~využitím definice $ \P $ a $ \sigma $-subaditivity \emph{pravděpodobnostní} míry~$ P $ můžeme psát
\begin{align*}
\P(A_1 \cup N_1) &\stackrel{\text{def.}}{=} P(A_1) \leq P(\underbrace{A_2 \cup B_2}_{\in \sa}) \leq P(A_2) + \underbrace{P(B_2)}_{=0} \stackrel{\text{def.}}{=} \P(A_2 \cup N_2),\\
\P(A_2 \cup N_2) &\stackrel{\text{def.}}{=} P(A_2) \leq P(\underbrace{A_1 \cup B_1}_{\in \sa}) \leq P(A_1) + \underbrace{P(B_1)}_{=0} \stackrel{\text{def.}}{=} \P(A_1 \cup N_1).
\end{align*}
Z~toho ale nutně plyne, že $ \P(A_1 \cup N_1) = \P(A_2 \cup N_2) $. Tím je jednoznačnost dokázána.
\item \textbf{$ \P $ je pravděpodobnost.} Ukažme platnost Kolmogorovových axiomů:
\begin{itemize}
\item[K\ref{k1}.] Je $ \P(\Omega) = \P(\Omega \cup \emptyset) = P(\Omega) = 1$.
\item[K\ref{k2}.] Pro všechny množiny $ C \in \overline{\sa} $ platí z~definice: $ \P(C) = P(A \cup N) = P(A) \geq 0$.
\item[K\ref{k3}.] Zbývá dokázat $ \sigma $-aditivitu $ \P $ na disjunktních množinách. Nechť $ (\forall\, n \in \mathbb{N})(C_n \in \overline{\sa}) $. Utvořme jejich disjunktní sjednocení a~pišme:
\begin{equation*}
\P\Bigl( \sum_{n=1}^{+\infty} C_n \Bigr) = \P\Bigl( \sum_{n=1}^{+\infty} (A_n \cup N_n) \Bigr) = \P\Bigl( \sum_{n=1}^{+\infty} A_n \cup \sum_{n=1}^{+\infty} N_n \Bigr) = (*).
\end{equation*}
Potřebovali bychom vědět, zda je $ N \stackrel{\text{ozn.}}{=} \sum_{n=1}^{+\infty} N_n \in \mathcal{N}$. To je však snadno vidět, neboť
$ (\forall n \in \mathbb{N})(\exists B_n \in \sa,\ P(B_n) = 0)(N_n \subset B_n) $, takže $ N \subset \bigcup_{n=1}^{+\infty} B_n $. Toto sjednocení ani nemusí být disjunktní, jelikož víme, že spočetné sjednocení množin míry nula je opět množinou míry nula, tj. $ N \in \mathcal{N} $. V~argumentu $ \P $ je tedy jednocení množin z~$ \sa $, resp.~$ \mathcal{N} $, takže dle definice $ \P $ a~$ \sigma $-aditivity $ P $ máme
\begin{equation*}
(*) = P\Bigl(\sum_{n=1}^{+\infty} A_n\Bigr) = \sum_{n=1}^{+\infty} P(A_n) = \sum_{n=1}^{+\infty} \P(A_n \cup N_n) = \sum_{n=1}^{+\infty} \P(C_n).
\end{equation*}
Tím je důkaz hotov. \qedhere
\end{itemize}
\end{enumerate}
\end{proof}
\begin{pozn}
$ $
\begin{itemize}
\item Podobné rozšíření lze provést i~z obecného měřitelného prostoru $ (\Omega, \sa, \mu) $ na $ (\Omega, \overline{\sa}, \overline{\mu}) $. Pak už ale neověřujeme axiom K1.
\item Již z~dřívějška víme, že na měřitelném prostoru $ (\Omega, \sa, \mu) $ platí výrok~$ V $\emph{skoro všude} (s.~v.), jestliže množina, na níž neplatí, je nulové míry. Ve zcela stejném duchu jsme zavedli frázi \emph{skoro jistě}, a sice na \emph{pravděpodobnostním} prostoru $ (\Omega, \sa, P) $: Jev $ A \in \sa $ nastane \emph{skoro jistě} (s.~j.), jestliže $ P(A) = 1 $.
Na pravděpodobnostním prostoru si jsou \emph{skoro všude} a \emph{skoro jistě} ekvivalentní: Víme-li, že~$ A $ nastává skoro jistě, pak pravděpodobnost, že \emph{ne}nastane, je $ P(\comp{A}) = 0 $ (ve shodě s~tím, že něco platí skoro všude).
V~případě \emph{obecného} prostoru s~obecnou (např. neomezenou) mírou $ \mu $ už pojmy s.~v. a~s.~j. totožné nejsou. Nemůžeme totiž říci, že vlastnost $ V $ platí skoro všude vzhledem k~$ \mu $, jestliže platí na množině míry~$ \mu(\Omega) $ (což by odpovídalo plné pravděpodobnosti), protože mnohdy je $ \mu(\Omega) = +\infty $. Co bychom pak od tohoto nekonečna museli odečíst, abychom dostali nulovou míru? Proto je nutné definovat "skoro všude" přes doplňky. V~případě termínu "skoro jistě" jsme si to mohli odpustit díky omezenosti $ P $.
Na $ (\Omega, \sa, P) $ budeme tedy říkat \emph{skoro jistě}, na $ (\Omega, \sa, \mu) $ \emph{skoro všude}.
\item Jelikož význam s.~j. závisí na volbě $ P $, je vhodné tuto závislost zdůraznit psaním "skoro jistě (vzhledem k) $ P $".
\end{itemize}
\end{pozn}
\begin{priklad}
Obrázek~\ref{fig6-skoro-jiste} názorně ilustruje rozdíl mezi pojmy \emph{skoro všude} a \emph{skoro jistě}. Veličiny $ X $ a $ Y $ si nejsou rovny skoro všude $ \mu $, ale kupodivu $ X = Y $ \emph{skoro jistě} vzhledem k~Diracově rozdělení~$ \delta_c $, neboť všechna pravděpodobnost je koncentrována v~jediném bodě. Podobně je $ Z = W $ \emph{skoro jistě} vzhledem k~uniformnímu rozdělení $ \mathcal{U}(a,b) $, ale samozřejmě neplatí, že $ Z = W $ skoro všude $ \mu $.
\end{priklad}
\begin{figure}[h]
\centering
% \begin{subfigure}[h]
\includegraphics[width=0.65\textwidth]{Fig6-grafy-skoro-jiste.png}
\caption{Rozdíl mezi \emph{skoro všude} a \emph{skoro jistě}.}
\label{fig6-skoro-jiste}
% \end{subfigure}
\end{figure}
Problematickou větu \ref{v-o-rovnosti-ex-ey}, kvůli níž jsme podstupovali všechnu tuto mašinerii, můžeme nyní vyslovit v~novém, korektnějším znění.
\begin{veta}[\ref{v-o-rovnosti-ex-ey}, verze 2] Buďte $ X,\ Y $ náhodné veličiny na $ (\Omega, \overline{\sa}, \P) $ takové, že $ X = Y $ \emph{skoro jistě}~$ \P $. Potom $ \E X = \E Y $.
\end{veta}
\begin{pozn}
Nyní, i~když už se pohybujeme na rozšířeném prostoru $ (\Omega, \overline{\sa}, \P) $, budeme dále psát opět jenom $ (\Omega, \sa, P) $. Mějme však stále na paměti, že se jedná o~rozšíření.
\end{pozn}
\begin{defi}\label{def-L1}
Na (rozšířeném) prostoru $ (\Omega, \sa, P) $ zavedeme následující ekvivalenci mezi náhodnými veličinami:
\begin{equation*}
X \sim Y \Longleftrightarrow X = Y \text{ s.~j. }P.
\end{equation*}
Chtěli bychom na $ \mathcal{L}_1(\Omega, \sa, P) $ definovat normu. Poučeni z~problémů v~zavádění normy na prostoru integrabilních funkcí nejprve rozložíme $ \mathcal{L}_1 $ na třídy ekvivalence podle relace $ \sim $. Formálně sestrojíme tzv.~faktorprostor $ \mathcal{L}_1\vert_\sim := \lbrace [X]_\sim \mid X \in \mathcal{L}_1\rbrace$, kde $ [X]_\sim = \lbrace Y \in \mathcal{L}_1 \mid X \sim Y \rbrace$ je třída ekvivalence veličiny~$ X $ podle $ \sim $. Na $ \mathcal{L}_1\vert_\sim $ definujeme sčítání tříd ekvivalencí a násobení číslem a~označíme tuto trojici $ L_1 $ -- dostáváme \textbf{lineární prostor integrabilních funkcí}.
Prostor $ L_1 $ nyní můžeme vybavit \textbf{normou}. Pro všechny prvky $ [X]_\sim \in L_1 $ ji definujeme vztahem $ \lVert [X]_\sim \rVert_{L_1} := \E | Y | $, kde $ Y \in [X]_\sim $. Takto definovaná norma plní všechny axiomy normy, a to včetně ekvivalence $ \norm{[X]_\sim} = 0 \Leftrightarrow [X]_\sim = 0 $.\footnote{Na $ \mathcal{L}_1 $ by platilo pouze $ \lVert X \rVert = 0 \Leftrightarrow X = 0 $ \emph{skoro jistě} vzhledem k~$ P $. Pak se jedná pouze o~\emph{seminormu}.} Podle úzu však budeme třídu $ [X]_\sim $ ztotožňovat přímo s~jejími reprezentanty, a proto budeme dále psát jen $ \norm{X} := \E|X| $.
\end{defi}
\begin{veta}
Buďte $ X, Y $ náhodné veličiny na $ (\Omega, \sa, P) $. Platí:
\begin{enumerate}
\item Je-li $ X \leq Y $ s.~j., pak $ \E X \leq \E Y $ (existují-li střední hodnoty).
\item Je-li $ X \geq 0 $ s.~j., pak $ \E X \geq 0 $.
\end{enumerate}
\end{veta}
V~následujících větách čtenář pozná tvrzení dokázaná během kurzu analýzy.\footnote{Odkážeme na přísušné věty z~MAA4. Béčkaři prominou; doufáme, že též naleznou ekvivalenty z~MAB4.} Tam zazněla ve verzi pro Lebesgueovu míru, ale platí dokonce obecně pro libovolnou $ \sigma $-finitní míru $ \mu $. Pro naše účely je však vyslovíme pro míru pravděpodobnostní, neboť celá přednáška směřuje ke statistice, kde si s~tímto vystačíme. Kdybychom chtěli jejich znění uvést v~nejobecnější podobě, pak bychom namísto "s.~j.~$ P $" psali "s.~v. $ \mu $".
\begin{veta}[\emph{Monotone convergence theorem}\footnote{Srovnej s~rozšířenou Leviho větou 27.5.2, \emph{Turistický průvodce MAA4}. Tam předpokládáme rostoucí posloupnost funkcí \emph{majících} integrál (z~třídy $ \Lambda $) takových, že $\int \varphi_1 > -\infty$. Když tyto funkce budou navíc nezáporné, budou automaticky měřitelné (podle 27.2), takže dostáváme MCT (neplést s "množinovým" MCT \ref{MCT}).}]\label{v-MCT-integralni}
Buď $ (X_n)_{n=1}^{+\infty}$ posloupnost $ \sa $-měřitelných jevů na $ (\Omega, \sa, P) $. Nechť platí: $(\forall n \in \mathbb{N})(X_n \geq 0 \text{ s.~j. } P)$ a $ X_n \nearrow X $ s.~j.~$ P $. Potom je $ X $ též $ \sa $-měřitelná a~platí: $\lim\limits_{n\rightarrow +\infty}\!\! \E X_n = \E X $.
\end{veta}
\begin{veta}[\emph{Lebesgue's dominated convergence theorem}\footnote{Srovnej s~rozšířenou Lebesgueovou větou 27.5.1 v~\emph{Průvodci}.}]\label{v-LDCT} Nechť $ (X_n)_{n=1}^{+\infty} $ je posloupnost \linebreak$ \sa $-měřitelných jevů na $ (\Omega, \sa, P) $. Nechť dále $ X_n \rightarrow X $ s.~j.~$ P $ a navíc $ (\exists Y \in \mathcal{L}_1)(\forall n \in \mathbb{N})(|X_n| \leq~Y) $ s.~j.~$ P $. Potom $ X \in \mathcal{L}_1 $ a $\! \lim\limits_{n\rightarrow +\infty}\!\! \E X_n = \E X $.
\end{veta}
\begin{veta}[Beppa Leviho]\label{v-beppo-levi} Nechť $ (X_n)_{n=1}^{+\infty} $ je posloupnost $ \sa $-měřitelných jevů na $ (\Omega, \sa, P) $. Nechť konverguje číselná řada $ \sum_{n=1}^{+\infty} \E|X_n| $. Pak konverguje i~řada funkcí $ \sum_{n=1}^{+\infty} X_n = X $ s.~j.~$ P $ a~platí: $ X \in \mathcal{L}_1 $ a~$ \E\left(\sum_{n=1}^{+\infty} X_n\right) = \sum_{n=1}^{+\infty} \E X_n $.
\end{veta}
\begin{proof}
Studujme posloupnost částečných součtů: $ \left| \sum_{j=1}^n X_j \right| \leq \sum_{j=1}^n |X_j| \leq \sum_{j=1}^{+\infty} |X_j| \stackrel{\text{ozn.}}{=} S$. Rozhodneme o konečnosti $ S $. Dle předpokladu víme, že $ \E S = \E \left(\sum_{j=1}^{+\infty} |X_j|\right) \stackrel{\text{\ref{v-MCT-integralni}}}{=} \sum_{j=1}^{+\infty} \E |X_j| <~+\infty$. MCT \ref{v-MCT-integralni} jsme použili na rostoucí a~nezápornou posloupnost částečných součtů. Z~toho plyne, že $ S \in \mathcal{L}_1 $. Ukážeme, že konečnost $ \E S $ vynucuje absolutní konvergenci řady $ \sum_{n=1}^{+\infty} X_n $
Pro spor předpokládejme, že $ \E S = \int_{\Omega} S \dd P < +\infty$, ale přitom $ S = +\infty $ s.~j. To by znamenalo, že $ P\bigl(\lbrace \omega \in \Omega \mid S(\omega) = +\infty \rbrace\bigr)>0$.\footnote{Tato množina je měřitelná, protože $ P $ je ve skutečnosti $ \P $, která umí poměřit všechny množiny.} (Je dokonce rovna jedné.) Je-li ale $ S $ neomezená na množině nenulové míry, je nutně $ \int_{\Omega} S \dd P = +\infty$, což je spor. Tím jsme ukázali, že konverguje řada $ \sum_{n=1}^{+\infty} |X_n| $, tím pádem i $ \sum_{n=1}^{+\infty} X_n $.
Tvrzení týkající se záměny dokážeme následovně: $ \E \left(\sum_{n=1}^{+\infty} X_n \right) = \E\Bigl(\lim\limits_{n \rightarrow +\infty} \sum_{j=1}^n X_j \Bigr) $. Posloupnost částečných součtů má integrabilní majorantu, a sice $ S \in \mathcal{L}_1$. Použijeme tedy LDCT \ref{v-LDCT} a máme $ \lim\limits_{n \rightarrow +\infty} \E\left(\sum_{j=1}^n X_j \right) = \sum_{n=1}^{+\infty} \E X_n $.
\end{proof}
\begin{defi}
Posloupnost veličin $ (X_n)_1^{+\infty} \subset L_1(\Omega, \sa, P)$ \textbf{konverguje k~$ X \in L_1$}, právě když $ \norm{X_n - X} \rightarrow 0 $.
\end{defi}
\begin{veta}[Rieszova--Fischerova]
Prostor $ L_1 $ je \textbf{Banachův} (normovaný lineární prostor, který je \textbf{úplný} vzhledem ke konvergenci v~$ L_1 $).
\end{veta}
\subsection{Integrální nerovnosti}
\begin{veta}[Markovova nerovnost]\label{v-markov}
Nechť $ X \in \mathcal{L}_1(\Omega, \sa, P) $. Pak platí:
\begin{equation*}
(\forall \varepsilon > 0)\Bigl(P(|X| \geq \varepsilon) \leq \frac{\E|X|}{\varepsilon}\Bigr).
\end{equation*}
\end{veta}
\begin{proof}
Označme $ A:= \lbrace \omega \in \Omega \mid |X(\omega)| \geq \varepsilon \rbrace$. Potom s~využitím charakteristické funkce a~linearity funkcionálu $ \E $ máme:
\begin{equation*}
\E|X| \geq E\left(|X|\chi_A \right) \geq \E(\varepsilon\chi_A) = \varepsilon \E(\chi_A) = \varepsilon \int_{\Omega}\chi_A(\omega) \dd P = \varepsilon\int_{A} \dd P = \varepsilon P(|X| \geq \varepsilon).
\end{equation*}
Jednoduchou algebraickou úpravou dostáváme hledanou nerovnost.
\end{proof}
\begin{veta}[Jensenova nerovnost]\label{v-jensen}
Buďte $ X \in \mathcal{L}_1(\Omega, \sa, P) $ a $ \varphi\colon \mathbb{R} \rightarrow \mathbb{R} $ transformace, která je \emph{konvexní} na intervalu $ I \subset \mathbb{R} $ takovém, že $ P(X \in I) = 1 $ (celé rozdělení $ X $ je v~něm koncentrované). Nechť dále $ \varphi(X) \in \mathcal{L}_1 $. Potom $ \E(\varphi(X)) \geq \varphi(\E (X)). $
\end{veta}
\begin{proof}
Doporučujeme čtenáři, aby si nakreslil nějakou konvexní funkci. Na vodorovné ose vyneseme bod $ \E(X) $, na svislé $ \varphi(\E(X)) $. V~bodě $ [\E(X), \varphi(\E(X))] $ povedeme tečnu $ L $ (lineární funkci). V~tečném bodě platí $ \varphi(\E (X)) = L(\E (X)) $. Funkce $ \varphi $ je konvexní, takže se tečna nachází "pod grafem", tzn.: $ \E(\varphi(X)) \geq \E(L(X)) = L(\E(X)) = \varphi(\E(X))$, což jsme chtěli ukázat. Funkce~$ \E $ a~$ L $ komutují, protože jsou lineární a~jejich definiční obor a~obor hodnot se rovnají.
\end{proof}
\subsection{Součinová míra}
Naší motivací nyní bude zavést takovou pravděpodobnostní míru, která by nám umožnila použít Fubiniho větu. Máme-li $ n $ prostorů $ (\Omega_j, \sa_j, P_j) $, kde $ j \in \hat{n} $, můžeme udělat jejich kartézský součin: $ \bigtimes_{j=1}^n \Omega_j$ a $ \bigtimes_{j=1}^n \sa_j := \bigl\{ \bigtimes_{j=1}^n A_j \mid (\forall j \in \hat{n})(A_j \in \sa_j) \bigr\}$. Obecně však nemáme zaručeno, že kartézský součin $ \sigma $-algeber je opět $ \sigma $-algebrou (není např. uzavřen na komplementy). Proto nad $ \bigtimes_{j=1}^n \sa_j $ sestrojíme minimální $ \sigma $-algebru, kterou budeme značit $ \bigotimes_{j=1}^n \sa_j := \sigma\bigl(\bigtimes_{j=1}^n \sa_j\bigr)$, a~na tomto systému se pokusíme zavést pravděpodobnost.
\begin{defi}[Součinová míra]\label{def-soucin-mira}
Na $ \sigma $-algebře $ \bigotimes_{j=1}^n \sa_j $ definujeme míru $ \bigotimes_{j=1}^n P_j $ pro všechny množiny (jevy) $ A_j \in \sa_j $ předpisem
\begin{equation}
\bigotimes_{j=1}^n P_j\bigl(\bigtimes_{j=1}^n A_j \bigr) := \prod_{j=1}^n P_j(A_j),
\end{equation}
a nazýváme ji \textbf{součinovou} nebo též \textbf{produktivní}.
\end{defi}
Nyní ověřme korektnost zavedení součinové míry. Přesvědčíme se, že tato míra existuje, že je pravděpodobnostní a že je určena jednoznačně. Zformulujme tento výrok do věty.
\begin{veta}[Korektnost zavedení součinové míry]
Součinová míra definovaná podle \ref{def-soucin-mira}
\begin{enumerate}[(a)]
\item existuje,
\item je pravděpodobnostní, jestliže pro všechna $ j \in \hat{n} $ jsou míry $ P_j $ pravděpodobnostní,
\item je jednoznačně dána.
\end{enumerate}
\end{veta}
\begin{proof}
Důkaz provedeme pro $ n = 2 $, abychom si usnadnili práci a vyhnuli se zdlouhavému zápisu.
\begin{enumerate}[(a)]
\item \textbf{Existence.} Mějme množinu $ C \in \sa_1 \otimes \sa_2 = \sigma\left(\sa_1 \times \sa_2\right)$ a definujme
\begin{equation*}
(P_1 \otimes P_2)(C) = \int_{\Omega_1} P_2(C(\omega_1)) \dd P_1,
\end{equation*}
kde $ C(\omega_1) = \{\omega_2 \mid (\omega_1, \omega_2) \in C\} $ je "řez" množiny $ C $ pro fixní elementární jev $ \omega_1 $. Ukažme o~této míře, že splňuje definici součinové míry.
Nechť $ C = A_1 \times A_2 $, kde $ A_1 \in \sa_1 $ a $ A_2 \in \sa_2 $. Uvědomme si, že platí $ (\forall \omega_1 \in A_1) (C(\omega_1) = A_2)$ a $ (\forall \omega_1 \in \comp{A_1}) (C(\omega_1) = \emptyset) $ (obrázek pomůže). Pak můžeme psát:
\begin{equation*}
(P_1 \otimes P_2)(C) = (P_1 \otimes P_2)(A_1 \times A_2) = \int_{\Omega}\mkern-6mu P_2(C(\omega_1)) \dd P_1 = \int_{A_1}\mkern-10mu P_2(A_2) \dd P_1 = P_2(A_2) \int_{A_1}\mkern-10mu 1 \dd P_1 = P_2(A_2) P_1(A_1)
\end{equation*}
Z toho tedy dostáváme, že $ (P_1 \otimes P_2)(A_1 \times A_2) = P_2(A_2) P_1(A_1)$. To ale podle definice znamená, že míra $ P_1 \otimes P_2 $ je \emph{součinová}.
\item \textbf{$ P_1 \otimes P_2 $ je pravděpodobnostní míra.} Chceme tedy ověřit tři axiomy pravděpodobnosti K\ref{k1}, K\ref{k2}, K\ref{k3}.
\begin{enumerate}[(K1)]
\item Je $ (P_1 \otimes P_2)(\Omega_1 \times \Omega_2) = P_1(\Omega_1)P_2(\Omega_2) = 1 $.
\item Nechť $ C \in \sa_1 \otimes \sa_2 $. Potom jistě $ (P_1 \otimes P_2)(C) \geq 0 $, protože podle počítáme integrál nezáporné funkce, jak je vidět z~naší definice $ P_1 \otimes P_2 $.
\item Zbývá nám ukázat $ \sigma $-aditivitu součinové míry. Buď $ (C_k)_{k=1}^{+\infty} \in \sa_1 \otimes \sa_2 $ systém navzájem disjunktních množin. Znovu si rozmysleme, že pro každé pevné $ \omega_1 \in \Omega_1 $ je $ (C_k(\omega_1))_{k=1}^{+\infty} $ systémem navzájem disjunktních "řezů".\footnote{Ve skutečnosti je za tím mnohem víc. Je totiž třeba pracně ukázat, že tyto řezy jsou náhodné veličiny a že jsou měřitelné, abychom je mohli vůbec integrovat.} Pak pišme:
\begin{align*}
(P_1 \otimes P_2)\Bigl(\sum_{k=1}^{+\infty} C_k\Bigr) &= \int_{\Omega_1} P_2\Bigl[ \Bigl(\sum_{k=1}^{+\infty} C_k\Bigr) (\omega_1) \Bigr] \dd P_1\\
&= \int_{\Omega_1} P_2\Bigl(\sum_{k=1}^{+\infty} C_k(\omega_1)\Bigr) \dd P_1 \\
&= \int_{\Omega_1} \Bigl(\sum_{k=1}^{+\infty} P_2(C_k(\omega_1))\Bigr) \dd P_1 \\
&\!\stackrel{\text{MCT}}{=} \sum_{k=1}^{+\infty} \int_{\Omega_1} P_2(C_k(\omega_1)) \dd P_1 \\
& \;= \sum_{k=1}^{+\infty} (P_1 \otimes P_2)(C_k).
\end{align*}
\end{enumerate}
\item \textbf{Jednoznačnost.} Systém $ \sa_1 \times \sa_2 $ generuje $ \sa_1 \otimes \sa_2 $, přičemž systém $ \sa_1 \times \sa_2$ je zřejmě uzavřený na konečné průniky. Z věty (\ref{v-o-rovnosti-PQ}) plyne existence \emph{právě jedné} míry $ P_1 \otimes P_2 $.\qedhere
\end{enumerate}
\end{proof}
\begin{veta}\label{v-o-nezav-soucinova-mira}
Buďte $ (X_j)_{j=1}^n $ náhodné veličiny na pravděpodobnostním prostoru $ (\Omega, \sa, P) $ a nechť dále $ \xx \sim P^{\xx} $. Pak $ (X_j)_{j=1}^n $ jsou vzájemně nezávislé právě tehdy, když $ P^{\xx} = \bigotimes_{j=1}^n P^{X_j} $.
\end{veta}
\begin{proof}
Víme, že náhodné veličiny $ (X_j)_{j=1}^n $ jsou nezávislé právě tehdy, když pro každou konečnou $ k $-tici vybranou z tohoto systému je pravděpodobnost sdružená rovna součinu marginálních pravděpodobností (viz~\ref{pozn-nez-nv}). Jelikož máme z~předpokladu konečný počet náhodných veličin, stačí ukázat nezávislost pro tuto $ n $-tici. Nezávislost každé konečné $ k $-tice už potom bude zřejmě splněna.
Dokazujme tedy:
\begin{itemize}
\item[($\Rightarrow$)] Nechť jsou náhodné veličiny $ (X_j)_{j=1}^n $ nezávislé. Pak platí:
\begin{equation*}
\forall B_j \in \bb\colon \quad P(X_1 \in B_1, \ldots, X_n \in B_n) = \prod_{j=1}^{n} P(X_j \in B_j).
\end{equation*}
Přepišme tento výrok pomocí vektorové náhodné veličiny $ \xx = (X_1, \ldots, X_n) $ takto:
\begin{equation*}
P(\xx \in \bigtimes_{j=1}^n B_j) = P^{\xx}(\bigtimes_{j=1}^n B_j) = \prod_{j=1}^{n} P^{X_j}(B_j).
\end{equation*}
Toto je ale právě definice součinové míry. Z~její jednoznačnosti plyne, že $ P^{\xx} = \bigotimes_{j=1}^n P^{X_j} $, tj. $ P^{\xx} $ je součinová míra.
\item[($ \Leftarrow $)] Tato implikace se ukazuje analogicky, ale jednotlivé kroky provádíme v~opačném pořadí.\qedhere
\end{itemize}
\end{proof}
\begin{dusl}
Předchozí výsledek lze zobecnit i~pro spočetně mnoho veličin: Mějme spočetný systém náhodných veličin $ (X_j)_{j=1}^{+\infty} $ a nechť $ (\forall n \in \mathbb{N})((X_1, \ldots, X_n) = \xx \sim~P^{\xx}) $. Pak platí:
\begin{equation*}
(X_j)_{j=1}^{+\infty} \text{ jsou nezávislé} \Longleftrightarrow (\forall n \in \mathbb{N})\Bigl(P^{\xx} = \bigotimes_{j=1}^n P^{X_j}\Bigl).
\end{equation*}
\end{dusl}
\begin{pozn}
Výše uvedený důsledek plyne z~definice nezávislosti náhodných veličin, která je definována přes konečné $ k $-tice. Každou konečnou $ k $-tici vybranou ze systému náhodných veličin $ (X_j)_{j=1}^{+\infty} $ jsme schopni pokrýt $ n $-ticí náhodných veličin $ X_1, \ldots, X_n $, o~nichž z~předpokladu věty víme, že mají rozdělení $ P^{\xx} $.
\end{pozn}
\begin{veta}[Tonelliho--Fubiniho\footnote{Leonida Tonelli (1885--1946); Guido Fubini (1879--1943). Věta je známější spíše pod Fubiniho jménem.}]\label{v-fubini}
Mějme dva pravděpodobnostní prostory $ (\Omega_1, \sa_1, P_1), (\Omega_2, \sa_2, P_2) $ a~nechť $ \xx\!\colon \Omega_1 \times \Omega_2 \rightarrow \mathbb{R} $ je náhodná veličina na $ (\Omega_1 \times \Omega_2, \sa_1 \otimes \sa_2) $. Pak platí:
\begin{equation*}
\E^{P_1 \otimes P_2}(\xx) = \E^{P_2}[E^{P_1}(\xx)]
\end{equation*}
za předpokladu existence \emph{konečného} integrálu na levé straně (stačila by nám i~pouhá \emph{existence} integrálu na kartézském součinu, ale potom dostaneme vcelku nezajímavou rovnost $ +\infty = +\infty $). V~lépe rozpoznatelné podobě lze tvrzení věty zapsat následovně:
\begin{equation*}
\int_{\Omega_1 \times \Omega_2}\mkern-35mu \xx \dd (P_1 \otimes P_2) = \int_{\Omega_2}\left(\int_{\Omega_1} \xx \dd P_1\right) \dd P_2 = \int_{\Omega_1}\left(\int_{\Omega_2} \xx \dd P_2\right) \dd P_1.
\end{equation*}
\end{veta}
\begin{proof}
Větu ponecháme bez důkazu.
\end{proof}
\begin{pozn}
Všimněme si, že předchozí věta je zobecněním Fubiniho věty, kterou známe z~matematické analýzy. Tam jsme ji vyslovili pro Lebesgueovu míru na prostorech $ \mathbb{R}^n $.\footnote{Srovnej s~větou 30.1 v~\emph{Průvodci MAA4}.} Je důležité, že toto tvrzení platí jen pro míry součinové!
\end{pozn}
\begin{veta}
Nechť $ X \geq 0 $ je jednorozměrná náhodná veličina na prostoru $ (\Omega, \sa, P) $. Potom
\begin{equation*}
\E X = \int_{0}^{+\infty} (1-F_X(x)) \dd x.
\end{equation*}
\end{veta}
\begin{proof}
\begin{align*}
\int_{0}^{+\infty} (1-\underbrace{F_X(x)}_{P(X \leq x)}) \dd x &= \int_{0}^{+\infty} P(X > x) \dd x \\
&= \int_{0}^{+\infty}\left( \int_{\{\omega \mid X(\omega) > x)\}}\mkern-40mu 1 \dd P\right) \dd x \\
&\stackrel{\text{F}}{=} \iint\limits_{\{(\omega, x) \mid X(\omega) > x > 0\}} \mkern-45mu 1 \dd(P \times \lambda_1) \\
&\stackrel{\text{F}}{=} \int_{\Omega} \left( \int_{0}^{X(\omega)} \dd x\right) \dd P \\
&= \int_{\Omega} X(\omega) \dd P = \E X.
\end{align*}
Ve třetím a čtvrtém kroku jsme využili Tonelliho--Fubiniho větu pro míru $ P \otimes \lambda_1 $, kde $ P $ je pravděpodobnostní a~$ \lambda_1 $ je Lebesgueova (obě jsou součinové, takže použití věty bylo oprávněné)
\end{proof}
\begin{pozn}
Podobně bychom ukázali, že $ \E X = - \int_{-\infty}^{0} F_X(x) \dd x $ pro náhodné veličiny $ X \leq 0 $.
\end{pozn}
\begin{dusl}
Víme-li, jak spočítat střední hodnotu kladné i záporné náhodné veličiny, můžeme libovolnou veličinu rozložit na její kladnou a zápornou část -- je totiž $ X = X^+ - X^- $, takže spočteme střední hodnotu obecné náhodné veličiny jednoduše jako
\begin{equation*}
\E X = \E X^+ - \E X^- = \int_{0}^{+\infty} (1-F_X(x)) \dd x - \int_{-\infty}^{0} F_X(x) \dd x,
\end{equation*}
ale za předpokladu konečnosti alespoň jedné z~hodnot $ \E X^+$, $\E X^-$.
\end{dusl}
Následující, důležitá věta nám umožní převést integraci z~abstraktního prostoru~$ \Omega $ do příjemnějšího $ \mathbb{R}^n $. Neboli, jak by řekl pan tajemník: "Z~buřtů přejdeme tam, kde žijeme."
\begin{veta}[O přenosu integrace]\label{v-VPI}
Buď $ \xx $ náhodná veličina na $ (\Omega, \sa, P) $, $ \xx \sim P^{\xx} $ a nechť dále $ g\colon \mathbb{R}^n \rightarrow \mathbb{R} $ je borelovsky měřitelná funkce. Pak platí:
\begin{equation}
\E(g \circ \xx) = \int_{\Omega} g \circ \xx \dd P = \int_{\mathbb{R}^n} g(\mx) \dd (\underbrace{P \circ \xx^{-1}}_{=P^{\xx}})
\end{equation}
za předpokladu existence alespoň jednoho z integrálů. Malé proměnné na pravé straně píšeme proto, že zde už integrujeme na $ \mathbb{R}^n $, jak jsme zvyklí.
Má-li $ \xx $ ASR vzhledem k~míře $ \lambda $ (Lebesgueově) s~hustotou pravděpodobnosti $ f_{\xx} = \dd P^{\xx}/\dd \lambda $, pak po "rozšíření" $ \dd \lambda $ máme z~R--N věty:
\begin{equation}
\int_{\Omega} g \circ \xx \dd P = \int g(\mx)f_{\xx}(\mx) \dd \lambda,
\end{equation}
je-li $ g(\xx) $ integrovatelná, tj. $ g(\xx) \in \mathcal{L}_1 $.
V případě, že $ \xx $ má diskrétní rozdělení $ P(\xx = \mx_k) = p_k $, potom
\begin{equation}
\int_{\Omega} g \circ \xx \dd P = \sum_{k} g(\mx_k)p_k,
\end{equation}
jestliže suma $\sum_{k} g(\mx_k)p_k $ absolutně konverguje. (Z~míry $ P $ se v~takovém případě stává míra \emph{sčítací} či \emph{aritmetická}.)
\end{veta}
\begin{proof}
Důkaz provedeme postupně od nejjednoduššího tvaru funkce $ g $ až do obecné podoby.
\begin{enumerate}[(1)]
\item Nechť $ g(\mx) = \chi_B(\mx) $, kde $ \chi_B $ je charakteristická funkce nějaké borelovsky měřitelné množiny~$ B $. Ukažme rovnost pro tento případ.
\begin{align*}
\E(\chi_B(\xx))
&= \int_{\Omega} \underbrace{\chi_B(\xx)}_{\neq 0 \text{ na } B} \dd P
= \int_{\xx^{-1}(B)} \mkern-30mu 1 \dd P = P(\xx^{-1}(B)) = P^{\xx}(B) =\\
&= \int_B 1 \dd P^{\xx} = \int_{\mathbb{R}^n} \underbrace{\chi_B(\mx)}_{=g(\mx)} \dd (P \circ \xx^{-1}).
\end{align*}
\item Nechť $ g(\mx) = \sum_{j=1}^{k} b_j \chi_{B_j}(\mx) $, kde $ b_j $ jsou konstanty. Funkce $ g $ je tedy dle definice~\ref{def-simple-func} \emph{jednoduchá}. Ukažme tvrzení věty pro tuto speciální volbu $ g $. Díky tomu, že $ \E $ je lineární funkcionál, máme
\begin{equation*}
\E\Bigl[\sum_{j=1}^{k} b_j \chi_{B_j}(\xx)\Bigr] = \sum_{j=1}^{k} b_j \E(\chi_{B_j}(\xx)).
\end{equation*}
Střední hodnotu v~každém sčítanci umíme díky bodu~(1) spočítat, čímž je tento bod vyřešen.
\item Nechť $ g $ je libovolná nezáporná funkce. Pak existuje posloupnost \emph{jednoduchých} funkcí $ (h_k)_{k=1}^{+\infty} $ taková, že $ h_k \nearrow g $. Pak můžeme díky MCT psát:
\begin{equation*}
\E(g(\xx)) = \E(\lim_{k \rightarrow +\infty}\!\! h_k(\xx)) \stackrel{\ref{v-MCT-integralni}}{=} \lim_{k \rightarrow +\infty}\! \E(h_k(\xx)).
\end{equation*}
Tímto jsme převedli bod (3) na bod (2). Zbývá nám tedy poslední krok k obecné funkci $ g $.
\item Nechť $ g $ je libovolná funkce podle předpokladů věty. Pak ji lze jistě rozložit na kladnou a~zápornou část (obě jsou nezáporné), tj. $ g = g^+ - g^- $. Jednoduchým rozepsáním převedeme bod (4) na bod (3), a~sice
\begin{equation*}
\E(g(\xx)) = \E g^+(\xx) - \E g^-(\xx).
\end{equation*}
Tím je důkaz dokončen. \qedhere
\end{enumerate}
\end{proof}
\begin{pozn}
Díky větě o~přenosu integrace už nemusíme počítat střední hodnotu "na buřtech" (tedy na množině $ \Omega $), ale volbou identického $ g $, tj.~$ g(\xx) = \xx $, dostáváme
\begin{equation*}
\E \xx = \int_{\Omega} g \circ \xx \dd P = \int_{\Omega} \xx \dd P\stackrel{\text{VPI}}{=} \int_{\mathbb{R}^n} \mx \dd P^{\xx},
\end{equation*}
což je pro nás při počítání mnohem příjemnější. Je-li navíc $ P^{\xx} \ll \lambda $, kde $ \lambda $ je Lebesgue\-ova, existuje hustota pravděpodobnosti a platí: $ \E(\xx) = \int_{\mathbb{R}^n} \mx f_{\xx}(\mx) \dd \mx$.
\end{pozn}
Následující věta nám ukáže spojitost mezi nezávislostí náhodných veličin a~jejich střední hodnotou -- dá nám však pouze \emph{nutnou} podmínku nezávislosti!
\begin{veta}\label{v-o-nezavislosti-pro-E}
Budťe $ (X_j)_1^{+\infty} $ nezávislé náhodné veličiny na $ (\Omega, \sa, P) $ a nechť $ (\forall\, j \in \mathbb{N})(X_j \in \mathcal{L}_1)$. Potom
\begin{equation*}
\forall n \in \mathbb{N}\colon\ \E\Bigl( \prod_{j=1}^n X_j \Bigr) = \prod_{j=1}^n \E X_j.
\end{equation*}
\end{veta}
\begin{proof}
Mějme libovolné pevné $ n \in \mathbb{N} $. Veličiny $ (X_j)_1^{+\infty} $ jsou vzájemně nezávislé, takže za konečnou $ k $-tici volme přímo $ k = n $. Na součin veličin $ \prod_{j=1}^n X_j := Y $ můžeme pohlížet jako na obraz při transformaci $ g\colon \mathbb{R}^n \rightarrow \mathbb{R} $, tedy $ g(\xx) = Y $, a na něj lze aplikovat větu o~přenosu integrace \ref{v-VPI} (dále jen VPI):
\begin{equation*}
\E Y =\int_{\Omega} Y \dd P = \int_{\Omega} g \circ \xx \dd P \stackrel{\text{VPI}}{=} \int_{\mathbb{R}^n} g(\mx) \dd P^{\xx} = \int\limits_{\mathbb{R}^n} \prod_{j=1}^n x_j\, \dd P^{\xx} = (*).
\end{equation*}
Zde přichází na řadu důležitý předpoklad nezávislosti veličin $ X_j $, protože podle věty~\ref{v-o-nezav-soucinova-mira} pak platí $ P^{\xx} = \bigotimes_{j=1}^n P^{X_j} $. Můžeme tedy pokračovat ve výpočtu integrálu (nyní již podle součinové míry), což nám umožní použít Fubiniho větu a dokončit důkaz.
\begin{equation*}
(*) = \int\limits_{\mathbb{R}^n} \prod_{j=1}^n x_j\, \dd\Bigl(\bigotimes_{j=1}^n P^{X_j}\Bigr) \stackrel{\text{F}}{=} \prod_{j=1}^n \int_{\mathbb{R}} x_j \dd P^{X_j} \stackrel{\text{VPI}}{=} \prod_{j=1}^n \int_{\Omega} X_j \dd P = \prod_{j=1}^n \E X_j.
\end{equation*}
Obecně nelze implikaci v~tvrzení věty obrátit!
\end{proof}
\subsection{Prostor $ \mathcal{L}_2 $ a rozptyl}
Kromě střední hodnoty se ve statistice i~v~pravděpodobnostním počtu budeme často setkávat ještě s~jinými vlastnostmi náhodných veličin, které definujeme níže. Jejich závislost už je však kvadratického nebo vyššího řádu, a tak na ně budeme muset naložit přísnější požadavky, co se integrability týče. Proto podobně jako výše sestrojíme prostor $ L_2 $.
\begin{defi}\label{def-L2}
Množinou náhodných veličin \textbf{integrabilních s~kvadrátem} vzhledem k~míře~$ P $ rozumíme množinu $ \mathcal{L}_2(\Omega, \sa, P) := \lbrace X \text{ náh. vel. na } (\Omega, \sa, P) \mid \E X^2 < +\infty \rbrace = \lbrace X \mid X^2 \in \mathcal{L}_1 \rbrace$.
Stejně jako v~konstrukci prostoru $ \mathcal{L}_1 $ (viz~\ref{def-L1}) zavedeme na $ \mathcal{L}_2 $ ekvivalenci $ \sim $ následovně:
\begin{equation*}
X \sim Y \Leftrightarrow X = Y \text{ s.~j. } P.
\end{equation*}
(Opět by bylo třeba ověřit, že jde o~ekvivalenci.) Množinu $ \mathcal{L}_2 $ rozložíme na třídy ekvivalence, tuto faktormnožinu vybavíme sčítáním a násobením a označíme ji $L_2(\Omega, \sa, P)$. Dostáváme \textbf{lineární prostor kvadraticky integrabilních funkcí}.
\end{defi}
\begin{defi}\label{def-skal-soucin}
Nechť $ X,\ Y $ jsou náhodné veličiny na $ L_2(\Omega, \sa, P) $. Číslo
\begin{equation}
\ss{X}{Y} := \E(XY)
\end{equation}
je \textbf{skalárním součinem} veličin $ X $ a $ Y $ na $ L_2$. Skutečně, takto definované zobrazení $ \ss{\cdot}{\cdot} $ je symetrická\footnote{Celou dobu se pohybujeme nad $ \mathbb{R} $, proto hermitovskost splývá se symetrií.} bilineární forma s~pozitivně definitní diagonálou, neboť $(\forall X \in L_2)(\ss{X}{X} \geq 0) $ a~$ \ss{X}{X} = 0 \Leftrightarrow X = 0 $. Na $ \mathcal{L}_2 $ toto platí pouze tehdy, když $ X = 0 $ \emph{skoro jistě} vzhledem k~$ P $.
Rozepišme, jak skalární součin působí:
\begin{equation*}
\E(XY) = \int_{\Omega} X Y \dd P \stackrel{\text{VPI}}{=} \int_{\mathbb{R}^2} xy \dd P^{(X,Y)} := \ss{X}{Y}.
\end{equation*}
Nakonec ověřme, zda je tato definice vůbec korektní. Z~nerovnosti\footnote{Jedná se o~obdobu Youngovy nerovnosti: $ (\forall a, b \in \mathbb{R})(2|ab| \leq a^2+b^2)$.} $ 2|XY| \leq X^2 + Y^2$, kde $ X, Y \in~L_2$, plyne, že potom $ 2|\E(XY)| \leq 2E|XY| \leq \E X^2 + \E Y^2 < +\infty$. Hodnota $ \E(XY) $ je tedy vždy konečná, neboli $ XY \in L_1 $.
\end{defi}
\begin{defi}
Nechť $ X \in L_2(\Omega, \sa, P) $. Skalární součin přirozeným způsobem indukuje \textbf{normu} na prostoru $ L_2 $, a to vztahem
\begin{equation*}
\normm{X} := \sqrt{\ss{X}{X}}.
\end{equation*}
Dvojice $ \left(L_2, \normm{\cdot}\right) $ tvoří normovaný lineární prostor, $ \left(L_2, \ss{\cdot}{\cdot}\right) $ je lineární prostor se skalárním součinem.
\end{defi}
\begin{defi}
Posloupnost veličin $ (X_n)_1^{+\infty} \subset L_2(\Omega, \sa, P)$ \textbf{konverguje k~$ X \in L_2$}, právě když $ \normm{X_n - X} \rightarrow 0 $.
\end{defi}
\begin{veta}
Prostor $ (L_2, \ss{\cdot}{\cdot}) $ je \textbf{Hilbertův}, tedy \textbf{úplný} vzhledem k~normě indukované skalárním součinem. (Každý Hilbertův prostor je Banachův.)
\end{veta}
Stejně jako v~lineární algebře platí na Hilbertově prostoru Cauchyho--Schwarzova nerovnost.
\begin{veta}[Cauchyho--Schwarzova\footnote{A.-L. Cauchy (1789--1857), čti [kóši]; H. A. Schwarz (1843--1921).} nerovnost]\label{Cauchy-Schwarz}
Nechť $ X,\ Y \in L_2 $. Potom $ |\E(XY) | \leq \normm{X}\normm{Y}$ a rovnost nastává právě tehdy, když jsou $ X $ a $ Y $ lineárně závislé, tj. $ (\exists\, \alpha \in \mathbb{R})(Y = \alpha X \text{ s.~j.}) $.
\end{veta}
Skalární součin umožňuje zavést pojmy jako kolmost náhodných veličin či úhel mezi nimi. Poskytuje nám také ortogonální bázi, a tím pádem např. rozvoje do trigonometrických řad. Lze navíc ukázat, že jak norma, tak skalární součin jsou spojitá zobrazení (převádí konvergentní posloupnost na konvergentní). Konkrétně to znamená, že jakmile $ X_n \rightarrow X $ v~$ L_2$, potom $ \normm{X_n} \rightarrow \normm{X} $. To ale dle definice normy na $ L_2 $ není nic jiného nežli
\begin{equation*}
\int_{\Omega} X_n^2 \dd P \stackrel{\text{VPI}}{=} \int_{\mathbb{R}} x_n^2 \dd P^{X_n} \longrightarrow \int_{\mathbb{R}} x^2 \dd P^{X}.
\end{equation*}
\begin{veta}
Pro \emph{omezenou} míru $ P $ platí: $ \mathcal{L}_2(\Omega, \sa, P) \subset \mathcal{L}_1(\Omega, \sa, P) $.
\end{veta}
\begin{proof}
Zvolme $ X \in \mathcal{L}_2$, o níž chceme ukázat, že je integrabilní s~první mocninou. Proto vezměme $ Y \in \mathcal{L}_1 $ takovou, že $ Y = 1 $ s.~j.~$ P $. Veličina $ Y $ je jistě omezená, takže je podle věty \ref{v-o-integrab-omez-vel} integrabilní dokonce s~kvadrátem, tj.~$ Y \in \mathcal{L}_2 $. Nyní s~pomocí Cauchyho--Schwarzovy nerovnosti pišme:
\begin{equation*}
|\E(X)| = |\E(XY)| \stackrel{\text{C--S}}{\leq} \sqrt{\E X^2}\sqrt{\E 1^2} = \sqrt{\E X^2} < +\infty.
\end{equation*}
Využili jsme toho, že $ (\forall\, \alpha \in \mathbb{R})\left(\E(\alpha) = \int_{\Omega} \alpha \dd P = \alpha P(\Omega) = \alpha\right) $. To však platí jen díky tomu, že je pravděpodobnostní míra omezená!
\end{proof}
\begin{pozn}\label{pozn-Lp-Lq}
Na prostorech vybavených neomezenou mírou výše uvedené tvrzení neplatí; mezi prostory $ L_1(\mathbb{R}, \bb, \dd x) $ a $ L_2(\mathbb{R}, \bb, \dd x) $ obecně není žádná inkluze.
Vezměme kupříkladu funkci $ f $ takovou, že $ f(x) = 1/x $ pro $ x \in [1, +\infty) $ a $ f(x) = 0 $ jinde. Jistě se shodneme, že $ \int_\mathbb{R} f(x) \dd x = +\infty$, ale $ \int_{\mathbb{R}} f^2(x) \dd x < +\infty$. Je tedy $ f \in L_2 \setminus L_1 $. Oproti tomu pro funkci $ g $ definovanou jako $ g(x) = 1/\sqrt{x}$ pro $ x \in (0,1] $ a $ g(x) = 0 $ jinde platí $ g \in L_1 \setminus L_2 $.
Inkluzi mezi $ L_p $ a $ L_q $ lze ale dokázat na \emph{omezených} množinách: Je-li $ G = G^\circ$ taková, že $ \lambda(G) < +\infty $, potom $ L_q \subset L_p \Leftrightarrow q > p \geq 1$.
\end{pozn}
\begin{defi}
Mějme náhodnou veličinu $ X \in \mathcal{L}_2 $.
\begin{itemize}
\item Jejím \textbf{rozptylem} nazveme číslo $ \D X $ definované jako $ \D X := \E(X-\E X)^2 $. Lze se (častěji) setkat se značením $ \Var X $ či $ \sigma^2(X) $. Vyjadřuje míru variability (\emph{disperze}) náhodné veličiny kolem její střední hodnoty. Říká se mu též střední kvadratická odchylka, anglicky \emph{variance}.
\item \textbf{Směrodatnou odchylkou} (anglicky \emph{standard deviation}) budeme rozumět $ \sqrt{\D X} $, také \linebreak někdy značeno písmenem $ \sigma $.
\end{itemize}
\end{defi}
\begin{pozn}
$ $
\begin{itemize}
\item Definice rozptylu (potažmo směrodatné odchylky) je korektní, neboť díky předchozí větě platí, že $ X \in \mathcal{L}_2 \Rightarrow X \in \mathcal{L}_1 $. Takto definovaný rozptyl bude tedy vždy konečný (stačilo by ale zeslabit požadavek na $ X \in \mathcal{L}_1 $, neboť $ (X-\E X)^2 $ je nezáporná funkce, tudíž její integrál jistě existuje, ale nemusí být konečný).
\item Z~definičního vztahu je vidět, že počítáme kvadrát odchylky veličiny od její střední hodnoty. Čím je veličina dál od průměru, tím větší váha jí je přiřazena. Umocnění však změní jednotky a zdá se přirozené vyjádřit disperzi dat v~původních jednotkách, a proto je výhodné výsledek odmocnit.
\item Pro výpočty se hodí danou veličinu $ X $ tzv. \emph{standardizovat} transformací do tvaru \linebreak$ Y := (X - \E X)/\sqrt{\D X}$. Lze snadno nahlédnout, že $ \E Y = 0 $ a $ \D Y = 1 $.
\end{itemize}
\end{pozn}
\begin{veta}[Alternativní výpočet $ \D $] Nechť $ X \in \mathcal{L}_2 $. Potom $ \D X = \E X^2 - (\E X)^2 $.
\end{veta}
\begin{proof}
Přímým výpočtem zjistíme, že
\begin{equation*}
\E\bigl[ X^2 - 2X \underbrace{\E (X)}_{\in \mathbb{R}} + \underbrace{(\E X)^2}_{\in \mathbb{R}}\,\bigr] = \E X^2 -2(\E X)(\E X) + (E X)^2 = \E X^2 - (\E X)^2.\qedhere
\end{equation*}
\end{proof}
\begin{veta}\label{v-rozptyl-afinni-transf}
Buď $ X \in \mathcal{L}_2 $. Potom
\begin{enumerate}
\item $ (\forall\, \alpha, \beta \in \mathbb{R})\left(\D(\alpha X + \beta) = \alpha^2 \D X \right)$.
\item $(\forall\, \beta \in \mathbb{R})(\D(\beta) = 0).$
\end{enumerate}
\end{veta}
\begin{proof}
Stačí dokázat pouze první bod, neboť druhý z~něho okamžitě vyplyne. Podle definice je
\begin{equation*}
\D(\alpha X + \beta) = \E\bigl[(\alpha X + \beta) - \E(\alpha X + \beta) \bigr]^2 =
\E[\alpha(X-\E X)]^2 = \alpha^2 \E[X-\E X]^2 = \alpha^2 \D X.
\end{equation*}
\end{proof}
\emph{Nutnou} podmínku nezávislosti veličin lze zformulovat i~pomocí jejich rozptylů.
\begin{veta}\label{v-rozptyl-souctu}
Nechť $ (X_j)_1^n $ jsou nezávislé náhodné veličiny a $ (\forall j \in \hat{n})(X_j \in \mathcal{L}_2) $. Potom platí:
\begin{equation*}
\D\Bigl(\sum_{j=1}^n X_j\Bigr) = \sum_{j=1}^n \D X_j.
\end{equation*}
\end{veta}
\begin{proof}
Rozepišme levou stranu.
\begin{equation*}
\D\Bigl(\sum_{j=1}^n X_j\Bigr)
\stackrel{\text{def}}{=} \E\Bigl[\sum_{j=1}^n X_j - \E\Bigl( \sum_{j=1}^n X_j\Bigr)\Bigr]^2
= \E\Bigl[\sum_{j=1}^n(X_j - \E X_j) \Bigr]^2 = (*)
\end{equation*}
Nyní je potřeba umocnit součet $ n $ sčítanců. Indukcí lze ukázat, že
\begin{equation*}
\Bigl(\sum_{j=1}^n a_j\Bigr)^2 = \sum_{j=1}^n a_j^2 + \sum_{j=1}^n\sum_{\substack{i=1\\ i \neq j}}^n a_i a_j = \sum_{j=1}^n a_j^2 + \sum_{i \neq j} a_i a_j.
\end{equation*}
Po umocnění sumy můžeme díky linearitě vtáhnout $ \E $ dovnitř:
\begin{equation*}
(*) = \sum_{j=1}^n\E(X_j - \E X_j)^2 + \sum_{i \neq j} \underbrace{\E\bigl[(X_i - \E X_i)(X_j -\E X_j)\bigr]}_{\bigstar}.
\end{equation*}
Zbývá ukázat, že výraz označený $ (\bigstar) $, který za chvíli nazveme \emph{kovariancí}, je roven nule. Skutečně, díky nezávislosti veličin $ (X_j)_1^n $ platí podle věty \ref{v-o-nezavislosti-pro-E}, že $ \E(YZ) = \E(Y)\E(Z) $. Ve $ (\bigstar) $ můžeme tedy~$ \E $ umístit ke každému ze dvou činitelů, takže $ \forall\, i, j \in \hat{n} $ máme $ (\E X_i - \E X_i)(\E X_j - \E X_j) = 0$. Celý součet tím pádem vymizí a~obdržíme pouze
\begin{equation*}
\sum_{j=1}^n\E(X_j - \E X_j)^2 = \sum_{j=1}^n \D X_j.\qedhere
\end{equation*}
\end{proof}
\begin{veta}[Čebyševova nerovnost]\label{v-cebysevova-nerovnost}
Mějme náhodnou veličinu $ X \in \mathcal{L}_2 $. Pak
\begin{equation*}
(\forall\, \varepsilon > 0)\Bigl(P\bigl[\,|X - \E X| \geq \varepsilon\,\bigr] \leq \frac{\D X}{\varepsilon^2} \Bigr).
\end{equation*}
\end{veta}
\begin{proof}
V~důkazu využijeme Markovovy nerovnosti \ref{v-markov} pro funkci $ (X - \E X)^2 \in \mathcal{L}_1 $. Buď $ \varepsilon > 0$ libovolné. Potom je Markovova nerovnost splněna i~pro $ \varepsilon^2 $ a po odmocnění dostaneme tvrzení věty.
\begin{equation*}
P\bigl[(X-\E X)^2 \geq \varepsilon^2 \bigr] \leq \frac{\E(X-\E X)^2}{\varepsilon^2} \Longleftrightarrow P\bigl[\, |X - \E X| \geq \varepsilon\,] \leq \frac{\D X}{\varepsilon^2}.
\end{equation*}
\end{proof}
\begin{defi}
Buďte $ X, Y \in \mathcal{L}_2 $. Jejich \textbf{kovariancí} nazveme číslo
\begin{equation*}
\cov(X,Y) := \E\bigl[(X-\E X)(Y - \E Y)\bigr].
\end{equation*}
Rozepsáním pravé stany zjistíme, že $ \cov(X,Y) = \E(XY) - (\E X)(\E Y)$. Kovariance vyjadřuje sílu vztahu mezi dvěma veličinami.
\end{defi}
\begin{veta}\label{vlastnosti-Cov}
Nechť $ X, Y \in \mathcal{L}_2 $. Potom platí
\begin{enumerate}
\item $ \cov(X,X) = \D X \geq 0 $.
\item $ \cov(X,Y) = \cov(Y, X) $.
\item Jsou-li veličiny $ X, Y $ nezávislé, pak $ \cov(X,Y) = 0 $ a říkáme, že \textbf{nekorelují}.
\end{enumerate}
\end{veta}
\begin{proof}
První dva body jsou zcela zřejmé. Co se třetího tvrzení týče, je díky nezávislosti $ \E(XY) = \linebreak = (\E X)(\E Y)$, takže $ \cov(X,Y) = \E(XY) - (\E X)(\E Y) = (\E X)(\E Y) - (\E X)(\E Y) = 0$. Obecně nelze tuto implikaci obrátit. V~praxi se však používá její obměna: Jakmile je kovariance nenulová, nemohou být veličiny nezávislé.
\end{proof}
\begin{priklad}
Ukažme si protipříklad, z~něhož bude jasné, proč nelze implikaci v~bodě~3 předchozí věty obrátit. Mějme náhodnou veličinu $ X $ symetrickou kolem nuly, tj. $ X \sim P^X \Leftrightarrow -X \sim P^X $, a~definujme náhodnou veličinu $ Y $ vztahem $ Y = X^2 $. Kovarianci veličin $ X,Y $ spočteme takto:
\begin{equation*}
\cov(X,Y) = \cov(X, X^2) = \E(X^3) - \E X \E X^2 = 0,
\end{equation*}
integrujeme totiž liché funkce $ X^3 $ a $ X $ přes \emph{symetrický} interval. Vyšlo nám tedy, že náhodné veličiny $ X$, $ Y $ nekorelují, ale přitom jsou na sobě přímo funkčně závislé! Nekorelovanost veličin tudíž \emph{neimplikuje} jejich nezávislost.
\end{priklad}
\begin{defi}
Buďte $ X, Y $ nedegenerované (nejsou s.~j. nulové) náhodné veličiny z~$ L_2 $ a nechť $ \D X>0,\ \D Y >0 $. Potom reálné číslo
\begin{equation*}
\rho (X, Y) = \frac{\cov(X, Y)}{\sqrt{\D X} \sqrt{\D Y}}
\end{equation*}
nazveme \textbf{korelací} (též \textbf{korelačním koeficientem}) náhodných veličin $ X,Y $.
\end{defi}
\begin{veta}
Nechť $ X,Y $ jsou náhodné veličiny a $ X, Y \in L_2 $. Pak platí:
\begin{equation*}
\rho(X, Y) \in [-1,1]
\end{equation*}
a navíc:
\begin{align*}
\rho(X, Y) = 1 &\Longleftrightarrow (\exists \beta >0)(Y - \E Y = \beta(X - \E X)) \\
\rho(X, Y) = -1 &\Longleftrightarrow (\exists \beta <0)(Y - \E Y = \beta(X - \E X)). \\
\end{align*}
\end{veta}
\begin{proof}
\begin{equation*}
|\rho(X, Y)| = \frac{|\cov(X, Y)|}{\sqrt{\D X} \sqrt{\D Y}}
= \frac{|\ss{X - \E X}{Y - \E Y}_{L_2}|}{\normm{X - \E X} \normm{Y - \E Y}} \leq 1,
\end{equation*}
kde poslední odhad plyne ze Schwarzovy nerovnosti (viz \ref{Cauchy-Schwarz}). Zbývá ukázat speciální případ, kdy $ (\exists \beta \neq 0)(Y - \E Y = \beta(X - \E X)) $.
\begin{equation*}
\rho(X, Y) = \frac{\cov(X, Y)}{\sqrt{\D X} \sqrt{\D Y}}
= \frac{\E[(X - \E X)(\beta(X - \E X))]}{\sqrt{\E(X - \E X)^2} \sqrt{\E[(\beta (X-\E X))^2]}} = \frac{\beta}{|\beta|}\frac{\D X}{\sqrt{\D X}\sqrt{\D X}} = \frac{1}{\sgn \beta}.
\end{equation*}
\end{proof}
\begin{defi}\label{def-kovariancni-matice}
Mějme vícerozměrnou náhodnou veličinu $ \xx = (X_1, \ldots, X_n) $, kde $(\forall j \in \hat{n})(X_j \in~\mathcal{L}_2)$. Matici $ \mathbb{C}(\xx) = (\cov(X_i, X_j))_{i,j = 1}^n $ nazveme \textbf{kovarianční maticí} náhodné veličiny $ \xx $.
\end{defi}
\begin{veta}\label{v-PSD-kovariancni-matice}
Buď $ \xx = (X_1, \ldots, X_n) $ vektorová náhodná veličina. Pak platí:
\begin{enumerate}[(1)]
\item $ \mathbb{C}(\xx) $ je symetrická,
\item $ \mathbb{C}(\xx) $ je pozitivně semidefinitní,
\item na diagonále matice $ \mathbb{C}(\xx) $ jsou rozptyly jednotlivých $ X_j $, tj.
$ \diag \mathbb{C}(\xx) = (\D X_1, \ldots, \D X_n) $.
\end{enumerate}
\end{veta}
\begin{proof}
Definujme náhodnou veličinu $ Y = \sum_{j=1}^n \alpha_j X_j $, pak platí:
\begin{align*}
0 \leq \D Y &= \E\Bigl(\sum_{j=1}^n \alpha_j X_j - \E\bigl(\sum_{j=1}^n \alpha_j X_j\bigr)\Bigr)^2\\
&\stackrel{\footnotemark}{=}\E\Bigl(\sum_{j=1}^n \alpha_j(X_j - \E X_j)\Bigr)^2 \\
&= \E\Bigl(\sum_{j=1}^n \sum_{i=1}^n \alpha_j(X_j - \E X_j)(X_i - \E X_i) \alpha_i\Bigr) \\
&= \sum_{j=1}^n \sum_{i=1}^n \alpha_j \E[(X_j - \E X_j)(X_i - \E X_i)] \alpha_i \\
&= \sum_{j=1}^n \sum_{i=1}^n \alpha_j \cov(X_i, X_j) \alpha_i \\
&= \trans{\bm{\alpha}} \mathbb{C}(\xx) \bm{\alpha}.
\end{align*}
\footnotetext{Využili jsme linearity střední hodnoty uvnitř závorky a sloučili jsme sumy.}Máme tedy $ \forall \,\bm{\alpha} \in \mathbb{R}^n $ nerovnost $ 0 \leq \trans{\bm{\alpha}}\mathbb{C}(\xx) \bm{\alpha} $, z~níž plyne pozitivní semidefinitnost $ \mathbb{C}(\xx) $. Symetričnost matice $ \mathbb{C}(\xx) $ je zřejmá díky symetrii kovariance (viz \ref{vlastnosti-Cov}). Třetí bod věty plyne z~definice kovariance pro vektorovou náhodnou veličinu $ \xx $, jelikož $ \D X_j = \cov(X_j, X_j) $.
\end{proof}
\begin{defi}
Mějme vícerozměrnou náhodnou veličinu $ \xx = (X_1, \ldots, X_n) $, kde $(\forall j \in \hat{n})(X_j \in~\mathcal{L}_2)$. Matici $ \mathbb{R}(\xx) = (\rho(X_i, X_j))_{i,j = 1}^n $ nazveme \textbf{korelační maticí} náhodné veličiny~$ \xx $.
\end{defi}
\begin{pozn}
Na diagonále korelační matice jsou samé jedničky, tj. $ \diag\mathbb{R}(\xx) = (1,1, \ldots, 1) $. Jedná se o triviální fakt, jelikož $ (\forall i \in \hat{n})(\rho(X_i, X_i) = 1) $.
\end{pozn}
\subsection{$ \mathcal{L}_p $ prostory a vyšší momenty}
\begin{defi}\label{def-Lp-norma}
Nechť $ p \geq 1 $. Množinu $ \mathcal{L}_p = \{X \text{ náhodné veličiny na } (\Omega, \sa, P) \mid |X|^p \in \mathcal{L}_1\}$ nazveme prostorem náhodných veličin \textbf{integrovatelných s $ p $-tou mocninou} vzhledem k~míře~$ P $. Dále definujme na tomto prostoru seminormu $ \normp{X} = (\E |X|^p)^{\frac{1}{p}} $.\\
Stejně jako v případě prostoru $ \mathcal{L}_2 $ (viz \ref{def-L2}) zavedeme na $ \mathcal{L}_p $ ekvivalenci $ \sim $ následovně:
\begin{equation*}
X \sim Y \Longleftrightarrow X = Y \text{ s. j. } P.
\end{equation*}
Faktorprostor $ L_p = \mathcal{L}_p|_{\sim} $ s~normou $ \normp{X} = (\E |X|^p)^{\frac{1}{p}} $ tvoří \textbf{normovaný vektorový prostor}.
\end{defi}
\begin{veta}[Hölderova nerovnost]
Buďte $ p,q \geq 1 $ takové, že $ \frac{1}{p} + \frac{1}{q} = 1 $. Mějme $ X \in \mathcal{L}_p $ a $ Y \in \mathcal{L}_q $. Pak $ XY \in \mathcal{L}_1 $ a platí:
\begin{equation}
|\E (XY)| \leq \E |XY| \leq \normp{X} \normq{Y}.
\end{equation}
\end{veta}
\begin{proof}
K důkazu budeme předpokládat platnost tzv. \emph{Youngovy nerovnosti}, která říká:\\
Nechť $ c, d \geq 0 $ a $ p,q \geq 1 $, kde $ \frac{1}{p} + \frac{1}{q} = 1 $. Pak platí:
\begin{equation*}
c^{\frac{1}{p}} d^{\frac{1}{q}} \leq \frac{1}{p}c + \frac{1}{q}d.
\end{equation*}
Ekvivalentně pro $ c = {c'}^p $ a $ d = {d'}^q $:
\begin{equation*}
c'd' \leq \frac{1}{p}{c'}^p + \frac{1}{q}{d'}^q.
\end{equation*}
Z volby $ c' = |X| $, $ d' = |Y| $ ihned plyne, že $ |XY| \in \mathcal{L}_1 $. Samotnou Hölderovu nerovnost dostaneme dosazením $ c = \frac{|X|^p}{\E |X|^p} $, $ d = \frac{|Y|^q}{\E |Y|^q} $:
\begin{align*}
c^{\frac{1}{p}} d^{\frac{1}{q}} &\leq \frac{1}{p}c + \frac{1}{q}d\\
\frac{|X||Y|}{\normp{X} \normq{Y}} &\leq \frac{1}{p}\frac{|X|^p}{\normp{X}^p} + \frac{1}{q}\frac{|Y|^q}{\normq{Y}^q} \qquad \big/ \E(\cdot)\\
\E|XY| &\leq \Bigl(\underbrace{\frac{1}{p} + \frac{1}{q}}_{=1}\Bigr)\normp{X}\normq{Y}.\qedhere
\end{align*}
Tím je tvrzení dokázáno. Důkaz obecné Hölderovy a~Youngovy nerovnosti bude proveden v~rámci předmětu \emph{Funkcionální analýza 1}.
\end{proof}
\begin{veta}
Nechť $ 1 \leq p < q < \infty $. Pak $ \mathcal{L}_q(\Omega, \sa, P) \subset \mathcal{L}_p(\Omega, \sa, P) $.
\end{veta}
\begin{proof}
Mějme náhodnou veličinu $ X \in \mathcal{L}_q $. Pak jistě platí, že
\begin{equation*}
|X|^p \leq 1 + |X|^q.
\end{equation*}
Jedničkou jsme odhadli případ, kdy $ |X| \leq 1 $, a výrazem $ |X|^q $ obsáhneme možnost, kdy $ |X|^p \geq 1 $, jelikož je dle předpokladu $ 1 \leq p < q < \infty$.
Aplikací střední hodnoty dostaneme tuto nerovnost do tvaru
\begin{equation*}
\E |X|^p \leq \underbrace{\E 1}_{=1} + \E |X|^q.
\end{equation*}
Člen $ \E 1 $ je roven jedné, protože je míra~$ P $ \emph{pravděpodobnostní}. Poslední nerovností je tvrzení věty dokázáno.
\end{proof}
\begin{defi}
Buď $ X $ náhodná veličina na pravděpodobnostním prostoru $ (\Omega, \sa, P) $. Pokud pro $ k \in \mathbb{N} $ existuje střední hodnota $ \E X^k $, nazveme ji \textbf{obecným $ k $-tým momentem} náhodné veličiny~$ X $ a~značíme $ {\mu'}_k = \E X^k$.
\end{defi}
\begin{defi}
Buď $ X $ náhodná veličina na pravděpodobnostním prostoru $ (\Omega, \sa, P) $. Existuje-li pro $ k \in \mathbb{N} $ střední hodnota $ \E [(X - \E X)^k] $, nazveme ji \textbf{centrálním $ k $-tým momentem} náhodné veličiny $ X $, píšeme $ \mu_k = \E [(X - \E X)^k] $.
\end{defi}
\begin{pozn}
V této poznámce uvedeme několik základních momentů. Mějme náhodnou veličinu $ X $. Pak:
\begin{itemize}
\item $ \mu_1' = \E X$
\item $ \mu_1 = \E(X - \E X) = \E X - \E (\E X) = \E X - \E X = 0 $
\item $ \mu_2 = \D X $
\item Nechť $ Y = \frac{X}{\sigma(X)} $. Pak $ \mu_3(Y) = \mu_3\left(\frac{X}{\sigma(X)}\right) = \frac{\mu_3(X)}{[\sigma(X)]^3}$. Tento moment se nazývá \textbf{šikmost}. Charakterizuje míru nesymetričnosti rozdělení kolem těžiště (tj. kolem $ \E X $) náhodné veličiny~$ X $. Pokud $ \mu_3(Y) = 0 $, pak je rozdělení $ X $ symetrické kolem $ \E X $.
\item Při stejném značení nazveme moment $ \mu_4(Y) = \frac{\mu_4(X)}{[\sigma(X)]^4} $ \textbf{špičatostí} rozdělení náhodné veličiny~$ X $. Pro libovolné Gaussovo rozdělení $ X \sim \mathcal{N}(\mu, \sigma^2) $ platí $ \mu_4(\frac{X}{\sigma(X)}) = 3 $. Definuje se tak tzv. \textbf{koeficient špičatosti} $ \mu_e = \mu_4(Y) - 3 $, který charakterizuje špičatost vzhledem k~normálnímu rozdělení (laicky řečeno: říká, zda je hustota rozdělení $ X $ plošší nebo špičatější než u~rozdělení Gaussova).
\end{itemize}
\end{pozn}
\begin{defi}
Množinu $ \mathcal{L}_{\infty} = \{X \text{ náhodné veličiny na } (\Omega, \sa, P) \mid X \text{ je omezená s.~j. } P \}$ \linebreak nazveme prostorem náhodných veličin \textbf{omezených} vzhledem k~míře~$ P $. Na tomto prostoru definujeme normu $ \norminf{X} $ definovanou jako nejmenší konstantu $ c \in \mathbb{R} $ takovou, že $ |X| \leq c $ skoro jistě. Této normě se také říká \emph{esenciální supremum} veličiny $ X $ a značí se $ \esssup X $.
\end{defi}
\begin{veta}
Mějme pravděpodobnostní prostor $ (\Omega, \sa, P) $. Pak platí, že $ \mathcal{L}_{\infty} \subset \mathcal{L}_{p \geq 1} $, a navíc $ \norminf{\cdot} = \lim_{p \rightarrow +\infty} \normp{\cdot} $.
\end{veta}
\begin{proof}
Tuto větu ponecháváme bez důkazu; bude v~obecnějším znění dokázána na přednášce funkcionální analýzy.
\end{proof}
\begin{pozn}
Předchozí věta nám říká, že $ \mathcal{L}_{\infty} $ je v~jistém smyslu limitou~$ \mathcal{L}_p $ prostorů. To ovšem platí pouze na prostoru s \emph{omezenou} mírou!
\end{pozn}
