Zdrojový kód
%\wikiskriptum{01MIP}
\newpage
\pagenumbering{arabic}
\chapter{Náhodné jevy}
\section{Historické definice pravděpodobnosti}
\begin{defi}[Richard von Mises]
Opakovaně provádějme experiment a buď $ A $ pozorovaný jev (experimentem může být např.~hod kostkou, jevem~$ A $ můžeme rozumět skutečnost, že "padne šestka"). Pak definujeme \textbf{pravděpodobnost jevu} $ A $ následovně:
\begin{equation}
\tilde{p}(A) = \frac{n_A}{n},
\end{equation}
kde $ n_A $ značí počet experimentů, při nichž nastal jev $ A $, a $ n $ je celkový počet provedených experimentů.
\end{defi}
\begin{pozn}
Tato definice pravděpodobnosti nezavádí pravděpodobnost v~pravém slova smyslu (proto ji prozatím značíme jinak, než je zvyklostí). Podle této definice je pravděpodobnost jevu~$ A $ přímo závislá na výsledku experimentu. To by znamenalo, že v pondělí může být pravděpodobnost padnutí šestky jiná než v úterý, což intuitivně nedává příliš smysl. V~posledních přednáškách semestru si ovšem dokážeme, že pro $ n \rightarrow +\infty $ tento \emph{odhad pravděpodobnosti} konverguje k~její přesné teoretické hodnotě dle současné definice.
\end{pozn}
\begin{defi}[Pierre-Simon Laplace]
Buď $ A $ pozoravaný jev v~rámci nějakého experimentu. \textbf{Pravděpodobnost jevu} $ A $ definujeme následujícím podílem:
\begin{equation}
\hat{p}(A) = \frac{z_A}{z},
\end{equation}
kde $ z_A $ značí počet způsobů výsledku experimentu, při nichž nastal jev A, a $ z $ je celkový počet způsobů, jak může daný experiment dopadnout.
\end{defi}
\begin{pozn}
Je důležité si uvědomit rozdíl mezi definicí Von Misesovou a Laplaceovou.\linebreak Zatímco Von Mises tvrdí, že musíme experiment provést a pak odhadnout jeho pravděpodobnost podílem "příznivé/všechny", Laplace říká, že o pravděpodobnosti pozorovaného jevu lze rozhodnout, aniž bychom experiment provedli! Ačkoli se Laplaceova definice oprostila od závislosti na výsledku experimentu, stále má jistá omezení:
\begin{itemize}
\item Pro celkový počet způsobů výsledku experimentu $ z $ musí platit, že $ z \in \mathbb{N} $. Musí jich tedy být konečně mnoho!
\item Jednotlivé způsoby musí být stejné možné (neboli pravděpodobné -- tento pojem jsme ale zatím korektně nezavedli).
\item Do čísla $ z $ je nutné zahrnout \emph{všechny} možné výsledky.
\item Výsledky experimentu se musí navzájem vylučovat.
\end{itemize}
\end{pozn}
\begin{defi}[Geometrická definice pravděpodobnosti]
Označme $ \Omega $ množinu všech možných výsledků experimentu a $ A $ pozorovaný jev, pro který platí $ A \subset \Omega $. Nechť existuje bijektivní zobrazení $ Z\colon \left(\Omega, A\right) \rightarrow \left(\Omega^*, A^*\right) $, kde $ \Omega^* $ je měřitelný prostor (též zvaný fázový) vybavený mírou~$ \mu $, a~nechť dále $ A^* \subset \Omega^* $. Pak \textbf{pravděpodobnost jevu} $ A $ definujeme takto:
\begin{equation}
p(A) = \frac{\mu (A^*)}{\mu (\Omega^*)}.
\end{equation}
\end{defi}
\begin{pozn}
Tato definice už se velmi blíží současné definici pravěpodobnosti, ale stále má v~sobě skryté omezení v~podobě zobrazení $ Z $. Mělo by dodržovat soulad mezi velikostí pravděpodobnosti jevu $ A $ a~mírou obrazu jevu $ A $, tj. $ \mu (A^*) $, ve fázovém prostoru $ \Omega^* $.
\end{pozn}
\section{Současná definice pravděpodobnosti}
Než se dostaneme k samotné definici pravděpodobnosti, je potřeba zavést několik pojmů a operací, které budeme nadále hojně používat.
\begin{defi}[Základní pojmy]
Definujme následující pojmy:
\begin{enumerate}
\item \textbf{Elementární jev} $ \omega $ je jev, jehož vnitřní strukturu už dále nerozlišujeme. Např. při hodu kostkou mohou nastat elementární jevy "padne 1", "padne 2" nebo také "padne sudé číslo", "padne liché číslo".
\item \textbf{Základní množinu}, tj. množinu všech elementárních jevů $ \omega $, označme $ \Omega $.
\item \textbf{Jev} $ A $ je přímo elementární jev nebo je libovolnou podmnožinou množiny všech elementárních jevů, tj. $ A \subset \Omega $.
\item Nechť $ A = \emptyset $. Pak nazveme $ A $ jevem \textbf{nemožným}.
\item Nechť $ A = \Omega $. Pak nazveme $ A $ jevem \textbf{jistým}.
\item Řekneme, že jev $ A $ \textbf{nastal}, pokud nastal elementární jev $ \omega \in \Omega$ a navíc $\omega \in A $.
\end{enumerate}
\end{defi}
\begin{defi}[Operace s jevy]
Nechť $ A,B \subset \Omega $ jsou libovolné jevy.
\begin{enumerate}
\item \textbf{Komplementární (opačný)} jev $ \comp{A} $ k jevu $ A $ definujeme jako
\begin{equation*}
\omega \in \comp{A} \Leftrightarrow \omega \notin A,
\end{equation*}
tj. jev $ \comp{A} $ nastane právě tehdy, když nenastane jev $ A $.
\item Inkluzi $ A \subset B $ definujeme následovně:
\begin{equation*}
\omega \in A \Rightarrow \omega \in B,
\end{equation*}
tj. nastane-li jev A, pak nastane i jev B.
\item Řekneme, že jevy $ A,B $ jsou \textbf{totožné}, právě když platí:
\begin{equation*}
A \subset B \land B \subset A,
\end{equation*}
neboli jev $ A $ nastane právě tehdy, když nastane jev $ B $.
\item \textbf{Průnikem} jevů $ A \cap B $ myslíme jev, při němž nastává jev $ A$ a zároveň jev $ B $, tj.
\begin{equation*}
(\omega \in A \cap B) \Leftrightarrow( \omega \in A \land \omega \in B).
\end{equation*}
Je-li $ A \cap B = \emptyset $, pak jsou $ A,B $ \textbf{disjunktní (neslučitelné)}.
\item \textbf{Rozdílem} jevů $ A $ a $B $ rozumíme
\begin{equation*}
A-B = A \cap \comp{B}.
\end{equation*}
%tzn. jev $ A \cap B $ nastane, nastane-li jev $ A $ i jev $ B $.
\item \textbf{Sjednocení} jevů $ A \cup B $ je definováno takto:
\begin{equation*}
\omega \in \left(A \cup B\right) \Leftrightarrow \omega \in A \lor \omega \in B,
\end{equation*}
tj. jev $ A \cup B $ nastane, nastane-li jev $ A $ nebo $ B $.
Jsou-li navíc $ A,B $ disjunktní, nazveme jejich sjednocení \textbf{direktním součtem} jevů $ A,B $ a značíme $ A + B $. Sjednocení, resp. direktní součet více jevů budeme zapisovat následovně:
\begin{equation*}
\bigcup_{j=1}^{+\infty} A_j \text{,~resp.~} \sum_{j=1}^{+\infty}A_j.
\end{equation*}
\end{enumerate}
\end{defi}
\begin{veta}[Vlastnosti operací s jevy]
Nechť $ \Omega $ je základní množina a $ A \subset \Omega $ je jev. Pak platí:
\begin{enumerate}
\item $ A \cap \comp{A} = \emptyset $,
\item $ A \cup \comp{A} = \Omega $,
\item $ A \cap \Omega = A $,
\item $ A \cap \emptyset = \emptyset $.
\end{enumerate}
\begin{proof}
Plyne přímo z definice $ \comp{A} $, $ A \cap B $ a $ A \cup B $.
\end{proof}
\end{veta}
\begin{pozn}
K následujícím důkazům se nám budou hodit De Morganovy vzorce:
\begin{equation}\label{De-Morg}
\comp{\Bigl( \bigcup_{j=1}^{+\infty} A_j\Bigr)} = \bigcap_{j=1}^{+\infty} \comp{A}_j.
\end{equation}
\end{pozn}
\begin{defi}[$ \sigma $-algebra]\label{def-sigma-alg}
Buď $ \Omega $ základní množina a mějme systém podmnožin $ \sa \subset \mathcal{P}(\Omega) $, který splňuje následující axiomy:
\begin{enumerate}[I.]
\item $ \Omega \in \sa $,
\item $ \left(\forall A \in \sa\right)\left( \comp{A} \in \sa\right) $,
\item $ \left(\forall j \in \mathbb{N}\right)(A_j \in \sa) \Longrightarrow \bigcup_{j=1}^{+\infty} A_j \in \sa$.
\end{enumerate}
Pak $ \sa $ nazýváme \textbf{$ \sigma $-algebrou} jevů (množin) na množině $ \Omega $. Symbolem $ \mathcal{P}(\Omega) $ značíme potenční množinu množiny $ \Omega $.
\end{defi}
\begin{pozn}
Řecké písmeno sigma v~pojmu $ \sigma $-algebra dává najevo, že požadujeme uzavřenost~$ \sa $ na \emph{spočetné} sjednocení. Je-li $ \sa $ uzavřená pouze na konečná sjednocení, nazveme ji jednoduše \emph{algebrou}.
\end{pozn}
\begin{veta}[Vlastnosti $ \sigma $-algebry]\label{vlastn-sa}
Buď $ \sa $ $ \sigma $-algebra na základní množině $ \Omega $. Pak platí:
\begin{enumerate}
\item $ \left(\forall j \in \mathbb{N}\right)\left(A_j \in \sa\right) \Longrightarrow \bigcap_{j=1}^{+\infty} A_j \in \sa $,
\item $ \left(\forall j \in \hat{n}\right)\left(A_j \in \sa\right)
\Longrightarrow \bigcap_{j=1}^{n} A_j \in \sa $,
\item $ \left(\forall j \in \hat{n}\right)\left(A_j \in \sa\right)
\Longrightarrow \bigcup_{j=1}^{n} A_j \in \sa $,
\item $ \left(\forall A,B \in \sa \right) \left( A \setminus B \in \sa\right) $,
\item $ \emptyset \in \sa $.
\end{enumerate}
\begin{proof}
Doporučujeme čtenáři, aby jednotlivé body dokazoval v~pořadí, v němž jsou uvedeny. Není to nic těžkého, stačí využít axiomů $ \sigma $-algebry a De Morganových zákonů.
\end{proof}
\end{veta}
\begin{defi}[Axiomatická definice pravděpodobnosti, 1933]
Mějme neprázdnou základní množinu~$ \Omega $ a na ní $ \sigma $-algebru $ \sa $. Pak libovolnou funkci $ P\colon \sa \rightarrow \mathbb{R} $ splňující tři Kolmogorovovy\footnote{Andrej N. Kolmogorov (1903--1987).} axiomy
\begin{enumerate}[$\quad$K1.]
\item\label{k1} $ P\left(\Omega\right) = 1 $,
\item\label{k2} $ \left(\forall A \in \sa\right)\left(P(A) \geq 0\right) $,
\item\label{k3} $ \left(\forall \left(A_j\right)_{j=1}^{+\infty} \in \sa \text{, kde } A_j \text{ jsou navzájem disjunktní}\right)\left(P\left( \sum_{j=1}^{+\infty}A_j \right) = \sum_{j=1}^{+\infty} P \left(A_j\right) \right)$
\end{enumerate}
nazveme \textbf{pravděpodobnostní mírou}.
\end{defi}
\begin{pozn}
Nahradíme-li axiom K1 požadavkem $ P(\emptyset) = 0 $, nazveme funkci~$ P $ \textbf{mírou}.
\end{pozn}
\begin{defi}
Trojici tvořenou základní množinou $ \Omega $, sigma algebrou $ \sa $ a~pravděpodobnostní mírou $ P $ nazýváme \textbf{pravděpodobnostním prostorem} a značíme $ \left(\Omega, \sa, P\right). $
\end{defi}
\begin{pozn}
Nabízí se otázka, proč je v~Kolmogorovových axiomech požadována existence $ \sigma$-algebry. Nestačilo by brát $ \mathcal{A} = \mathcal{P}(\Omega) $? Bude-li množina $\Omega $ \emph{spočetná}, pak by to skutečně stačilo. Když je však $ \Omega $ \emph{nespočetná}, je její potenční množina příliš obsáhlá a~nenašli bychom dostatečně netriviální funkci $ P$. To je důvod, proč bereme podsystém $ \mathcal{A} \subset \mathcal{P}(\Omega). $
\end{pozn}
\begin{veta}[O vlastnostech $ P $]\label{v-o-vlastn-P}
Mějme pravděpodobnostní prostor $ (\Omega, \sa, P) $ a nechť $(\forall\, j~\in~\mathbb{N})\\(A_j \in \sa) $ a nechť dále $ B \in \sa $. Pak platí:
\begin{enumerate}
\item $ P(\emptyset) = 0, $
\item \textbf{Aditivita:} $P \left(\sum_{j=1}^{n} A_j\right) = \sum_{j=1}^{n} P(A_j) $,
\item \textbf{Monotonie:} $ A \subset B \Rightarrow P(A) \leq P(B) $,
\item \textbf{Subtraktivita:} $ A \subset B \Rightarrow P(B \setminus A) = P(B) - P(A) $,
\item \textbf{Omezenost:} $ (\forall\, A \in \sa)(P(A) \leq 1) $,
\item \textbf{Komplementarita:} $ A \in \sa \Rightarrow P(\comp{A}) = 1 - P(A) $.
\end{enumerate}
\end{veta}
\begin{proof}
$ $
\begin{enumerate}
\item Lákalo by nás dokázat tento bod pomocí doplňku k $ P(\Omega) = 1 $, jak tvrdí axiom K1 -- zatím jsme však nedokázali bod 6. Jistě platí, že $ \Omega = \Omega \cup \emptyset \cup \emptyset \cup \cdots $, přičemž všechny tyto množinny jsou navzájem disjuktní. Proto položme $ A_1 := \Omega $ a $ (\forall \, j \geq 2)(A_j := \emptyset) $. Je tedy
\begin{equation*}
P(\Omega) = P\Bigl(\sum_{j=1}^{+\infty} A_j \Bigr) \stackrel{\text{K3}}{=} \sum_{j=1}^{+\infty} P(A_j) = P(\Omega) + \sum_{j=2}^{+\infty} P(A_j).
\end{equation*}
Nezapomeňme, že výše uvedené sumy jsou ve smyslu disjunktního sjednocení, jak jsme se domluvili dříve. Odečtením $ P(\Omega) $ obdržíme řadu nezáporných čísel (určitě totiž díky K2 víme, že $ P(\emptyset) \geq 0$), jejíž součet je nula, takže není jiná možnost, než aby $ P(\emptyset) = 0$.
\item Axiom K3 platí pro spočetné disjunktní sjednocení. Doplňme tedy $ (\forall\, j \geq n+1)(A_j := \emptyset) $. Pak
\begin{equation*}
P\Bigl(\sum_{j=1}^{n} A_j \Bigr) = P\Bigl(\sum_{j=1}^{+\infty} A_j \Bigr) \stackrel{\text{K3}}{=} \sum_{j=1}^{+\infty} P(A_j) \stackrel{1.}{=} \sum_{j=1}^{n} P(A_j) + 0.
\end{equation*}
\item Je-li $ A \subset B $ (ve smyslu jevů), můžeme množinu $ B $ \emph{disjunktně} rozložit na $ B = A + B \setminus A $. To nám umožní použít již dokázaný bod 2 na konečné disjunktní sjednocení, což dává
\begin{equation}\label{eq1-vlastnosti}
P(B) \stackrel{2.}{=} P(A) + \underbrace{P(B \setminus A)}_{\geq 0} \geq P(A) \stackrel{\text{K\ref{k2}}}{\geq} 0,
\end{equation}
což bylo dokázati.
\item Tvrzení dostaneme automaticky z rovnosti \eqref{eq1-vlastnosti}.
\item Dle K1 je $ P(\Omega) = 1 $. Zároveň pro každý jev $ A $ platí $ A \subset \Omega $, a tedy s využitím třetího bodu věty dostáváme $ P(A) \leq P(\Omega) = 1 $.
\item Je
\begin{equation*}
P(\comp{A}) = P(\Omega \setminus A) \stackrel{4.}{=} P(\Omega) - P(A) = 1 - P(A). \qedhere
\end{equation*}
\end{enumerate}
\end{proof}
\begin{pozn}
Můžeme pracovat i s prostorem $ (\Omega, \sa, \mu) $, kde $ \mu $ je obecná míra. Ta nemusí vyhovovat axiomu K1, neboť není nutně omezená (např. míra Lebesgueova). To však má jisté následky, a sice že už neplatí body, kde předpokládáme její konečnost, tj. tvrzení 4., 5. a 6.
\end{pozn}
\begin{veta}[O sjednocení]\label{bool}
Buď $ (\Omega, \sa, P) $ pravděpodobnostní prostor. Pak platí:
\begin{enumerate}
\item $ P(A \cup B) = P(A) + P(B) - P(A \cap B)$,
\item $ P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(A \cap B) -P(A \cap C) - P(B \cap C) + P(A \cap B \cap C)$,
\item \textbf{Booleova\footnote{George Boole (1815--1864), čti [bůl].} nerovnost:} $ (\forall\, j \in \mathbb{N}, A_j \in \sa)
\left[P\left(\bigcup_{j=1}^{n,+\infty} A_j \right) \leq \sum_{j=1}^{n,+\infty} P(A_j) \right]$. Někdy se tato vlastnost nazývá \emph{$\sigma $-subaditivitou}.
\end{enumerate}
\end{veta}
\begin{proof}
$ $
\begin{enumerate}
\item Obecně nevíme, zda jsou jevy $ A, B $ neslučitelné ani zda $ A \subset B $, proto toto sjednocení musíme disjunktně rozložit (pomůže obrázek):
\begin{align*}
P(A \cup B) &= P(A + B \setminus (A \cap B)) \\
&= P(A) + P(B \setminus (\underbrace{A \cap B}_{\subset B})) \\
&= P(A) + P(B) - P(A \cap B).
\end{align*}
\item Toto vznikne znovuužitím první bodu. Uvažme sjednocení $ (A \cup B) \cup C $. Pak
\begin{align*}
P((A \cup B) \cup C) &\stackrel{1.}{=} P(A \cup B) + P(C) - P((A \cup B) \cap C) \\
&\stackrel{1.}{=} P(A) + P(B) + P(C) - P(A \cap B) - P((A \cup B) \cap C).
\end{align*}
Abychom nyní mohli opět použít první bod věty, je třeba množinu $ (A \cup B) \cap C $ disjunktně rozložit, jak to požaduje předpoklad aditivity. Z~Vennových diagramů není těžké vyzkoumat, že takovým rozkladem je např. množina $ (A \cap C) + (B \cap C) \setminus (A \cap B \cap C) $.\footnote{Schůdnější a možná jednodušší cestou by bylo použití distributivity operace $ \cap $, protože je $ (A \cup B) \cap C = \linebreak = (A \cap C) \cup (B \cap C)$. To nám umožní rovnou použít první bod věty.} Výsledek už je teď pouhým důsledkem aditivity a subtraktivity funkce $ P $.
\item Budeme postupovat matematickou indukcí. Připomeňme, že zde nepředpokládáme disjunktnost množin $ A_j $. Pro $ n=2 $:
\begin{equation*}
P(A_1 \cup A_2) \stackrel{1.}{=} P(A_1) + P(A_2) - P(A_1 \cap A_2) \stackrel{\text{K1}}{\leq} P(A_1) + P(A_2).
\end{equation*}
Nechť pro $ k = n $ tvrzení platí (IP). Pak
\begin{align*}
P\Bigl(\bigcup_{j=1}^{n+1} A_j\Bigr) &= P\Bigl( \bigcup_{j=1}^{n} A_j \cup A_{n+1}\Bigr) \\
&\!\!\stackrel{n=2}{\leq} P\Bigl( \bigcup_{j=1}^{n} A_j \Bigr) + P(A_{n+1}) \\
&\stackrel{\text{IP}}{\leq} \sum_{j=1}^{n+1} P(A_j).
\end{align*}
Symbolem $ \sum_{j=1}^{n, +\infty} $ rozumíme, že nezáleží na tom, zda je toto sjednocení konečné či spočetné.\qedhere
\end{enumerate}
\end{proof}
\paragraph{Úmluva.} Klesající, resp. rostoucí posloupnost do sebe vnořených jevů ze $ \sigma$-algebry $ \sa $, jejíž limitou je jev $ A~\in~\sa $, budeme značit $ A_n \searrow A = \bigcap_{n=1}^{+\infty} A_n$, resp. $ A_n \nearrow A = \bigcup_{n=1}^{+\infty} A_n$.
\begin{veta}[O spojitosti $ P $]\label{v-o-spojitosti-P}
Mějme pravděpodobnostní prostor $ (\Omega, \sa, P) $. Platí:
\begin{enumerate}
\item \textbf{Spojitost shora:} $ A_n \searrow A \Longrightarrow \lim_{n \rightarrow +\infty} P(A_n) = P(A) $.
\item \textbf{Spojitost zdola:} $ A_n \nearrow A \Longrightarrow \lim_{n \rightarrow +\infty} P(A_n) = P(A) $.
\end{enumerate}
\end{veta}
\begin{proof}
Stačí nám ukázat pouze první bod. Díky komplementaritě $ P $ totiž dokonce platí, že $ P $ je spojitá shora, \emph{právě když} je spojitá zdola.
Důkaz prvního bodu si rozdělíme do dvou kroků:
\begin{enumerate}[$ \quad $(a)]
\item Je-li $ A = \emptyset, $ pak $ A_n \searrow \emptyset $. Abychom mohli použít axiom K3, je třeba sestrojit posloupnost vzájemně disjunktních, do sebe vnořených množin. Položme tedy $ B_n := A_n \setminus A_{n+1} \in \sa$. Pak je $ (\forall\, n~\in~\mathbb{N})(A_n = \sum_{j=n}^{+\infty} B_j ), $ kde suma je ve smyslu disjunktního sjednocení. S~pomocí K3 je $ \sum_{j=1}^{+\infty}P(B_j) = P(A_1) \in [0,1] $. To ale znamená, že každý zbytek této konvergentní řady v~limitě vymizí,~tj. $ \sum_{j=n}^{+\infty} P(B) = P(A_n) \xrightarrow{n\rightarrow + \infty} 0 = P(\emptyset)$.
\item Nechť $ A_n \searrow A \neq \emptyset$. Stačí uvažovat posloupnost $ A_n \setminus A \searrow \emptyset $, protože tím nenarušíme její monotonii. Tak se ale rázem ocitáme ve stejné situaci jako v~přechozím bodě -- je totiž
\begin{equation*}
P(A_n \setminus A)\rightarrow 0\ \wedge\ (\forall\, n \in \mathbb{N})(A \subset A_n),
\end{equation*}
z~čehož díky subtraktivitě funkce $ P $ plyne, že $ P(A_n) - P(A) \rightarrow 0$, což jsme chtěli ukázat.
\end{enumerate}
\end{proof}
\begin{defi}
Buďte $ A, B \in \sa $, $ P(B) > 0 $. Pak definujeme \textbf{podmíněnou pravděpodobnost} vztahem
\begin{equation}\label{podm-pp}
P(A \mid B) := \frac{P(A \cap B)}{P(B)},
\end{equation}
čímž se rozumí pravděpodobnost jevu $ A $ za předpokladu, že nastal jev $ B $.
\end{defi}
\begin{pozn}
$ $
\begin{itemize}
\item V~definičním vztahu $ \eqref{podm-pp} $ je jev $ B $ brán jako fixní a jev $ A $ jako proměnná.
\item Nabízí se otázka, zda jde opravdu o pravděpodobnost. Skutečně, pro pevné $ B $ je funkce $ P(\, \cdot \mid B)\colon \sa \rightarrow \mathbb{R} $ pravděpodobnostní mírou, která plní axiomy K1--K3.
\item Pro obecnou míru $ \mu $ musíme dodat podmínku $ \mu(B) < +\infty $, abychom předešli nepříjemné komplikaci v podobě "$ \infty/\infty $".
\end{itemize}
\end{pozn}
\begin{veta}[Součinové pravidlo]
Nechť $ A_1, \dots, A_n \in \sa $ jsou takové, že $ P(A_1 \cdot \ldots \cdot A_n) > 0 $, kde součiny jsou ve smyslu průniků. Pak
\begin{equation}\label{eq-souc-prav}
P(A_1 \cdot \ldots \cdot A_n) = P(A_1) \cdot P(A_2 \mid A_1) \cdot P(A_3 \mid A_1 \cdot A_2) \cdot \ldots \cdot P(A_n \mid A_1 \cdot \ldots \cdot A_{n-1}).
\end{equation}
\end{veta}
\begin{proof}
Tvrzení dokážeme matematickou indukcí. Pro $ n = 2 $ máme přímo z~definice \eqref{podm-pp}
\begin{equation*}
P(A_1 \cdot A_2) = P(A_1) \cdot P(A_2 \mid A_1).
\end{equation*}
Nechť tvrzení platí pro $ k = n $. Pak
\begin{equation*}
P(\underbrace{A_1 \cdot \ldots \cdot A_n} \cdot \underbrace{A_{n+1}}) \stackrel{n=2}{=} P(A_1 \cdot \ldots \cdot A_n) \cdot P(A_{n+1} \mid A_1 \cdot \ldots \cdot A_n).
\end{equation*}
Teď už jen stačí na první činitel použít indukční předpoklad a důkaz je dokončen.
\end{proof}
\begin{defi}
Mějme pravděpodobnostní prostor $ (\Omega, \sa, P) $. Systém jevů $ \mathcal{H} = \lbrace H_j \mid j \in \mathbb{N} \rbrace $ tvoří \textbf{úplný rozklad množiny $ \Omega $} (dále jen ÚR$\Omega$), právě když
\begin{itemize}
\item jevy z~$ \mathcal{H} $ jsou vzájemně neslučitelné,
\item $ (\forall\, j \in \mathbb{N})(P(H_j) > 0 )$,
\item pokrývá $ \Omega $ \emph{v pravděpodobnostním smyslu}, tj. $ P\left(\sum_{j=1}^{n,+\infty} H_j \right) = 1 $. Znamená to, že při pokrývání $ \Omega $ můžeme nějakou její část vynechat \emph{v množinovém smyslu}, ale její příspěvek k~pravděpodobnostní míře sjednocení musí být nulový.
\end{itemize}
\end{defi}
\begin{veta}
Nechť systém jevů $ \lbrace H_j \mid j \in \mathbb{N} \rbrace $ tvoří \uro\ na $ (\Omega, \sa, P) $, $ A \in \sa $. Potom
\begin{equation}\label{v-uro}
P(A) = \sum_{j=1}^{n,+\infty}P(A \mid H_j) \cdot P(H_j).
\end{equation}
\end{veta}
\begin{proof}
Množinu $ A $ disjunktně rozložíme na $ A = A \cap B + A \cap \comp{B}$, kde za $ B $ bereme pokrytí $ \Omega $ pomocí množin $ H_j $. Doporučujeme čtenáři, aby si nakreslil obrázek. Pišme
\begin{align*}
P(A) &= P\Bigl[A \cap \!\!\sum_{j=1}^{n,+\infty}\!\! H_j + A \cap \Bigl(\sum_{j=1}^{n,+\infty}\!\! H_j\Bigr)^{\mathsf{c}} \,\Bigr] \\
&= P\Bigl(A \cap \!\!\sum_{j=1}^{n,+\infty}\!\! H_j \Bigr) + 0 \\
&\stackrel{\text{K3}}{=} \sum_{j=1}^{n,+\infty}\!\! P(A \cap H_j) \\
&\!\!\stackrel{\eqref{podm-pp}}{=} \sum_{j=1}^{n,+\infty}\!\! P(A \mid H_j) \cdot P(H_j).
\end{align*}
Díky tomu, že $ B $ pokrývá $ \Omega $, je $ A \cap \comp{B} = \emptyset$. Následně už se jednalo jen o použití distributivity průniku vůči sjednocení a~$ \sigma $-aditivity funkce~$ P $.
\end{proof}
\begin{veta}[Bayesova\footnote{Thomas Bayes (ca 1701--1761), čti [bejs].}]
Nechť $ \lbrace H_j \mid j \in \mathbb{N} \rbrace $ tvoří \uro\ na $ (\Omega, \sa, P)$, $ A \in \sa $, $ P(A) > 0 $. Pak pro všechna $ j \in \mathbb{N} $ platí Bayesův vzorec:
\begin{equation}
P(H_j \mid A) = \frac{P(A \mid H_j) \cdot P(H_j)}{\sum_{j=1}^{n,+\infty}\!\! P(A \mid H_j) \cdot P(H_j)}.
\end{equation}
\end{veta}
\begin{proof} Využijeme definice \eqref{podm-pp}, součinového pravidla \eqref{eq-souc-prav} a již dokázaný vzorec \eqref{v-uro}:
\begin{align*}
P(H_j \mid A) &\stackrel{\eqref{podm-pp}}{=} \frac{P(H_j \cap A)}{P(A)} \\
&\stackrel{\eqref{v-uro}}{=}\frac{P(H_j \cap A)}{\sum_{j=1}^{n,+\infty}\!\! P(A \mid H_j) \cdot P(H_j)}\\
&\stackrel{\eqref{eq-souc-prav}}{=} \frac{P(A \mid H_j) \cdot P(H_j)}{\sum_{j=1}^{n,+\infty}\!\! P(A \mid H_j) \cdot P(H_j)}.
\end{align*}
Bayesův vzorec "obrací chod času": Na levé straně se ptáme na pravděpodobnost jevu $ H_j $ za předpokladu, že nastal jev $ A $, a počítáme ji pomocí obrácené situace.
\end{proof}
\begin{defi}[Vzájemná nezávislost jevů]\label{def-nez}
Mějme pravděpodobnostní prostor $ \left(\Omega, \sa, P\right) $ a nechť~$ \mathcal{C} $ je soubor jevů ze $ \sigma $-algebry $ \sa $. Pak říkáme, že jevy z $ \mathcal{C} $ jsou \textbf{vzájemně (stochasticky) nezávislé}, právě když platí:
\begin{equation}\label{eq-nez}
\left(\forall k \in \mathbb{N} \right)\! \left( \forall \left(A_j\right)_{j=1}^k \in \mathcal{C} \right)\! \left( P\Bigl( \bigcap_{j=1}^k A_j\Bigr) = \prod_{j=1}^k P(A_j) \right).
\end{equation}
Pro každou konečnou $ k $-tici jevů z $ \mathcal{C} $ platí, že jejich sdružená pravděpodobnost je rovna součinu marginálních pravděpodobností.
Dále budeme nezávislostí myslet vzájemnou nezávislost. Bude-li potřeba jiné nezávislosti, bude to explicitně řečeno.
\end{defi}
\begin{pozn}
Kdybychom chtěli rozšířit definici pojmu vzájemně nezávislé jevy i na prostory vybavené obecnou mírou $ \mu $, museli bychom ošetřit omezenost míry jednotlivých množin z~$ k $-tice, tj. $ \left(\forall k \in \mathbb{N} \right) \left( \forall \left(A_j\right)_{j=1}^k \in \mathcal{C} , \ \mu(A_j) < +\infty \right)\!\Bigl(P\bigl( \bigcap_{j=1}^k A_j\bigr) = \prod_{j=1}^k P(A_j)\Bigr) $.
\end{pozn}
\begin{pozn}
V~případě, že by navíc v~definici \ref{def-nez} byla mohutnost systému jevů $ \mathcal{C} $ konečná (značíme $ |\mathcal{C} | = n \in \mathbb{N} $), stačilo by ověřit příslušnou podmínku vzájemné nezávislosti \eqref{eq-nez} pouze pro $ k = n $. Jestliže je tato podmínka byla splněna pro $ k = n $, pak bude nutně splněna i~pro každou $ j $-tici, kde $ j < n $.
\end{pozn}
\begin{pozn}
Zavádí se také jiné typy nezávislosti, například nezávislost "po dvou". Ta je definována stejně jako nezávislost vzájemná, ale s~tím rozdílem, že splnění podmínky \eqref{eq-nez} nepožadujeme pro všechny konečné $ k $-tice, ale pouze pro každou dvojici jevů z~$ \mathcal{C} $. Je důležité si uvědomit, že z nezávislosti po dvou obecně neplyne nezávislost vzájemná! Ilustrujme tuto skutečnost na následujícím protipříkladu.
Nechť $ \Omega = \lbrace \omega_1, \omega_2, \omega_3, \omega_4 \rbrace $ a~nechť jsou tyto elementární jevy stejně pravděpodobné. Vyberme z~$ \Omega $ tři jevy $ A = \lbrace \omega_1, \omega_2 \rbrace $, $ B = \lbrace \omega_1, \omega_3 \rbrace $ a~$ C = \lbrace \omega_1, \omega_4 \rbrace $, které dohromady budou tvořit systém $ \mathcal{C} $. Je vidět, že jevy z~$ \mathcal{C} $ jsou \emph{po dvou} nezávislé, ale $ P(A \cap B \cap C) = P(\omega_1) = 1/4 \neq P(A)P(B)P(C)$!
\end{pozn}
\begin{veta}[Nezávislost neslučitelných jevů]
Nechť $ A,B $ jsou neslučitelné jevy. Pak jsou $ A,B $ nezávislé, právě když $P(A)P(B) = 0 $. Slovy: Neslučitelné jevy $ A$ a $ B $ jsou nezávislé právě tehdy, když je alespoň jeden z~nich nemožný.
\end{veta}
\begin{proof}
$ $
\begin{itemize}
\item[($ \Rightarrow $)]
Nechť jsou $ A,B $ nezávislé. Pak z definice platí $ P\left(A \cap B\right) = P(A)P(B) $. Z předpokladu neslučitelnosti jevů $ A,B $ plyne $ P\left(A \cap B\right) = 0 $. Z těchto dvou rovností už $ P(A)P(B) = 0 $.
\item[($ \Leftarrow $)] Nechť platí $ P(A)P(B) = 0 $. Znovu z předpokladu neslučitelnosti víme, že také $ P\left(A \cap B\right) = 0 $ a~z~toho rovnou plyne $ P\left(A \cap B\right) = P(A)P(B) = 0 $, což je definice nezávislosti. \qedhere
\end{itemize}
\end{proof}
\begin{veta}
Mějme pravděpodobnostní prostor $ \left(\Omega, \sa, P\right) $ a nechť jsou jevy $ A,B \in \sa $ nezávislé. Pak jsou jevy $ A$ a $\comp{B} $ nezávislé.
\end{veta}
\begin{proof}
Je $ P\left(A \cap \comp{B}\right) = P\left(A \setminus \left(A \cap B\right) \right)$. Protože $ \left(A \cap B\right) \subset A $, můžeme podle čtvrtého bodu věty \ref{v-o-vlastn-P} psát $ P\left(A \setminus \left(A \cap B\right) \right) = P(A) - P\left(A \cap B\right) = P(A) - P(A)P(B) = P(A)\left(1-P(B)\right) =\\ = P(A)P(\comp{B}) $. Využili jsme zde definici nezávislosti \ref{def-nez} a $ P(\comp{B}) = 1-P(B) $.
\end{proof}
\begin{veta}
Mějme pravděpodobnostní prostor $ \left(\Omega, \sa, P\right) $ a jevy $ A,B \in \sa $ takové, že $ P(B) = 0 $ nebo $ P(B) = 1 $. Pak jsou $ A$ a~$B $ nezávislé.
\end{veta}
\begin{proof}
$ $
\begin{itemize}
\item Nechť $ P(B) = 0 $. Chceme ukázat, že $ P\left(A \cap B\right) = P(A)P(B) $. Z~předpokladu je $ P(A)P(B) =~0 $, takže stačí, když ukážeme, že $ P\left(A \cap B\right) = 0 $. Je ale $ 0 \leq P(A \cap B) = P(B \setminus (B \cap \comp{A})) = P(B) - P(B \cap \comp{A}) = - P(B \cap \comp{A}) \leq 0 $. Proto není jiná možnost, než aby $ P(A \cap B) = 0 $.
\item Od jevu jistého přejdeme k~jeho komplementu, takže $ P(\comp{B}) = 1 - P(B) = 0 $. Stačí už jen ukázat nezávislost $ A $ a~$ \comp{B} $ a~díky přechozí větě máme zaručeno, že $ A $ a $ \comp{(\comp{B})} $ budou též nezávislé. Odsud už čtenář snadno naváže, když si napíše $ A \cap \comp{B} = \comp{B} \setminus (\comp{B} \cap \comp{A})$. Pak už se důkaz ponese ve stejném duchu jako v~předchozím bodě. \qedhere
\end{itemize}
\end{proof}
\begin{dusl}
V~souboru vzájemně nezávislých jevů lze jejich libovolný počet zaměnit za jevy k~nim komplementární, aniž by se narušila jejich vzájemná nezávislost.
\end{dusl}
\begin{veta}
Mějme pravděpodobnostní prostor $ \left(\Omega, \sa, P\right) $ a jevy $ A,B \in \sa $, kde $ P(B) > 0 $. Pak platí:
\begin{equation*}
A,B \text{ jsou nezávislé} \Leftrightarrow P(A \mid B) = P(A) \ .
\end{equation*}
\begin{proof}
$ $
\begin{itemize}
\item[($ \Rightarrow $)]
\begin{equation*}
P(A \mid B) \stackrel{\eqref{podm-pp}}{=} \frac{P(A \cap B)}{P(B)}
\stackrel{\ref{def-nez}}{=} \frac{P(A)P(B)}{P(B)}
= P(A).
\end{equation*}
\item[($ \Leftarrow $)]
\begin{equation*}
P(A \mid B) \stackrel{\eqref{podm-pp}}{=} \frac{P(A \cap B)}{P(B)}
= P(A),
\end{equation*}
z~čehož po jednoduché úpravě dostáváme $ P(A \cap B) = P(A)P(B) $ a~důkaz je hotov.
\end{itemize}
\end{proof}
\end{veta}
\begin{pozn}
Výraz $ P(A \mid B) = P(A) $ intuitivně znamená nezávislost, jelikož podmíněná pravděpodobnost jevů $ A,B $ (pravděpodobnost jevu $ A $ za předpokladu, že nastal jev $ B $) vůbec nezávisí na pravděpodobnosti jevu $ B $. Proto se těmto jevům říká \emph{nezávislé}.
\end{pozn}
\begin{defi}[Nezávislost dvou souborů]
Mějme soubory jevů $ \mathcal{C}_1, \mathcal{C}_2 $. Řekneme, že $ \mathcal{C}_1, \mathcal{C}_2 $ jsou \textbf{nezávislé soubory}, právě když $ \forall A \in \mathcal{C}_1 $ a $ \forall B \in \mathcal{C}_2 $ jsou jevy $ A,B $ nezávislé.\\
\end{defi}
\begin{defi}[Nezávislost $ n $ souborů]\label{def-nez-souboru}
Mějme systém souborů $ \left(\mathcal{C}_j\right)_{j=1}^{n, +\infty} $. O~těchto souborech řekneme, že jsou \textbf{nezávislé}, právě když platí:
\begin{equation*}
\left(\forall k \in \mathbb{N}\right) \left(\forall A_{j_i} \in \mathcal{C}_{j_i} \text{, kde } i \in \hat{k}\right) (A_{j_1}, \ldots ,A_{j_k} \text{ jsou nezávislé}).
\end{equation*}
\end{defi}
\begin{defi}\label{def-io}
Mějme pravděpodobnostní prostor $ \left(\Omega, \sa, P\right) $ a systém množin $ \left(A_n\right)_{n=1}^{+\infty} \in \sa$. Pak definujeme:
\begin{equation}
\{ A_n \text{ i. o.} \} := \limsup\limits_{n\rightarrow +\infty} A_n = \lim\limits_{n\rightarrow +\infty} \bigcup_{k \geq n} A_k = \bigcap_{n \geq 1}\Bigl( \bigcup_{k \geq n} A_k \Bigr).
\end{equation}
Této množině říkáme \textbf{limes superior} systému $ \left(A_n\right)_{n=1}^{+\infty} $ a užíváme symbolu $ \{ A_n \text{ i. o.} \} $ čili "$ A_n $ infinitely often". Tento název má své opodstatnění, které bude rozebráno v následující poznámce.
\end{defi}
\begin{pozn}
K definici \ref{def-io} je třeba doplnit několik informací:
\begin{itemize}
\item Pomocí limes superior systému $ \left(A_n\right)_{n=1}^{+\infty} $ sledujeme konvergenci posloupnosti, která klesá k~$ A $, neboli $ \bigcup_{k \geq n} A_k \searrow A $. Díky uzavřenosti $ \sigma $-algebry $ \sa $ na spočetné průniky i spočetná sjednocení je zaručeno, že $ A \in \sa $.
\item Následující úvahou objasníme původ termínu "$ A_n $ infinitely often".
Nechť nastane elementární jev $ \omega $, který je obsažen v $ \{ A_n \text{ i. o.} \} $:
\begin{equation*}
\omega \in \{ A_n \text{ i.o.} \} = \bigcap_{n \geq 1}\Bigl( \bigcup_{k \geq n} A_k \Bigr) \Rightarrow \left(\forall n \geq 1 \right) \Bigl( \omega \in \bigcup_{k \geq n} A_k \Bigr),
\end{equation*}
tj. $ \omega $ je obsažen v nekonečně mnoha množinách $ A_k $. Kdyby elementární jev $ \omega $ ležel pouze v~konečně mnoha množinách $ A_k $, pak by
existovalo $ n_0 $ takové, že by platilo:
\begin{equation*}
\omega \notin \bigcap_{n \geq n_0}\Bigl( \bigcup_{k \geq n} A_k \Bigr).
\end{equation*}
To ale znamená, že existuje nekonečně mnoho jevů ze systému $ \left(A_n\right)_{n=1}^{+\infty} $, se kterými nastane jev $ \{ A_n \text{ i. o.} \} $. Proto název \emph{infinitely often}.
\end{itemize}
\end{pozn}
\begin{lemma}[Borelovo--Cantelliho\footnote{Émile Borel (1871--1956); Francesco P. Cantelli (1875--1966).}]
Mějme pravděpodobnostní prostor $ \left(\Omega, \sa, P\right) $ a systém jevů $ \left(A_n\right)_{n=1}^{+\infty} \in \sa$. Pak platí:
\begin{enumerate}
\item \begin{equation*}
\sum_{n=1}^{+\infty} P(A_n) < +\infty \Rightarrow P\left( \{ A_n \text{ i. o.} \}\right) = 0.
\end{equation*}
\item Jsou-li navíc jevy $ \left(A_n\right)_{n=1}^{+\infty} $ vzájemně nezávislé, platí i opačná implikace:
\begin{equation*}
P\left( \{ A_n \text{ i. o.} \}\right) = 0 \Rightarrow \sum_{n=1}^{+\infty} P(A_n) < +\infty.
\end{equation*}
\end{enumerate}
\end{lemma}
\begin{proof}
$ $
\begin{enumerate}
\item Začněme důkazem prvního bodu. Pro každé $ n \in \mathbb{N} $ máme:
\begin{equation*}
P \left( \{ A_n \text{ i. o.} \} \right) = P\Bigl({\underbrace{\bigcap_{n \geq 1}\Bigl( \bigcup_{k \geq n} A_k \Bigr)}_{\subset \bigcup_{k \geq n} A_k}} \Bigr)
\stackrel{\ref{v-o-vlastn-P}}{\leq} P\Bigl( \bigcup_{k \geq n} A_k \Bigr)
\stackrel{\ref{bool}}{\leq} \sum_{k \geq n} P(A_k).
\end{equation*}
Odhadli jsme tedy pravděpodobnost $ P \left( \{ A_n \text{ i. o.} \} \right) $ sumou, která reprezentuje zbytek řady $ \sum_{n=1}^{+\infty} P(A_n)$, o~níž z~předpokladu víme, že konverguje. Každý její zbytek tedy musí pro $ n \rightarrow +\infty $ vymizet:
\begin{equation*}
P \left( \{ A_n \text{ i.o.} \} \right) \leq \inf\limits_{n} \Bigl( \sum_{k \geq n} P(A_k) \Bigr) = 0.
\end{equation*}
\item
Nyní se přesuňme k~důkazu druhého tvrzení. Budeme dokazovat obměnu implikace:
\begin{equation*}
\left(A_n\right)_{n=1}^{+\infty} \text{ jsou nezávislé } \land \sum_{n=1}^{+\infty} P(A_n) = +\infty\ \Longrightarrow\ P\left( \{ A_n \text{ i.o.} \}\right) = 1.
\end{equation*}
Stačilo by dokázat, že $ P\left( \{ A_n \text{ i. o.} \}\right) > 0 $; jsme však schopni ukázat platnost silnější formy. Místo důkazu $ P\left( \{ A_n \text{ i. o.} \}\right) = 1 $ se přesvědčíme, že $ P\left( \comp{\{ A_n \text{ i. o.} \}}\right) =~0 $.
\begin{equation*}
P\left( \comp{\{ A_n \text{ i. o.} \}}\right) = P\Bigl[\comp{\Bigl(\bigcap_{n \geq 1}\Bigl( \bigcup_{k \geq n} A_k \Bigr)\Bigr)}\,\Bigr]
\stackrel{\eqref{De-Morg}}{=} P\Bigl[\bigcup_{n \geq 1}\Bigl( \bigcap_{k \geq n} \comp{A_k} \Bigr)\Bigr]
\stackrel{\ref{bool}}{\leq} \sum_{n=1}^{+\infty} P\Bigl( \bigcap_{k \geq n} \comp{A_k} \Bigr).
\end{equation*}
Zde by se nám hodilo využít předpoklad vzájemné nezávislosti jevů $ A_k $, ovšem ta je definována pouze pro \emph{konečné} $ k $-tice, tj. konečné průniky. Omezme tedy průnik libovolným $ l \in \mathbb{N},\ l > n $ pro fixní $ n $. Ukážeme, že pro každé $ n $ je $ P\left( \bigcap_{k = n}^l \comp{A_k} \right) = 0 $. Zvolme tedy libovolné pevné $ n $ a k němu $ l > n $. Pak:
\begin{align*}
\bigcap_{k \geq n} \comp{A_k} &\subset \bigcap_{k = n}^l \comp{A_k} \\
P\Bigl( \bigcap_{k \geq n} \comp{A_k} \Bigr) & \leq P\Bigl( \bigcap_{k = n}^l \comp{A_k} \Bigr) \\
& \!\!\stackrel{\ref{def-nez}}{=} \prod_{k=n}^{l} P\Bigl(\comp{A_k}\Bigr) \\
& = \prod_{k=n}^{l} \left(1 - P(A_k)\right) \\
& \stackrel{\footnotemark}{\leq} \prod_{k=n}^{l} \mathrm{e}^{-P(A_k)} \\
&= \exp\Bigl(-\sum_{k=n}^{l} P(A_k)\Bigr) \quad \forall\, l > n \\
&\mkern-18mu \stackrel{l \rightarrow +\infty}{\longrightarrow} \lim_{l \rightarrow +\infty} \exp\Bigl(-\sum_{k=n}^{l} P(A_k)\Bigr) \\
&= \exp\Bigl(-\sum_{k=n}^{+\infty} P(A_k)\Bigr) = 0.
\end{align*}
\footnotetext{V~tomto kroku byla použita nerovnost $ 1-x \leq \mathrm{e}^{-x} $, jež platí pro všechna $ x \in \mathbb{R}$.}Z~předpokladu totiž víme, že i~libovolný zbytek řady $ \sum_{k=1}^{+\infty} P(A_k) $ diverguje. Protože jsme dokázali rovnost nule pro každé $ n $, pak i součet přes všechna $ n $ je roven nule, tj.
\begin{equation*}
\sum_{n=1}^{+\infty} P\Bigl( \bigcap_{k \geq n} \comp{A_k} \Bigr) = 0\ \Longrightarrow\ P\left( \comp{\{ A_n \text{ i. o.} \}}\right) = 0\ \Longrightarrow\
P \left( \{ A_n \text{ i.o.} \} \right) = 1.
\end{equation*}\qedhere
\end{enumerate}
\end{proof}
