Součásti dokumentu 01PRA1
Zdrojový kód
%\wikiskriptum{01PRA1}
\section{Charakteristiky náhodných veličin}
\subsection{Integrál dle míry}
Uvažujme jednoduchou funkci $ \varphi : \Omega \to \mathbb{R} $, tj. fci tvaru
$$ \varphi(\omega) = \sum_{j=1}^{n} a_j \mathbf{I}_{A_j}(\omega)\ \ \textrm{pro každé\ } \omega \in \Omega $$
kde $ A_j \in \mathcal{A},\ a_j \in \mathbb{R} $. Integrál takové funkce $ \varphi $ vzhledem k míře $ \mathrm{P} $ definujeme jako
$$ \int_{\Omega} \varphi dP = \sum_{j=1}^{n} a_j \mathrm{P}(A_j) $$
Nyní uvažujme borelovsky měřitelnou funkci $ X : \Omega \to \mathbb{R} $, $ X > 0 $. Potom můžeme integrál funkce $ X $ vzhledem k míře $ P $ definovat například jako
$$ \int_{\Omega} X dP = \sup_{\varphi} \left\{ \int_{\Omega} \varphi dP\ |\ 0 \leq \varphi \leq X\ \textrm{\ pro všechna\ } \omega \in \Omega \right\}$$
a u Vrány jsme to dělali obdobně, totiž
$$ \exists \varphi_n \nearrow X \textrm{\ taková, že\ } \int_{\Omega}XdP = \lim_{n\to\infty}\int_{\Omega}\varphi_n dP $$
Nechť $ X : \Omega \to \mathbb{R} $ je nyní libovolná borelovsky měřitelná. Potom integrál $ \int_{\Omega}XdP $ existuje, pokud $ \int_{\Omega}X^{+}dP < \infty $ nebo $ \int_{\Omega}X^{-}dP < \infty $, a potom definujeme
$$ \int_{\Omega}XdP = \int_{\Omega}X^{+}dP - \int_{\Omega}X^{-}dP $$
Přitom $ EX = \int_{\Omega}XdP $ nazýváme střední hodnotou náhodné veličiny $ X $. Střední hodnota existuje, pokud $ \int_{\Omega}X^{+}dP < \infty $ nebo $ \int_{\Omega}X^{-}dP < \infty $ (v tom případě je $ EX = \pm \infty $. Říkáme, že $ X $ je integrovatelná vzhledem k $ P $ pokud $ \int_{\Omega}X^{+}, \int_{\Omega}X^{-} < \infty $. Pro vícerozměrnou náhodnou veličinu $ \mathbf{X} = (X_1,\dots,X_n) $ definujeme střední hodnotu \uv{po složkách,} tj. $ E\mathbf{X} = (EX_1,\dots,EX_2) $.
\begin{theorem}[Vlastnosti $ EX $]
\
\begin{enumerate}
\item $ E(\alpha X + \beta) = \alpha EX + \beta $ pro $ EX < \infty $
\item $ E\left(\sum_{j=1}^{n} X_j \right) = \sum_{j=1}^{n} EX_j $ pro $ EX_j < \infty,\ j \in \widehat{n} $
\item $ X \leq Y $ a.s. (almost sure = skoro jistě = až na množinu nulové míry $ P $). Potom $ EX \leq EY $ (pokud existují).
\item $ X \geq 0 $ a.s. a $ EX = 0 $, potom $ X = 0 $ a.s.
\item \textbf{(Fatou)} Nechť $ X_n \geq 0 $. Potom
$$ \int_{\Omega} \liminf_{n \to \infty} X_n dP \leq \liminf_{n \to \infty} \int X_n dP $$
\item \textbf{(Monotonne convergence theorem)} Nechť $ 0 \leq X_n \nearrow X $ a.s. Potom
$$ \lim_{n\to\infty} EX_n = E\left(\lim_{n\to\infty} X_n \right) $$
\item \textbf{(Fubini)} {Uvažujme pravděpodobnostní prostory $ (\Omega_1,\mathcal{A}_1,\mathrm{P}_1) $, $ (\Omega_2,\mathcal{A}_2,\mathrm{P}_2) $, a definujme $ \Omega = \Omega_1 \times \Omega_2 $. Přitom ale $ \mathcal{A}_1 \times \mathcal{A}_2 $, definovaná jako
$$ \mathcal{A}_1 \times \mathcal{A}_2 = \left\{ A_1 \times A_2\ |\ A_1 \in \mathcal{A}_1, A_2 \in \mathcal{A}_2 \right\} $$
není $ \sigma- $algebrou na $ \Omega $, a tak zavádíme $ \mathcal{A} = \sigma(\mathcal{A}_1 \times \mathcal{A}_2) $. Nyní definujme $ \mathrm{P} = \mathrm{P}_1 \otimes \mathrm{P}_2 $, pro kterou platí
$$ \mathrm{P}_1 \otimes \mathrm{P}_2 (A_1 \times A_2) = \mathrm{P}_1(A_1) \cdot \mathrm{P}_2(A_2)\ \ \textrm{\ pro\ \ } \forall A_1 \in \mathcal{A}_1, \forall A_2 \in \mathcal{A}_2 $$
Dle věty o jednoznačném rozšíření míry je $ P $ součinová míra definovaná na $ (\Omega,\mathcal{A}) $. Buď nyní $ X : \Omega_1 \times \Omega_2 \to \mathbb{R} $ borelovská taková, že $ \int_{\Omega_1 \times \Omega_2}X dP_1 \otimes dP_2 $ existuje. Potom platí
$$ E^{\mathrm{P}_1 \otimes \mathrm{P}_2}(X) = E^{\mathrm{P}_1}\left(E^{\mathrm{P}_2}(X) \right) $$
$$ \textrm{tzn.\ } \int_{\Omega_1 \times \Omega_2} X d\mathrm{P}_1 \otimes d\mathrm{P}_2 = \int_{\Omega_1}\left( \int_{\Omega_2} X d\mathrm{P}_2 \right) d\mathrm{P}_1 $$
I tohle má spojitost s Vránovskou teorií, pokud totiž zvolíme $ (\Omega_1,\mathcal{A}_1,\mathrm{P}_1) = (\Omega_2,\mathcal{A}_2,\mathrm{P}_2) = (\mathbb{R},\mathcal{B},\lambda) $ a současně $ X(\omega_1,\omega_2) = f(x,y) $, potom
$$ \int_{\mathbb{R}^{2}} f dx dy = \int_{\mathbb{R}^2} f d\left(\lambda \otimes \lambda\right) = \int_{\mathbb{R}} \left( \int_{\mathbb{R}}f dy \right) dx $$ }
\item \textbf{(Záměna proměnných - věta o přenosu integrace)} {
Buďte $ \mathbf{X} = (X_1,\dots,X_n) $ náhodné veličiny na $ (\Omega,\mathcal{A}) $ a $ g : \mathbb{R}^n \to \mathbb{R} $ borelovsky měřitelná funkce. Potom
$$ \int_{\Omega}g\circ \mathbf{X} dP = \int_{\mathbb{R}^n} g(\mathbf{x}) d\underbrace{\left(\mathrm{P} \circ \mathbf{X}^{-1}\right)}_{\mathrm{P}^{\mathbf{X}}} $$
za předpokladu existence alespoň jednoho z integrálů.
}
\item {Buďte $ X_1,\dots,X_n $ nezávislé náhodné veličiny na $ (\Omega,\mathcal{A}) $, takové že $ EX_j < \infty $ pro všechna $ j \in \widehat{n} $. Potom
$$ E \left( \prod_{j=1}^{n} X_j \right) = \prod_{j=1}^{n} EX_j $$
\begin{proof}
\ \\
Víme, že $ X_j $ jsou nezávislé, takže $ F_{\mathbf{X}} = \prod_{j=1}^{n} F_{X_j} $. Obdobně $ \mathrm{P}^{\mathbf{X}} = \mathrm{P}^{X_1} \otimes \cdots \otimes \mathrm{P}^{X_n} $, protože
$$ \mathrm{P}^{\mathbf{X}}(B_1 \times B_2 \times \cdots \times B_n) = \mathrm{P}(X_1 \in B_1, \dots, X_n \in B_n) = $$
$$ = \mathrm{P}(X_1 \in B_1)\cdots\mathrm{P}(X_n \in B_n) = \mathrm{P}^{X_1}(B_1)\cdots\mathrm{P}^{X_n}(B_n) $$
Potom ale
$$ E\left(\prod_{j=1}^{n}X_j \right) = \int_{\Omega} \left(\prod_{j=1}^{n}X_j \right)d\mathrm{P} = \int_{\Omega^n} \left(\prod_{j=1}^{n}X_j \right) d\mathrm{P}^{\mathbf{X}} = $$
$$ = \int_{\Omega^n}\left(\prod_{j=1}^{n} X_j \right) d \mathrm{P}^{X_1}(B_1)\cdots d\mathrm{P}^{X_n}(B_n) \stackrel{Fub.}{=} \prod_{j=1}^{n} \int_{\Omega} X_j d\mathrm{P}^{X_j} $$
\end{proof}
}
\end{enumerate}
\end{theorem}
\begin{definition}[Momenty]
Buď $ X $ náhodná veličina a nechť $ k \in \mathbb{N} $. Pokud odpovídající střední hodnoty existují, potom \textbf{$ k- $tý obecný moment $ X $} definujeme jako
\begin{equation}
\mu'_k(X) = E\left(X^k\right)
\end{equation}
a \textbf{$ k- $tý centrální moment $ X $} definujeme jako
\begin{equation}
\mu_k(X) = E\left[(X - EX)^k\right]
\end{equation}
Specielně pro $ k = 2 $ definujeme \textbf{rozptyl} $ DX = \mu_2(X) $. \textbf{Směrodatnou odchylku $ \sigma $} definujeme jako $ \sigma(X) = \sqrt{DX} $.
\end{definition}
\begin{theorem}[Vlastnosti $ DX $]
\
\begin{enumerate}
\item $ D(\alpha X + \beta) = \alpha^2 DX $ pokud odpovídající střední hodnota existuje
\item $ D(X) = E\left(X^2\right) - \left(EX\right)^2 $
\item $ E\left(X^2\right) \geq \left(EX\right)^2 $
\item $ E\left(\sum_{j=1}^{n}X_j\right) = \sum_{j=1}^{n} DX_j $ pokud jsou $ X_j $ nezávislé
\item $ EX^{2j} < \infty\ \ \Rightarrow\ \ EX < \infty $ a $ DX < \infty $
\end{enumerate}
\end{theorem}
\begin{definition}[Standardizovaná náhodná veličina]
Buď $ X $ náhodná veličina, pro kterou $ EX < \infty $ a $ DX < \infty $. Potom tzv. \textbf{standardizovanou náhodnou veličinu $ U $} (tj. náhodnou veličinu, pro kterou $ EU = 0$ a $ DU = 1 $) definujeme jako
\begin{equation}
U = \frac{X - EX}{\sqrt{DX}}
\end{equation}
\end{definition}
\begin{definition}[©ikmost náhodné veličiny]
Buď $ X $ náhodná veličina a $ U $ odpovídající standardizovaná náhodná veličina. Potom \textbf{šikmost náhodné veličiny $ X $} definujeme jako
\begin{equation}
\mu_3(U) = \frac{\mu_3(X)}{\left[\sigma(X)\right]^3}
\end{equation}
\end{definition}
\begin{definition}[©pičatost náhodné veličiny]
Buď $ X $ náhodná veličina a $ U $ odpovídající standardizovaná náhodná veličina. Potom \textbf{špičatost náhodné veličiny $ X $} definujeme jako
\begin{equation}
\mu_4(U) = \frac{\mu_4(X)}{\left[\sigma(X)\right]^4}
\end{equation}
\end{definition}
\begin{theorem}
Buďte $ f_1,f_2 $ hustoty náhodných veličin a nechť $ \mu'^{(1)}_k = \mu'^{(2)}_k $ pro každé $ k\in \mathbb{N} $, a navíc nechť lze $ f_1 - f_2 $ rozložit do mocninné řady. Potom $ f_1 = f_2 $.
\end{theorem}
\begin{proof}
Integrací členů mocninné řady.
\end{proof}
\subsection{Charakteristická funkce náhodné veličiny}
\begin{definition}[Charakteristická funkce]
\label{char-function}\ \\
Buď $ \mathbf{X} $ náhodná veličina. Potom funkci $ \varphi_{\mathbf{X}} : \mathbb{R}^n \to \mathbb{C} $ danou předpisem
\begin{equation}
\varphi_{\mathbf{X}}(z) = E\left(e^{iz\mathbf{X}}\right) = \int_{\Omega}e^{iz\mathbf{X}}d\mathrm{P} = \int_{\mathbb{R}^n}e^{iz\mathbf{X}}d\mathrm{P}^{\mathbf{X}}
\end{equation}
nazýváme \textbf{charakteristickou funkcí náhodné veličiny $ \mathbf{X} $}.
\end{definition}
\begin{theorem}[Vlastnosti charakteristické funkce]
\
\begin{enumerate}
\item $ \varphi_{\mathbf{X}} $ vždy existuje.
\item $ \varphi_{\mathbf{X}} $ je omezená, spojitá a platí $ \varphi_{X}(0) = 1 $.
\item Buď $ \mathbf{X} $, $ E\left| X_j \right|^m < \infty $. Potom $ \varphi_{\mathbf{X}} \in C^{(m)}$ a navíc platí
\begin{equation}
\frac{\partial^m}{\partial z_{j_1} \cdots \partial z_{j_m}} \varphi_{\mathbf{X}}(\mathbf{z}) = i^m E\left(X_{j_1}\dots X_{j_m} e^{iz\mathbf{X}}\right)
\end{equation}
\item $$ E\left(X_{j_1}^{s} \cdot X_{j_2}^{r}\right) = (-1)^{r+s} i^{r+s} \frac{\partial^{r+s} \varphi_{\mathbf{X}}}{\partial z_{j_1}^{s} \dots \partial z_{j_2}^{r}}(\theta) $$
a pokud $ X \in \mathbb{R}^{1} $, potom
$$ E\left(X^r\right) = (-1)^r i^r \varphi_{X}^{r}(0) $$
\item Buď $ \mathbf{Y} = g\left(\mathbf{X}\right) $, kde $ g: \mathbb{R}^n \to \mathbb{R}^m $ je borelovsky měřitelná. Potom
\begin{equation}
\varphi_{\mathbf{Y}}\left(\mathbf{z}\right) = E\left(e^{izg(\mathbf{X})}\right)
\end{equation}
\item Buď $ X $ náhodná veličina s rozdělením $ N(\mu,\sigma^2) $. Potom
\begin{equation}
\varphi_{X}(z) = e^{iz\mu - \frac{z^2\sigma^2}{2}}
\end{equation}
\end{enumerate}
\end{theorem}
\begin{proof}
\
\begin{enumerate}
\item $$ \varphi_X(z) = E\left(e^{izX}\right) = \int_{\mathbb{R}} e^{izX} d\mathrm{P}^{X} = \underbrace{\int_{\mathbb{R}} \cos(zx)d\mathrm{P}^{X}}_{\textrm{existuje}} + i \underbrace{\int_{\mathbb{R}} \sin(zx)d\mathrm{P}^{X}}_{\textrm{existuje}} $$
\item
\begin{description}
\item [\textbf{omezenost}] {
$$ \left| \varphi_{X} (z) \right| = \left| \int_{\mathbb{R}^n} e^{izX}d\mathrm{P}^{X} \right| \leq \int_{\mathbb{R}^n} \left| e^{izX} \right| d\mathrm{P}^{X} = \int_{\mathbb{R}^n} d\mathbb{R}^{X} = \mathrm{P}^{X}\left(\mathbb{R}^n\right) $$ }
\item [\textbf{spojitost}] {
$$ \lim_{z_n \to z} \varphi_{X}(z) = \lim_{z_n \to z} \int_{\mathbb{R}^n} e^{iz_nX}d\mathrm{P}^{X} =
= \int_{\mathbb{R}^n} \lim_{z_n \to z} e^{iz_nX}d\mathrm{P}^{X} = \varphi_{X}(z) $$
přičemž limitu a integrál můžeme zaměnit, protože $ \left| e^{izX} \right| \leq 1 $ a jednotková funkce $ 1 $ je v pravděpodobnostní míře integrabilní. }
\end{description}
\item Buď $ m = 1 $ (pro $ m \geq 1 $ je princip důkazu stejný).
$$ \frac{\partial \varphi_{\mathbf{X}}(\mathbf{z})}{\partial z_j} = \lim_{t \to 0} \frac{1}{t} \left( \varphi_{\mathbf{X}}(\mathbf{z} + e_j t) - \varphi_{\mathbf{X}}(\mathbf{z}) \right) = \lim_{t \to 0} \frac{1}{t} \int_{\mathbb{R}^n} \left( e^{i(\mathbf{z} + e_j t)\mathbf{x}} - e^{izx} \right) d\mathrm{P}^{\mathbf{X}} = $$
$$ = \lim_{t \to 0} \int_{\mathbb{R}^n} e^{i\mathbf{zX}} \left(\frac{e^{itx_j} - 1}{t}\right) d\mathrm{P}^{\mathbf{X}} = \int_{\mathbb{R}^n} e^{i\mathbf{zX}} \underbrace{\lim_{t \to 0} \left(\frac{e^{itx_j} - 1}{t}\right)}_{ix_j} d\mathrm{P}^{\mathbf{X}} = $$
$$ = i \int_{\mathbb{R}^n} x_j e^{i\mathbf{zX}} d\mathrm{P}^{\mathbf{X}} = i E\left(X_j e^{i\mathbf{zX}}\right) $$
přitom záměnu mohu provést, protože
$$ \left| \frac{e^{itx_j} - 1}{t} \right| \leq 2\left|X_1\right| \in \mathcal{L}_1 $$
vzhledem k míře $ \mathrm{P} $
\item Bez důkazu.
\item Buď $ \mathbf{Y} = \mathbb{A}\mathbf{X} + \mathbf{b} $, kde $ \mathbb{A} \in \mathbb{R}^{m,n} $, $ \mathbf{b} \in \mathbb{R}^m $. Potom
$$ \varphi_{\mathbf{Y}}(z) = \int_{\mathbb{R}^{n}} e^{i(\mathbb{A}\mathbf{x} + \mathbf{b})\mathbf{z}} d\mathrm{P}^{\mathbf{X}} = e^{i\mathbf{bz}} \int_{\mathbb{R}^n} e^{i\left(\mathbb{A}^T\mathbf{z}\right)\mathbf{x}}d\mathrm{P}^{\mathbf{X}} = e^{i\mathbf{bz}}\varphi_{\mathbf{X}}\left( \mathbb{A}^{T}\mathbf{z} \right) $$
\item Nechť $ Y \sim N(0,1) $, potom můžeme spočíst tzv. \textbf{momentovou vytvářející funkci} (která ale narozdíl od funkce charakteristické nemusí existovat vždy)
$$ m_Y(z) = E\left(e^{zY}\right) = \int_{-\infty}^{\infty} e^{zy} f_Y(y)dy = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty} e^{\frac{zy - y^2}{2}}dy = e^{\frac{z^2}{2}} $$
$$ \varphi_{Y}(z) = m_Y(iz) = e^{-\frac{z^2}{2}} $$
a můžeme tedy využít věty o analytickém prodloužení funkce z husté podmnožiny (v našem případě $ \mathbb{R} $), na celou množinu $ \mathbb{C} $
$$ \varphi_{X}(z) = \varphi_{\mu + \sigma Y}(z) = \varphi_{Y}(\sigma z) e^{iz\mu} $$
\end{enumerate}
\end{proof}
\begin{theorem}
\label{theorem-right}
Nechť $ \mathbf{X} = X_1,\dots,X_n $ jsou nezávislé náhodné veličiny. Potom
\begin{equation}
\varphi_{\mathbf{X}}(\mathbf{z}) = \prod_{j=1}^{n} \varphi_{X_j}(z_j)
\end{equation}
\end{theorem}
\begin{proof}
$$ \varphi_{\mathbf{X}}(z) = E\left(e^{\sum_{j=1}^{n}\left(z_j X_j \right)}\right) = E\left( \prod_{j=1}^{n} e^{i z_j X_j} \right) = \int_{\mathbb{R}^{n}} \left( \prod_{j=1}^{n} e^{i z_j X_j} \right) d\mathrm{P}^{\mathbf{X}} = $$
$$ = \left| \textrm{\ nezávislost\ } \right| = \int_{\mathbb{R}^n} \prod_{j=1}^{n} e^{i z_j X_j} d\left(\mathrm{P}^{X_1} \otimes \mathrm{P}^{X_2} \otimes \cdots \otimes \mathrm{P}^{X_n}\right) = $$
$$ = \left| \textrm{\ Fubini\ }\right| = \prod_{j=1}^{n} \underbrace{\left( \int_{\mathbb{R}^{n}} e^{i z_j x_j} d\mathrm{P}^{X_j} \right)}_{\varphi_{X_j}(z_j)} $$
\end{proof}
\begin{theorem}
Buď $ \mathbf{X} $ náhodná veličina na prostoru $ \left(\Omega,\mathcal{A}\right) $ s pravděpodobnostním rozdělením $ \mathrm{P}^{\mathbf{X}} $. Potom $ \varphi_{\mathbf{X}} $ jednoznačně určuje rozdělení $ \mathrm{P}^{\mathbf{X}} $.
\end{theorem}
\begin{proof}
\ \\
Buďte $ \widetilde{\mathbf{X}} = \left( \widetilde{X_1},\dots,\widetilde{X_n} \right) $ i.i.d. náhodné veličiny s rozdělením $ N\left(0,\sigma^2\right) $. Potom platí
$$ f_{\widetilde{\mathbf{X}}}\left( \widetilde{\mathbf{x}} \right) = \prod_{j=1}^{n} f_{\widetilde{X}_j}\left(\widetilde{x}_j\right) =
\frac{\exp\left(- \frac{\sum_{j=1}^{n}\widetilde{x}_j^2}{2\sigma^2} \right)}{\left( 2\pi\sigma^2 \right)^{\frac{n}{2}}} $$
$$ \varphi_{\widetilde{\mathbf{X}}}(\mathbf{z}) = \prod_{j=1}^{n} \exp \left( - \frac{- z_j^2 \sigma^{2}}{2} \right) = \exp\left(- \frac{\sigma^2}{2} \| \mathbf{z} \| \right) $$
Nyní nechť $ \widetilde{\mathbf{x}} = \mathbf{x} - \mathbf{\mu} $, kde $ \mathbf{\mu} \in \mathbb{R}^n $. Potom ale
$$ f_{\widetilde{\mathbf{X}}}(\mathbf{x} - \mathbf{\mu}) = \frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}} \varphi_{\widetilde{\mathbf{X}}}\left( \frac{\mathbf{x} - \mathbf{\mu}}{\sigma^2} \right) $$
Nyní ověřme jednoznačnost, tj. předpokládejme že $ \mathbf{X} \sim \mathrm{P}^{\mathbf{X}} $ a $ \mathbf{Y} \sim \mathrm{P}^{\mathbf{Y}} $ a pokusme se dokázat že
$$ \varphi_{\mathbf{X}} = \varphi_{\mathbf{Y}}\ \ \Rightarrow\ \ \mathrm{P}^{\mathbf{X}} = \mathrm{P}^{\mathbf{Y}} $$
$$ \int_{\mathbb{R}^{n}} f \left(\mathbf{x} - \mathbf{\mu}\right) d\mathrm{P}^{\mathbf{X}} = \frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}} \int_{\mathbb{R}^{n}} \varphi_{\widetilde{\mathbf{X}}}\left(\frac{\mathbf{x} - \mathbf{\mu}}{\mathbf{\sigma^2}}\right)
d\mathrm{P}^{\mathbf{X}} = \left| \widetilde{\mathbf{X}} \textrm{ má ASR } \right| = $$
$$ = K \int_{\mathbb{R}^{n}}\left( \int_{\mathbb{R}^{n}} \exp\left( i \left<\frac{\mathbf{x} - \mathbf{\mu}}{\sigma^2},\widetilde{\mathbf{x}} \right> \right) f_{\widetilde{\mathbf{X}}}\left(\widetilde{\mathbf{x}} \right) d\widetilde{\mathbf{x}} \right) d\mathrm{P}^{\mathbf{X}} = \left| \textrm{ Fubini }\right| = $$
$$ = K \int_{\mathbb{R}^n} \exp \left( - \frac{i\mathbf{\mu}\widetilde{\mathbf{x}}}{\sigma^2} \right) f_{\widetilde{\mathbf{X}}}\left(\widetilde{\mathbf{x}}\right) \left( \int_{\mathbb{R}^{n}} \exp\left(\frac{i \mathbf{x}\widetilde{\mathbf{x}}}{\sigma^2}\right) d\mathrm{P}^{\mathbf{X}} \right) d\widetilde{\mathbf{x}} $$
a obdobným způsobem pro $ \mathbf{Y} $, tj.
$$ \int_{\mathbb{R}^{n}} f\left(\mathbf{y} - \mathbf{\mu} \right) d \mathrm{P}^{\mathbf{Y}} = \cdots =
K \int_{\mathbb{R}^{n}} \exp\left(\cdots\right) f_{\widetilde{\mathbf{Y}}}\left(\widetilde{\mathbf{y}}\right) \varphi_{\widetilde{\mathbf{Y}}}\left(\frac{\widetilde{\mathbf{y}}}{\sigma^2}\right)d\widetilde{\mathbf{y}}
$$
Musíme ale ještě ukázat, že to dává stejný výsledek pro libovolné borelovské množiny.
$$ \int f \left(\mathbf{x} - \mathbf{\mu} \right) d \mathrm{P}^{\mathbf{X}} = \int f \left(\mathbf{y} - \mathbf{\mu} \right) d \mathrm{P}^{\mathbf{Y}} $$
a označme $ \mathcal{H} = \left\{ g(\mathbf{x})\ :\ g(\mathbf{x}) = f\left(\mathbf{x} - \mathbf{\mu}\right),\ \sigma > 0,\ \mu \in \mathbb{R}^{n} \right\} $, tj. $ \left(\forall g \in \mathcal{H}\right)\left( \int g d \mathrm{P}^{\mathbf{X}} = \int g d \mathrm{P}^{\mathbf{Y}} \right) $ a označme $ C_{0} = \left\{ g \in C^{(0)}\left(\mathbb{R}^{n}\right) : \lim_{\|\mathbf{x} \| \to +\infty} \left| g(\mathbf(x))\right| = 0 \right\} $. Ze Stone-Weierstrasseova teorému vyplývá, že $ \overline{\mathcal{H}} = C_{0} $ vzhledem k $ \|g\|_{\infty} $.
(Pojem \uv{hustá v} je topologický, a z topologických důvodů tam potřebujeme normu.)
\end{proof}
\begin{theorem}
Nechť $ \mathbf{X} = \left(X_1,\dots,X_n\right) $ jsou náhodné veličiny. Potom $ \mathbf{X} $ jsou nezávislé, právě tehdy když platí
\begin{equation}
\varphi_{\mathbf{X}}(\mathbf{z}) = \prod_{j=1}^{n}\varphi_{X_j}(z_j)
\end{equation}
\end{theorem}
\begin{proof}
\
\begin{description}
\item [$ \Rightarrow $] {To už máme hotové. (Věta \ref{theorem-right})}
\item [$ \Leftarrow $] {
$$ \prod_{j=1}^{n} \varphi_{X_j}(z_j) = \prod_{j=1}^{n} \left( \int_{\mathbb{R}} \exp\left( i z_j x_j \right) d\mathrm{P}^{X_j} \right) = \int_{\mathbb{R}} d\mathrm{P}^{X_1} \cdots \int_{\mathbb{R}} d\mathrm{P}^{X_n} \exp\left( i \sum_{j=1}^{n} z_j x_j \right) = $$
$$ = \left| \textrm{ Fubini } \right| = \int_{\mathbb{R}^{n}} \exp\left( i\mathbf{zX} \right) d \left(\mathrm{P}^{X_1} \otimes \cdots \otimes \mathrm{P}^{X_n} \right) = \left| \textrm{ dle předpokladu } \right| = \int_{\mathbb{R}^n} \exp\left(i \mathbf{zX}\right) d\mathrm{P}^{\mathbf{X}} $$
Pro ověření nezávislosti bychom vlastně měli dokázat, že
$$ \mathrm{P}\left(\mathrm{X} \in \times_{j=1}^{n} B_j \in \mathcal{B} \right) = \mathrm{P}^{\mathbf{X}} \left(\times_{j=1}^{n} B_j \right) = \bigotimes_{j=1}^{n} \mathrm{P}^{X_j} \left(\times_{j=1}^{n}B_j \right) = \left| \textrm{ def. součinu } \right| = $$
$$ = \prod_{j=1}^{n} \mathrm{P}^{X_j} \left(B_j\right) = \prod_{j=1}^{n}\mathrm{P}\left(X_j \in B_j\right) $$ }
\end{description}
\end{proof}
\begin{theorem}
Buďte $ \mathbf{X} = X_1,\dots,X_n $ nezávislé náhodné veličiny a nechť
$$ Y = \sum_{j=1}^{n} X_j $$
Potom platí
\begin{equation}
\varphi_{Y}(z) = \prod_{j=1}^{n}\varphi_{X_j}(z)\ \ \textrm{ pro každé } z \in \mathbb{R}
\end{equation}
\end{theorem}
\begin{proof}
$$ \varphi_{\sum_{j=1}^{n}X_j}(z) = E\left[ \exp\left(iz\sum_{j=1}^{n}X_j \right) \right] = E \left(\prod_{j=1}^{n} \exp\left(i z X_j \right)\right) = \left|\textrm{ nezávislost \& Fubini } \right| = $$
$$ = \prod_{j=1}^{n} \underbrace{E\left( \exp\left( i z X_j \right) \right)}_{\varphi_{X_j}} $$
\end{proof}
\subsection{Momentová vytvářející funkce}
\begin{definition}[Momentová vytvářející funkce]
Buď $ \mathbf{X} = \left( X_1,\dots,X_n \right)$ náhodná veličina. Potom
\begin{equation}
m_{\mathbf{X}}(\mathbf{z}) = E\left(\exp\left(\mathbf{zX}\right)\right)
\end{equation}
nazýváme \textbf{momentovou vytvořující funkcí} (za předpokladu existence příslušné střední hodnoty).
\end{definition}
Předcházející definice je již na první pohled velice podobná definici charakteristické funkce (\ref{char-function}), a momentová vytvářející funkce také má s funkcí charakteristickou mnoho společných vlastností. Nicméně dvě důležité vlastnosti - existenci a omezenost - momentová vytvářející funkce postrádá. Pro momentovou vytvářející funkci platí
$$ \varphi_{\mathbf{X}}(\mathbf{z}) = m_{\mathbf{X}}^{k}(i\mathbf{z}) $$
a odtud již vyplývá další vlastnost
$$ \mu'_{k} = E\left(X^k\right) = m_{\mathbf{X}}^{k}(0) $$
\begin{theorem}
Buďte $ X_1,\dots,X_n $ nezávislé náhodné veličiny, a nechť $ X_j \sim Gamma\left(\alpha_j,\beta\right),\ j \in \widehat{n} $. Potom platí
\begin{equation}
\sum_{j=1}^{n} X_j \sim Gamma\left(\sum_{j=1}^{n}\alpha_j,\beta\right)
\end{equation}
\end{theorem}
\begin{proof}
V důkazu efektivně využijeme vlastností charakteristické funkce (konkrétně věty \ref{theorem-right}), a protože víme že pro rozdělení $ Gamma(\alpha,\beta) $ je charakteristická funkce dána předpisem
$$ \varphi_{X}(z) = \left(1-\beta i z\right)^{-\alpha} $$
snadno dopočítáme, že
$$ \varphi_{\sum_{j=1}^{n}X_j}(z) = \prod_{j=1}^{n} \varphi_{X_j}(z) = \prod_{j=1}^{n}\left(1 - \beta i z
\right)^{-\alpha_j} = \left(1 - \beta i z\right)^{-\sum_{j=1}^{n}\alpha_j} = \left(1 - \beta i z\right)^{\alpha'} $$
a tvrzení věty tedy evidentně platí.
\end{proof}
\begin{theorem}
Buďte $ X_1,\dots,X_n $ nezávislé náhodné veličiny. Potom jsou nezávislé i veličiny
$$ \mathbf{Y}_1 = X_1 + \cdots + X_r $$
$$ \mathbf{Y}_2 = X_{r+1} + \cdots + X_n $$
\end{theorem}
\begin{proof}
Dokazování přes součin $ f_{\mathbf{Y}_1}\cdot f_{\mathbf{Y}_2} = f_{\mathbf{Y}_1,\mathbf{Y}_2} $ by bylo moc komplikované, ale my jsme moc líní a tak na to půjdeme přes fintu fň - přes charakteristickou funkci. Platí
$$ \varphi_{\mathbf{Y}_1,\mathbf{Y}_2}(z,\widetilde{z}) = E\left[ \exp\left( i\left(z\mathbf{Y}_1 + \widetilde{z}\mathbf{Y}_2\right) \right) \right] = E\left[ \exp \left(i\sum_{j=1}^{r}z X_j + i\sum_{j=r+1}^{n}\widetilde{z}X_j\right) \right] = $$
$$= \left| \mathbf{z} = (\underbrace{z,\dots,z}_{r},\underbrace{\widetilde{z},\dots,\widetilde{z}}_{n - r}) \right| = E \left[ \exp\left(i\sum_{j=1}^{n} z_j X_j \right)\right] = E\left[\exp\left( i\mathbf{zX} \right)\right] = \varphi_{\mathbf{X}}(\mathbf{z}) = $$
$$ = \prod_{j=1}^{n} \underbrace{E\left( \exp\left( i z_j X_j \right) \right)}_{\varphi_{X_j}(z_j)} = \underbrace{\prod_{j=1}^{r}E\left( \exp\left( i z X_j \right) \right)}_{\varphi_{Y_1}} \underbrace{\prod_{j=r+1}^{n} E\left( \exp\left(i \widetilde{z} X_j \right) \right)}_{\varphi_{Y_2}} $$
\end{proof}
\begin{definition}[$ \alpha- $ kvantil, medián]
Buď $ X \sim F_x $ náhodná veličina, a nechť $ \alpha \in (0,1) $. Potom bod $ x_{\alpha} $ nazýváme \textbf{$ \alpha- $ kvantilem rozdělení $ X $}, právě když platí
\begin{equation}
x_{\alpha} = \inf\left\{x\ :\ \mathrm{F}(x) \geq \alpha \right\}
\end{equation}
\end{definition}
Pokud je $ \mathrm{F}_X $ ostře rostoucí a spojitá, potom je $ x_{\alpha} $ takový bod z $ \mathbb{R} $, že
$$ \mathbb{F}_X(x_{\alpha}) = \alpha\ \ \ \textrm{tj.}\ \ \ \ x_{\alpha} = \mathrm{F}_X^{-1}(\alpha) $$
Specielním případem $ \alpha- $kvantilu je tzv. \textbf{medián}, tj. $ x_{\frac{1}{2}} $ neboli $ \frac{1}{2}- $kvantil. Důležitý je i \textbf{mód rozdělení}, tj. bod ve kterém hustota nabývá maxima.
\begin{theorem}
Buď $ X $ taková náhodná veličina, že její rozdělení je symetrické kolem 0. Potom platí
\begin{equation}
x_{\alpha} = - x_{1-\alpha}
\end{equation}
\end{theorem}
\begin{definition} Definujme prostory $ \mathcal{L}_1 $, $ \mathcal{L}_2 $ jako
$$ \mathcal{L}_1\left(\Omega,\mathcal{A},P\right) = \left\{ X \textrm{ je náh. vel.}\ :\ EX < \infty \right\} $$
$$ \mathcal{L}_2\left(\Omega,\mathcal{A},P\right) = \left\{ X \textrm{ je náh. vel.}\ :\ E\left(X^2\right) < \infty \right\} $$
tj. prostor funkcí integrabilních vzhledem k míře $ \mathrm{P} $.
\end{definition}
\begin{theorem}
$ \mathcal{L}_1 $ je lineární vektorový prostor a $ E $ je lineární funkcionál na $ \mathcal{L}_1 $.
\end{theorem}
Platí tedy
$$ X,Y \in \mathcal{L}_1\ \ \ \Rightarrow\ \ \ \alpha X + Y \in \mathcal{L}_1 $$
$$ E\left(\alpha X + Y\right) = \alpha EX + EY $$
\begin{theorem}
Platí
$$ X \in \mathcal{L}_1\ \ \Leftrightarrow\ \ |X| \in \mathcal{L}_1\ \ \textrm{a}\ \ |EX| \leq E|X| $$
\end{theorem}
\begin{proof}
$$ |X| = X^{+} + X^{-} $$
$$ |EX| = |E(X^{+} - X^{-})| = |EX^{+} - EX^{-}| \leq EX^{+} + EX^{-} = E(X^{+} + X^{-}) = E|X| $$
\end{proof}
\begin{dusledek}
Každá omezená náhodná veličina $ X $ je integrovatelná (vzhledem k míře $ \mathrm{P} $).
\end{dusledek}
\begin{theorem}
Buďte $ X,Y $ náhodné veličiny z $ \mathcal{L}_1 $, a nechť $ X = Y $ skoro všude vzhledem k míře $ \mathrm{P} $. Potom
$$ EX = EY $$
\end{theorem}
\begin{theorem}[Schwarzova nerovnost]
Buďte $ X,Y \in \mathcal{L}_2 $. Potom $ X,Y \in \mathcal{L}_1 $ a platí
\begin{equation}
\left|E(XY)\right| \leq \sqrt{EX^2 \cdot EY^2}
\end{equation}
Rovnost nastává právě když existuje $ \alpha \in \mathbb{R} $ takové, že $ \mathrm{P}\left(\alpha X + Y = 0 \right) = 1 $ nebo $ \mathrm{P}\left(X + t Y = 0 \right) = 1$.
\end{theorem}
\begin{proof}
Pro libovolné $ \alpha \in \mathbb{R} $ platí $ \mathrm{P}\left(\left(\alpha X + Y\right)^2 \geq 0\right) = 1 $ a proto $ E\left[\alpha X + Y \right]^2 \geq 0 $, tj. $ \alpha^2EX^2 + 2\alpha E(XY) + EY^2 \geq 0 $. Aby nerovnost platila pro každé $ \alpha $, musí být diskriminant pravé strany nekladný, tj. musí platit
$$ D = 4\left( E^2(XY) - EX^2\cdot EY^2 \right) \leq 0 $$
$$ \textrm{tj. }\ \ E^2(XY) - EX^2 \cdot EY^2 \leq 0 $$
a tím je první část tvrzení (tj. platnost vlastní Schwarzovy nerovnosti) dokázána. Rovnost nastává právě když existuje $ \alpha $ takové, že $ E\left(\alpha X + Y \right)^2 = 0$, tj. $ \alpha X + Y = 0 $ skoro všude, tj. $$ \mathrm{P}(\alpha X + Y = 0) = 1 $$
\end{proof}
\begin{theorem}
$ \mathcal{L}_2\left(\Omega,\mathcal{A},\mathrm{P}\right) $ je lineární normovaný prostor s pseudoskalárním součinem $ \left<X,Y\right> = E(XY) $.
\end{theorem}
\begin{theorem}[Riesz-Fischer]
Prostor $ \mathcal{L}_2 $ je Hilbertův, tj. úplný lineární prostor se skalárním součinem.
\end{theorem}
\begin{dusledek}
\
\begin{enumerate}
\item Buďte $ \left(X_n\right)_{n=1}^{\infty} \in \mathcal{L}_2 $ a nechť $ X_n \to X $. Potom $ X \in \mathcal{L}_2 $.
\item Buďte $ X_n, Y_n \in \mathcal{L}_2 $ takové že $ X_n \to X $, $ Y_n \to Y $. Potom
$$ \left<X_n,Y_n\right> \to \left<X,Y\right> $$
$$ \textrm{tj. }\ \ E\left(X_n Y_n \right) \to E\left( XY\right) $$
\item Buďte $ X_n \in \mathcal{L}_2 $, $ X_n \to X $. Potom
$$ \left\| X_n \right\| \to \left\| X \right\|$$
$$ E\left(X_n X_n \right) \to E\left( X^2\right) $$
\item $ X \perp Y \Leftrightarrow E(XY) = 0 $
\item $ \left|\left< X,Y\right>\right| \leq \|X\| \cdot \|Y\| $
\end{enumerate}
\end{dusledek}
