Součásti dokumentu 02TSFsbirka
Zdrojový kód
%\wikiskriptum{02TSFsbirka}
\chapter{Nejpravděpodobnější rozdělení}
\section{Míra informace, entropie}
Mějme náhodný pokus, jehož výsledky jsou jevy (mikrostavy) $\gamma\in\Omega$ s pravděpodobností $p_\gamma$. {\bf Míra informace} náhodného jevu je funkce $I(p_\gamma)$ splňující vlastnosti
\begin{enumerate}
\item jev jistý má nulovou informační hodnotu,
$$p_\gamma = 1 \Longrightarrow I(p_\gamma) = 0,$$
\item s klesající pravděpodobností jevu jeho informační hodnota roste,
$$p_\gamma \longrightarrow 0 \Longrightarrow I(p_\gamma) \longrightarrow +\infty,$$
\item jsou-li $\alpha$, $\beta$ nezávislé jevy, pak se jejich informační hodnoty sčítají,
$$P\left(\alpha\cap\beta\right) = p_\alpha p_\beta \Longrightarrow I(p_\alpha p_\beta) = I(p_\alpha) + I(p_\beta).$$
\end{enumerate}
Tyto požadavky splňuje záporně vzatá funkce logaritmus,
$$I(p_\gamma) = - k \ln p_\gamma,$$
kde $k$ je libovolná kladná konstanta.
{\bf Entropie} $S$ je definována jako střední hodnota informace
$$S = \langle I\rangle = - k \sum_{\gamma\in\Omega} p_\gamma\ln p_\gamma .$$
Entropie je funkcionál na prostoru pravděpodobnostních rozděleních. Maxima nabývá pro rovnoměrné rozdělení.
\pr Balíček 52 karet\\
Známe-li pořadí karet v balíčku, je entropie jeho rozdělení nulová. Pokud ale karty zamícháme tak, že nevíme, jak jdou za sebou, jsou všechna pořadí karet stejně pravděpodobná, tj. pořadí karet je dáno rovnoměrným rozdělením. Celkový počet možností (mikrostavů) je $|\Omega| = 52!$, takže pro všechny mikrostavy $\gamma$ je $w_\gamma = \frac{1}{52!}$. Entropie rozdělení pořadí karet po zamíchání tedy vzroste na
$$ S = - k \sum_{\gamma\in\Omega} \frac{1}{52!}\ln\frac{1}{52!} = k \ln 52!,$$
což je maximální možná hodnota.\\
Pro spojitou náhodnou veličinu $x\in\mathcal{X}$ s hustotou pravděpodobnosti $w(x)$ se entropie definuje analogicky vztahem
$$S = -\int\limits_\mathcal{X} w(x)\ln w(x) dx.$$
Uvažujme nyní následující problém. Máme zadaný systém s mikrostavy $\gamma\in\Omega$ a známe střední hodnoty $\langle A_j\rangle$ veličin $A_j, j=1,\ldots, n$ definovaných na mikrostavech. Úkolem je najít nejpravděpodobnější rozdělení, které odpovídá zadaným podmínkám. Nejpravděpodobnější rozdělení je to, k jehož sestrojení nepoužijeme žádnou informaci navíc. Má tedy maximální entropii za daných podmínek. Úloha vede na vázaný extrém funkcionálu entropie $S$.
\section{Diskrétní veličiny}
Hledáme nejpravděpodobnější rozdělení $p_\gamma,\ \gamma\in\Omega$ za podmínek
\begin{equation}
\label{chap2:vazby1}
\sum_{\gamma\in\Omega} A_j^\gamma p_\gamma = \langle A_j\rangle,\qquad j = 1,\ldots,n.
\end{equation}
Tyto vazby nemusí nutně odpovídat střední hodnotě náhodné veličiny, ale mohou i vyjadřovat nějaké vazby mezi pravděpodobnostmi mikrostavů. Rozdělení musí být navíc správně normováno k jedné, což dává jednu další vazbu
\begin{equation}
\label{chap2:norma}
\sum_{\gamma\in\Omega} p_\gamma = 1.
\end{equation}
Nejpravděpodobnější rozdělení za podmínek (\ref{chap2:vazby1}),(\ref{chap2:norma}) je dáno vázaným extrémem entropie, který určíme pomocí Lagrangeovy funkce
$$\Lambda = -k \sum_{\gamma\in\Omega} p_\gamma\ln p_\gamma - k \alpha\left(\sum_{\gamma\in\Omega} p_\gamma - 1\right) - k\sum_{j = 1}^n \lambda_j\left(\sum_{\gamma\in\Omega} A_j^\gamma p_\gamma\right).$$
Z podmínky na extrém Lagrangeovy funkce $\frac{\partial\Lambda}{\partial p_\gamma} = 0$ dostaneme
$$p_\gamma = e^{-1-\alpha}\exp\left(-\sum_{j=1}^n \lambda_j A_j^\gamma\right).$$
Z normalizační podmínky (\ref{chap2:norma}) získáme
$$\sum_{\gamma\in\Omega}p_\gamma = e^{-1-\alpha}\sum_{\gamma\in\Omega}\exp\left(-\sum_{j=1}^n \lambda_j A_j^\gamma\right) = 1,$$
z čehož plyne
$$Z \equiv e^{1+\alpha} = \sum_{\gamma\in\Omega}\exp\left(-\sum_{j=1}^n \lambda_j A_j^\gamma\right).$$
Výraz $Z$ označuje partiční sumu (Zustandsumme). Nejpravděpodobnější rozdělení má tedy tvar
$$p_\gamma = \frac{1}{Z}\exp\left(-\sum_{j=1}^n \lambda_j A_j^\gamma\right),$$
Lagrangeovy multiplikátory $\lambda_j$ se určí dosazením $p_\gamma$ do vazbových podmínek (\ref{chap2:vazby1}).
\section{Spojité veličiny}
Mějme nyní systém s nespočetně mnoha mikrostavy $x\in\mathcal{X}$. Hledáme nejpravděpodobnější rozdělení $w(x)$ za podmínek
\begin{eqnarray}
\label{chap2:vazby2}
\langle A_j\rangle & = & \int\limits_{\mathcal{X}} A_j(x)w(x)dx,\qquad j = 1,\ldots,n,\\
\label{chap2:norma2}
\int\limits_{\mathcal{X}} w(x)dx & = & 1.
\end{eqnarray}
Vázaný extrém funkcionálu entropie za podmínek (\ref{chap2:vazby2}),(\ref{chap2:norma2}) nalezneme přechodem k funkcionálu
$$
\Lambda = -k \int\limits_\mathcal{X} w(x)\ln w(x)dx - k \sum_j \lambda_j\left( \int\limits_\mathcal{X} A_j(x) w(x)dx - \langle A_j\rangle \right) - k\alpha\left(\int\limits_\mathcal{X} w(x)dx - 1 \right).
$$
Variace funkcionálu $\Lambda$ je rovna
$$
\delta\Lambda = -k \int\limits_\mathcal{X} \left( 1 + \ln w(x) + \sum_j \lambda_j A_j(x) + \alpha \right)\delta w dx.
$$
Z podmínky na extrém $\delta\Lambda = 0$ dostaneme
$$
\ln w(x) = -1 - \alpha - \sum_j \lambda_j A_j(x).
$$
Nejpravděpodobnější rozdělení má tedy tvar
\begin{equation}
\label{chap2:w:cont}
w(x) = e^{-1-\alpha} \exp\left(-\sum_{j} \lambda_j A_j(x)\right) = \frac{1}{Z} \exp\left(-\sum_{j} \lambda_j A_j(x)\right),
\end{equation}
kde jsme zavedli partiční sumu
$$Z \equiv e^{1+\alpha} = \int\limits_\mathcal{X}\exp\left(-\sum_{j} \lambda_j A_j(x)\right)dx.$$
Lagrangeovy multiplikátory $\lambda_j$ se určí dosazením $w(x)$ do vazbových podmínek (\ref{chap2:vazby2}).
\section{Příklady}
\bc
Uvažujme šestistěnou kostku, u které 1 padá dvakrát častěji než 6. Najděte nejpravděpodobnější rozdělení výsledků hodu kostkou.
\ec
\navod
Vazbové podmínky jsou
$$p_1 = 2 p_6,\qquad \sum_{i=1}^6 p_i = 1.$$
Řešení má tvar
\begin{eqnarray}
\nonumber p_i & = & e^{-1-\alpha} = \frac{1}{Z},\quad i=2,3,4,5 \\
\nonumber p_1 & = & \frac{1}{Z} e^{-\lambda},\qquad p_6 = \frac{1}{Z} e^{2\lambda},
\end{eqnarray}
kde Lagrangeův multiplikátor $\lambda$ a partiční suma $Z$ jsou rovny
$$
\lambda = -\frac{1}{3}\ln 2,\qquad Z = 4 + 2^{\frac{1}{3}} + 2^{-\frac{2}{3}}.
$$
\bc
\label{chap2:pr2}
Mějme částici na ose $x$. Víme, že její střední hodnota polohy je rovna $\mu$ a střední kvadratická odchylka polohy je $\sigma$. Určete nejpravděpodobnější rozdělení polohy částice.
\ec
\navod Hledáme nejpravděpodobnější rozdělení $w(x),\ x\in\mathds{R}$ za podmínek
$$
\langle x\rangle = \mu, \quad \langle x^2\rangle = \sigma^2 + \mu^2, \quad \int\limits_\mathds{R} w(x)dx = 1.
$$
Nejpravděpodobnější rozdělení má tvar (viz. (\ref{chap2:w:cont}))
$$
w(x) = \frac{1}{Z} e^{-\lambda_1 x - \lambda_2 x^2} = \frac{1}{Z} \exp\left[-\lambda_2 \left(x + \frac{\lambda_1}{2\lambda_2}\right)^2\right]e^{\frac{\lambda_1^2}{4\lambda_2}}.
$$
Partiční sumu a Lagrangeovy multiplikátory $\lambda_j$ získáme dosazením $w(x)$ do vazbových podmínek. Postupně nalezneme
\begin{eqnarray}
\nonumber \int\limits_\mathds{R} w(x)dx = 1 & \Longrightarrow & Z = e^{\frac{\lambda_1^2}{4\lambda_2}}\sqrt{\frac{\pi}{\lambda_2}}, \\
\nonumber \int\limits_\mathds{R} x w(x)dx = \mu & \Longrightarrow & - \frac{\lambda_1}{2\lambda_2} = \mu, \\
\nonumber \int\limits_\mathds{R} x^2 w(x)dx = \sigma^2 + \mu^2 & \Longrightarrow & \sigma^2 = \frac{1}{2\lambda_2}.
\end{eqnarray}
Lagrangeovy multiplikátory jsou tedy rovny
$$
\lambda_1 = -\frac{\mu}{\sigma^2},\qquad \lambda_2 = \frac{1}{2\sigma^2}.
$$
Po dosazení se nejpravděpodobnější rozdělení zjednoduší na tvar
$$
w(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right),
$$
což je Gaussovo normální rozdělení s parametry $\mu$ a $\sigma$.
\bc
Mějme jednoatomový plyn v nádobě, která je v klidu. Plyn má teplotu $T$. Určete nejpravděpodobnější rozdělení rychlostí atomů plynu.
\ec
\navod Hledáme nejpravděpodobnější rozdělení $w(\vec{v})$ náhodné veličiny $\vec{v}\in\mathds{R}^3$. Protože jsou různé složky rychlosti nezávislé veličiny a žádný směr není preferovaný, bude platit
$$
w(\vec{v}) = w(v_1) w(v_2) w(v_3).
$$
Stačí tedy nalézt rozdělení jedné složky rychlosti $v_i$. Jedna vazbová podmínka je $\langle v_i\rangle = 0$. Druhou dostaneme z ekvipartičního teorému, podle kterého má atom plynu při dostatečně vysoké teplotě $T$ střední hodnotu kinetické energie rovnu
$$
\langle E_k\rangle = \frac{1}{2} m \langle v^2\rangle = \frac{3}{2} kT.
$$
Protože $v^2 = v_1^2 + v_2^2 + v_3^2$, dostaneme pro střední hodnotu kvadrátu jedné složky rychlosti podmínku
$$
\langle v_i^2 \rangle = \frac{kT}{m}.
$$
Nejpravděpodobnější rozdělení jedné složky rychlosti má tedy tvar (viz. Příklad~\ref{chap2:pr2} pro $\mu = 0$ a $\sigma^2 = \frac{kT}{m}$)
$$
w(v_i) = \left(\frac{m}{2\pi kT}\right)^\frac{1}{2} \exp\left(-\frac{m v_i^2}{2kT}\right).
$$
Rozdělení vektoru rychlosti je potom
$$
w(\vec{v}) = \left(\frac{m}{2\pi kT}\right)^\frac{3}{2} \exp\left(-\frac{m v^2}{2kT}\right),
$$
což je známé Maxwellovo rozdělení.
