02TSFsbirka:Kapitola2

Z WikiSkripta FJFI ČVUT v Praze
Verze z 1. 8. 2010, 10:59, kterou vytvořil Admin (diskuse | příspěvky) (Založena nová stránka: %\wikiskriptum{02TSFsbirka} \chapter{Nejpravděpodobnější rozdělení} \section{Míra informace, entropie} Mějme náhodný pokus, jehož výsledky jsou jevy (mikros...)

(rozdíl) ← Starší verze | zobrazit aktuální verzi (rozdíl) | Novější verze → (rozdíl)
Přejít na: navigace, hledání
PDF [ znovu generovat, výstup z překladu ] Kompletní WikiSkriptum včetně všech podkapitol.
PDF Této kapitoly [ znovu generovat, výstup z překladu ] Přeložení pouze této kaptioly.
ZIPKompletní zdrojový kód včetně obrázků.

Součásti dokumentu 02TSFsbirka

součástakcepopisposlední editacesoubor
Hlavní dokument editovatHlavní stránka dokumentu 02TSFsbirkaSteffy 9. 2. 201115:06
Řídící stránka editovatDefiniční stránka dokumentu a vložených obrázkůAdmin 7. 9. 201513:48
Header editovatHlavičkový souborSteffy 12. 2. 201212:21 header.tex
Kapitola1 editovatZáklady teorie pravděpodobnosti a matematické statistikyHoskoant 22. 2. 201716:57 kapitola1.tex
Kapitola2 editovatNejpravděpodobnější rozděleníSteffy 12. 2. 201211:58 kapitola2.tex
Kapitola3 editovatTermodynamické potenciály a identitySteffy 12. 2. 201211:59 kapitola3.tex
Kapitola4 editovatIdeální a neideální plynyKubuondr 10. 4. 201721:25 kapitola4.tex
Kapitola5 editovatStatistické soubory - Hamiltonovské systémyHoskoant 4. 6. 201310:07 kapitola5.tex
Kapitola6 editovatFluktuaceSteffy 12. 2. 201212:01 kapitola6.tex
Kapitola7 editovatStatistické soubory - diskrétní hladinySteffy 11. 2. 201315:05 kapitola7.tex
Kapitola8 editovatPřesné statistikyKubuondr 28. 4. 201708:40 kapitola8.tex

Vložené soubory

soubornázev souboru pro LaTeX
Image:2part_U.pdf 2part_U.pdf
Image:binomial.pdf binomial.pdf
Image:blackbody2.pdf blackbody2.pdf
Image:gauss2.pdf gauss2.pdf
Image:maxwell.pdf maxwell.pdf
Image:poisson.pdf poisson.pdf
Image:spin_C.pdf spin_C.pdf
Image:spin_M.pdf spin_M.pdf
Image:spin_S.pdf spin_S.pdf

Zdrojový kód

%\wikiskriptum{02TSFsbirka}
\chapter{Nejpravděpodobnější rozdělení}
 
\section{Míra informace, entropie}
 
Mějme náhodný pokus, jehož výsledky jsou jevy (mikrostavy) $\gamma\in\Omega$ s pravděpodobností $p_\gamma$. {\bf Míra informace} náhodného jevu je funkce $I(p_\gamma)$ splňující vlastnosti
\begin{enumerate}
\item jev jistý má nulovou informační hodnotu,
$$p_\gamma = 1 \Longrightarrow I(p_\gamma) = 0,$$
\item s klesající pravděpodobností jevu jeho informační hodnota roste,
$$p_\gamma \longrightarrow 0 \Longrightarrow I(p_\gamma) \longrightarrow +\infty,$$
\item jsou-li $\alpha$, $\beta$ nezávislé jevy, pak se jejich informační hodnoty sčítají,
$$P\left(\alpha\cap\beta\right) = p_\alpha p_\beta \Longrightarrow I(p_\alpha p_\beta) = I(p_\alpha) + I(p_\beta).$$
\end{enumerate}
Tyto požadavky splňuje záporně vzatá funkce logaritmus,
$$I(p_\gamma) = - k \ln p_\gamma,$$
kde $k$ je libovolná kladná konstanta.
 
{\bf Entropie} $S$ je definována jako střední hodnota informace
$$S = \langle I\rangle = - k \sum_{\gamma\in\Omega} p_\gamma\ln p_\gamma .$$
Entropie je funkcionál na prostoru pravděpodobnostních rozděleních. Maxima nabývá pro rovnoměrné rozdělení.
 
\pr Balíček 52 karet\\
Známe-li pořadí karet v balíčku, je entropie jeho rozdělení nulová. Pokud ale karty zamícháme tak, že nevíme, jak jdou za sebou, jsou všechna pořadí karet stejně pravděpodobná, tj. pořadí karet je dáno rovnoměrným rozdělením. Celkový počet možností (mikrostavů) je $|\Omega| = 52!$, takže pro všechny mikrostavy $\gamma$ je $w_\gamma = \frac{1}{52!}$. Entropie rozdělení pořadí karet po zamíchání tedy vzroste na
$$ S = - k \sum_{\gamma\in\Omega} \frac{1}{52!}\ln\frac{1}{52!} = k \ln 52!,$$
což je maximální možná hodnota.\\
 
Pro spojitou náhodnou veličinu $x\in\Omega$ s hustotou pravděpodobnosti $w(x)$ se entropie definuje analogicky vztahem
$$S = -\int\limits_\Omega w(x)\ln w(x) dx.$$
 
Uvažujme nyní následující problém. Máme zadaný systém s mikrostavy $\gamma\in\Omega$ a známe střední hodnoty $\langle A_j\rangle$ veličin $A_j, j=1,\ldots, n$ definovaných na mikrostavech. Úkolem je najít nejpravděpodobnější rozdělení, které odpovídá zadaným podmínkám. Nejpravděpodobnější rozdělení je to, k jehož sestrojení nepoužijeme žádnou informaci navíc. Má tedy maximální entropii za daných podmínek. Úloha vede na vázaný extrém funkcionálu entropie $S$.
 
\section{Diskrétní veličiny}
 
Hledáme nejpravděpodobnější rozdělení $p_\gamma,\ \gamma\in\Omega$ za podmínek
\begin{equation}
\label{chap2:vazby1}
\sum_{\gamma\in\Omega} A_j^\gamma p_\gamma  = \langle A_j\rangle,\qquad j = 1,\ldots,n.
\end{equation}
Tyto vazby nemusí nutně odpovídat střední hodnotě náhodné veličiny, ale mohou i vyjadřovat nějaké vazby mezi pravděpodobnostmi mikrostavů. Rozdělení musí být navíc správně normováno k jedné, což dává jednu další vazbu
\begin{equation}
\label{chap2:norma}
\sum_{\gamma\in\Omega} p_\gamma = 1.
\end{equation}
Nejpravděpodobnější rozdělení za podmínek (\ref{chap2:vazby1}),(\ref{chap2:norma}) je dáno vázaným extrémem entropie, který určíme pomocí Lagrangeovy funkce
$$\Lambda = -k \sum_{\gamma\in\Omega} p_\gamma\ln p_\gamma - k \alpha\left(\sum_{\gamma\in\Omega} p_\gamma - 1\right) - k\sum_{j = 1}^n \lambda_j\left(\sum_{\gamma\in\Omega} A_j^\gamma p_\gamma\right).$$
Z podmínky na extrém Lagrangeovy funkce $\frac{\partial\Lambda}{\partial p_\gamma} = 0$ dostaneme
$$p_\gamma = e^{-1-\alpha}\exp\left(-\sum_{j=1}^n \lambda_j A_j^\gamma\right).$$
Z normalizační podmínky (\ref{chap2:norma}) získáme
$$\sum_{\gamma\in\Omega}p_\gamma = e^{-1-\alpha}\sum_{\gamma\in\Omega}\exp\left(-\sum_{j=1}^n \lambda_j A_j^\gamma\right) = 1,$$
z čehož plyne
$$Z \equiv e^{1+\alpha} = \sum_{\gamma\in\Omega}\exp\left(-\sum_{j=1}^n \lambda_j A_j^\gamma\right).$$
Výraz $Z$ označuje partiční sumu (Zustandsumme). Nejpravděpodobnější rozdělení má tedy tvar
$$p_\gamma = \frac{1}{Z}\exp\left(-\sum_{j=1}^n \lambda_j A_j^\gamma\right),$$
Lagrangeovy multiplikátory $\lambda_j$ se určí dosazením $p_\gamma$ do vazbových podmínek (\ref{chap2:vazby1}).
 
\section{Spojité veličiny}
 
Mějme nyní systém s nespočetně mnoha mikrostavy $x\in\Omega$. Hledáme nejpravděpodobnější rozdělení $w(x)$ za podmínek
\begin{eqnarray}
\label{chap2:vazby2}
\langle A_j\rangle & = & \int\limits_{\Omega} A_j(x)w(x)dx,\qquad j = 1,\ldots,n,\\
\label{chap2:norma2}
\int\limits_{\Omega} w(x)dx & = & 1.
\end{eqnarray}
Vázaný extrém funkcionálu entropie za podmínek (\ref{chap2:vazby2}),(\ref{chap2:norma2}) nalezneme přechodem k funkcionálu
$$
\Lambda = -k \int\limits_\Omega w(x)\ln w(x)dx - k  \sum_j \lambda_j\left( \int\limits_\Omega A_j(x) w(x)dx - \langle A_j\rangle \right) - k\alpha\left(\int\limits_\Omega w(x)dx - 1 \right).
$$
Variace funkcionálu $\Lambda$ je rovna
$$
\delta\Lambda = -k \int\limits_\Omega \left( 1 + \ln w(x) + \sum_j \lambda_j A_j(x) + \alpha \right)\delta w dx.
$$
Z podmínky na extrém $\delta\Lambda = 0$ dostaneme
$$
\ln w(x) = -1 - \alpha - \sum_j \lambda_j A_j(x).
$$
Nejpravděpodobnější rozdělení má tedy tvar
\begin{equation}
\label{chap2:w:cont}
w(x) = e^{-1-\alpha} \exp\left(-\sum_{j} \lambda_j A_j(x)\right) = \frac{1}{Z} \exp\left(-\sum_{j} \lambda_j A_j(x)\right),
\end{equation}
kde jsme zavedli partiční sumu
$$Z \equiv e^{1+\alpha} = \int\limits_\Omega\exp\left(-\sum_{j} \lambda_j A_j(x)\right)dx.$$
Lagrangeovy multiplikátory $\lambda_j$ se určí dosazením $w(x)$ do vazbových podmínek (\ref{chap2:vazby2}).
 
\section{Příklady}
 
\bc
Uvažujme šestistěnou kostku, u které 1 padá dvakrát častěji než 6. Najděte nejpravděpodobnější rozdělení výsledků hodu kostkou.
\ec
\navod
Vazbové podmínky jsou
$$p_1 = 2 p_6,\qquad \sum_{i=1}^6 p_i = 1.$$
Řešení má tvar
\begin{eqnarray}
\nonumber p_i & = & e^{-1-\alpha} = \frac{1}{Z},\quad i=2,3,4,5 \\
\nonumber p_1 & = & \frac{1}{Z} e^{-\lambda},\qquad  p_6 = \frac{1}{Z} e^{2\lambda},
\end{eqnarray}
kde Lagrangeův multiplikátor $\lambda$ a partiční suma $Z$ jsou rovny
$$
\lambda = -\frac{1}{3}\ln 2,\qquad Z = 4 + 2^{\frac{1}{3}} + 2^{-\frac{2}{3}}.
$$
 
\bc
\label{chap2:pr2}
Mějme částici na ose $x$. Víme, že její střední hodnota polohy je rovna $\mu$ a střední kvadratická odchylka polohy je $\sigma$. Určete nejpravděpodobnější rozdělení polohy částice.
\ec
\navod Hledáme nejpravděpodobnější rozdělení $w(x),\ x\in\mathds{R}$ za podmínek
$$
\langle x\rangle = \mu, \quad \langle x^2\rangle = \sigma^2 + \mu^2, \quad \int\limits_\mathds{R} w(x)dx = 1.
$$
Nejpravděpodobnější rozdělení má tvar (viz. (\ref{chap2:w:cont}))
$$
w(x) = \frac{1}{Z} e^{-\lambda_1 x - \lambda_2 x^2} = \frac{1}{Z} \exp\left[-\lambda_2 \left(x + \frac{\lambda_1}{2\lambda_2}\right)^2\right]e^{\frac{\lambda_1^2}{4\lambda_2}}.
$$
Partiční sumu a Lagrangeovy multiplikátory $\lambda_j$ získáme dosazením $w(x)$ do vazbových podmínek. Postupně nalezneme
\begin{eqnarray}
\nonumber \int\limits_\mathds{R} w(x)dx = 1 & \Longrightarrow & Z = e^{\frac{\lambda_1^2}{4\lambda_2}}\sqrt{\frac{\pi}{\lambda_2}}, \\
\nonumber \int\limits_\mathds{R} x w(x)dx = \mu & \Longrightarrow & - \frac{\lambda_1}{2\lambda_2} = \mu, \\
\nonumber \int\limits_\mathds{R} x^2 w(x)dx = \sigma^2 + \mu^2 & \Longrightarrow & \sigma^2 = \frac{1}{2\lambda_2}.
\end{eqnarray}
Lagrangeovy multiplikátory jsou tedy rovny
$$
\lambda_1 = -\frac{\mu}{\sigma^2},\qquad \lambda_2 = \frac{1}{2\sigma^2}.
$$
Po dosazení se nejpravděpodobnější rozdělení zjednoduší na tvar
$$
w(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right),
$$
což je Gaussovo normální rozdělení s parametry $\mu$ a $\sigma$.
 
\bc
Mějme jednoatomový plyn v nádobě, která je v klidu. Plyn má teplotu $T$. Určete nejpravděpodobnější rozdělení rychlostí atomů plynu.
\ec
\navod Hledáme nejpravděpodobnější rozdělení $w(\vec{v})$ náhodné veličiny $\vec{v}\in\mathds{R}^3$. Protože jsou různé složky rychlosti nezávislé veličiny a žádný směr není preferovaný, bude platit
$$
w(\vec{v}) = w(v_1) w(v_2) w(v_3).
$$
Stačí tedy nalézt rozdělení jedné složky rychlosti $v_i$. Jedna vazbová podmínka je $\langle v_i\rangle = 0$. Druhou dostaneme z ekvipartičního teorému, podle kterého má atom plynu při dostatečně vysoké teplotě $T$ střední hodnotu kinetické energie rovnu
$$
\langle E_k\rangle = \frac{1}{2} m \langle v^2\rangle = \frac{3}{2} kT.
$$
Protože $v^2 = v_1^2 + v_2^2 + v_3^2$, dostaneme pro střední hodnotu kvadrátu jedné složky rychlosti podmínku
$$
\langle v_i^2 \rangle = \frac{kT}{m}.
$$
Nejpravděpodobnější rozdělení jedné složky rychlosti má tedy tvar (viz. Příklad~\ref{chap2:pr2} pro $\mu = 0$ a $\sigma^2 = \frac{kT}{m}$)
$$
w(v_i) = \left(\frac{m}{2\pi kT}\right)^\frac{1}{2} \exp\left(-\frac{m v_i^2}{2kT}\right).
$$
Rozdělení vektoru rychlosti je potom
$$
w(\vec{v}) = \left(\frac{m}{2\pi kT}\right)^\frac{3}{2} \exp\left(-\frac{m \|\vec v\|^2}{2kT}\right),
$$
což je známé Maxwellovo rozdělení.