Součásti dokumentu 02TSFA
Zdrojový kód
%\wikiskriptum{02TSFA}
\section{Nejpravděpodobnější rozdělení}
\index{rozdělení, nejpravděpodobnější}
\subsection{Míra informace}
Zaveďme funkci, která každému mikrostavu přiřazuje nějakou hodnotu, udávající množství
informace, které o tomto mikrostavu máme. Tato funkce, nazývejme
ji \index{míra, informace}\emph{míra informace} a označme $I(w_\gamma)$, musí mít následující vlastnosti:
\begin{enumerate}
\item $w_\gamma = 1 \quad \Rightarrow \quad I(w_\gamma)=0$ \dots Pokud je určitý jev
jistý, nepřinese nám pokusná realizace žádnou novou informaci --- vždyť přeci víme,
že se realizuje jev $w_\gamma$. \uv{Vytěžená} informace z pokusu je tedy nulová.
\item $w_\gamma \rightarrow 0 \quad \Rightarrow \quad I(w_\gamma) \rightarrow \infty$ \dots
Realizace jevu s malou pravděpodobností nám přinese naopak informace mnoho ---
z pokusu vyšel velmi neočekávaný výsledek. Je to překvapení!
\item Pro nezávislé jevy musí $I( w_\alpha . w_\beta ) = I(w_\alpha) + I(w_\beta)$ \dots Informační přínos
od nezávislých jevů se sčítá.
\end{enumerate}
Funkci $I(w_\gamma)$ lze také brát jako míru neurčitosti. O rozdělení, které má jen jeden jistý jev, víme
vše a naše nejistota ohledně výsledku (neurčitost) je nulová. Naopak o rozdělení, sestávajícím se z velkého
počtu málo pravděpodobných jevů nevíme nic --- nedokážeme odhadnout, který z nich se při konkrétním pokusu
realizuje. Naše nevědomost (neurčitost) o systému je velmi vysoká.
Těmto třem podmínkám vyhovuje funkce
\begin{center}
\includegraphics{fcel1.pdf}
\end{center}
$$I(w_\gamma) = -k_B\ln(w_\gamma)$$
Běžně máme mnoho jevů či událostí. Pak je třeba brát střední hodnotu:
$$S = \<I\>=- k_B\suma{\gamma}{}w_\gamma\ln(w_\gamma)$$
To je definice \index{entropie, statistická}\emph{statistické entropie}, která se interpretuje jako míra neurčitosti systému.
$k_B$ je kladná konstanta, zatím blíže neurčená, $\gamma$ je index probíhající
přes všechny možné jevy.
\subsection{Výpočet nejpravděpodobnějšího rozdělení}
\label{nejprozd}
Nyní chceme, aby naše hledané rozdělení $w_\gamma$ dávalo námi pozorované střední veličiny, ale jinak bylo co nejneurčitější.
To znamená, že vezmeme funkci
$$S = - k_B\suma{\gamma}{}w_\gamma\ln(w_\gamma)$$
a budeme hledat její maximum za následujících podmínek:
\begin{center}
\begin{tabular}[t]{ll}
$\suma{\gamma}{}w_\gamma = 1$ & \dots Normovací podmínka rozdělení \tabularnewline[12pt]
$\suma{\gamma}{}w_\gamma A_{\ell \gamma} = \left< A_\ell \right> $ kde $\ell \in \hat{k}$
& \dots Naměřené střední hodnoty $k$ veličin \tabularnewline
& --- to dává $k$ podmínek \tabularnewline[12pt]
\end{tabular}
\end{center}
Tato úloha vede k hledání vázaných extrémů. V podstatě jediná pro nás použitelná metoda je řešení pomocí
Lagrangeových multiplikátorů. Sestavme si tedy Lagrangeovu funkci:
\begin{center}
\begin{tabular}[t]{rcl}
$\Lambda$ & $=$ & $S - k_B \alpha \left(\suma{\gamma}{}w_\gamma - 1\right) - \suma{\ell=1}{k} k_B \lambda_\ell
\left( \suma{\gamma}{}w_\gamma A_{\ell \gamma} - \left< A_\ell \right> \right)$ =\\
& $=$ & $-k_B\suma{\gamma}{}w_\gamma\ln(w_\gamma) - k_B \alpha \left(\suma{\gamma}{}w_\gamma - 1\right
)
- \suma{\ell=1}{k} k_B \lambda_\ell \left( \suma{\gamma}{}w_\gamma A_{\ell \gamma} - \left< A_\ell \right> \right)$ \tabularnewline[12pt]
\end{tabular}
\end{center}
kde $k_B$ je již dříve zmíněná normovací konstanta, $\alpha$ a $\lambda_\ell$ tvoří $k+1$ Lagrangeových multiplikátorů
pro $k+1$ vazebných podmínek a $\left< A_\ell \right> $ je $k$ naměřených veličin (středních hodnot). Zderivujme $\Lambda$ podle všech
proměnných $w_\gamma$ a položme derivace rovny nule:
$$0 = \pderivx{\Lambda}{w_\gamma} = -k_B\left( \ln(w_\gamma) + w_\gamma \frac{1}{w_\gamma}\right) - k_B \alpha -
\suma{\ell=1}{k} k_B \lambda_\ell A_{\ell \gamma}$$
pro $\forall\gamma$, to znamená pro všechny mikrostavy (a těch bývá hodně). Pro spojité rozdělení se musí použít variačního počtu. Z toho plyne, že
$$k_B\ln(w_\gamma) = k_B\left( -1 - \alpha \stavsuma \right)$$
$$w_\gamma = \exp \left(-1 -\alpha \stavsuma \right) $$
Nyní vezměme normovací podmínku $\suma{\gamma}{}w_\gamma = 1$ a dosaďme do ní nalezený vztah pro $w_\gamma$:
$$1 = \suma{\gamma}{}w_\gamma = \suma{\gamma}{} \exp ( -1 -\alpha ) \exp \left( \stavsuma \right)$$
$$\exp ( -1 -\alpha) = \frac{1}{\suma{\gamma}{} \exp \left( \stavsuma \right)}$$
a výraz pro $\exp(-1 -\alpha)$ zpětně dosadíme do vztahu pro $w_\gamma$:
$$w_\gamma = \frac{1}{\suma{\gamma}{}\exp\left( \stavsuma \right) }
\exp\left( \stavsuma \right)$$
Výraz ve jmenovateli nazýváme \index{funkce, partiční}\emph{partiční funkce} a značíme $Z$\footnote{Písmeno $Z$ pochází z německého slova Zustandsumme}. Vztahy pak můžeme přepsat takto:
\begin{center}
\begin{tabular}[t]{rl}
$Z=\suma{\gamma}{} \exp \left( \stavsuma \right)$ & \dots Partiční funkce \tabularnewline[12pt]
$w_{\gamma} = \frac{1}{Z} \exp \left( \stavsuma \right)$ & \dots Nejpravděpodobnější rozdělení
\tabularnewline[12pt]
\end{tabular}
\end{center}
Otázkou zůstává, jaký fyzikální smysl dát Lagrangeovým multiplikátorům $\lambda_\ell$ --- to už záleží na konkrétních fyzikálních
aplikacích.
\subsection{Důsledky}
Nyní si odvoďme několik dalších vztahů. Předně by nás mohlo zajímat, jakou hodnotu vlastně maximální entropie má. To zjistíme
prostým dosazením $w_\gamma$ do vztahu pro $S$:
$$ S = \- k_B\suma{\gamma}{}w_\gamma \ln(w_\gamma) = \-k_B\suma{\gamma}{}w_\gamma \ln\left(\frac{1}{Z}\exp\left[\stavsuma\right]\right) = $$
$$ = k_B\suma{\gamma}{}w_\gamma\ln Z \- k_B\suma{\gamma}{}w_\gamma\ln\left( \exp\left[\stavsuma\right]\right) =
k_B\suma{\gamma}{}w_\gamma\ln Z \- k_B\suma{\gamma}{}w_\gamma\left(\stavsuma\right) = $$
$$= k_B\ln Z\suma{\gamma}{}w_\gamma \+ k_B\suma{\ell=1}{k}\lambda_\ell\suma{\gamma}{}w_\gamma A_{\ell \gamma}$$
Ovšem první suma v tomto výrazu je jednička (normování rozdělení) a poslední je výraz pro výpočet střední hodnoty
veličiny. Proto
$$S = k_B\left( \ln Z + \suma{\ell=1}{k}\lambda_\ell \left< A_\ell \right> \right)$$
Dále platí:
$$ \pderivx{Z}{\lambda_a} = \pderivx{}{\lambda_a} \suma{\gamma}{}\exp\left(\stavsuma\right) =
\suma{\gamma}{} -A_{ a \gamma }\exp\left(\stavsuma\right)$$
$$\pderivx{( \ln Z )}{\lambda_a} = \pderivx{Z}{\lambda_a}\frac{1}{Z} =
\suma{\gamma}{}\frac{1}{Z}\left(-A_{a\gamma}\exp\left(\stavsuma\right)\right) = $$
$$ = - \suma{\gamma}{} \left(\frac{1}{Z}\exp\left(\stavsuma\right)\right)A_{a\gamma} =
-\suma{\gamma}{}w_\gamma A_{a \gamma} = -\left<A_a\right> $$
To znamená, že známe-li $Z$, potom střední hodnotu veličiny $A_\ell$ lze určit takto:
$$\left< A_\ell \right> = -\pderivx{(\ln Z)}{\lambda_\ell}$$
\bigskip
Prověřme druhé derivace partiční funkce dle Lagrangeových multiplikátorů:
$$\pderivxy{Z}{\lambda_a}{\lambda_b}= \pderivx{}{\lambda_a}\suma{\gamma}{} -A_{b \gamma} \exp\left(\stavsuma\right)$$
$$ = -\suma{\gamma}{}A_{b \gamma}\pderivx{}{\lambda_a}\exp\left(\stavsuma\right) = \suma{\gamma}{}A_{a\gamma}A_{b\gamma}\exp\left(\stavsuma\right)$$
$$\pderivxy{(\ln Z)}{\lambda_a}{\lambda_b} = \pderivx{}{\lambda_a}\left[\pderivx{Z}{\lambda_b}\frac{1}{Z} \right] =
\pderivxy{Z}{\lambda_a}{\lambda_b}\frac{1}{Z} + \pderivx{Z}{\lambda_a}\pderivx{Z}{\lambda_b}\left(-\frac{1}{Z^2}\right) =$$
$$= \pderivxy{Z}{\lambda_a}{\lambda_b}\frac{1}{Z} -
\left(-\pderivx{Z}{\lambda _a}\frac{1}{Z}\right)\left(-\pderivx{Z}{\lambda _b}\frac{1}{Z}\right) = $$
$$=\pderivxy{Z}{\lambda_a}{\lambda_b}\frac{1}{Z} -
\left(-\pderivx{(\ln Z)}{\lambda _a}\right)\left(-\pderivx{(\ln Z)}{\lambda _b}\right)$$
\bigskip
Dosadíme z dříve vypočtených vztahů pro $\pderivx{(\ln Z)}{\lambda_\ell}$:
$$\pderivxy{(\ln Z)}{\lambda_a}{\lambda_b}=\suma{\gamma}{}A_{a \gamma} A_{b \gamma} \frac{1}{Z} \exp\left(\stavsuma\right) -
\left(\suma{\gamma}{}w_\gamma A_{a \gamma}\right) \left(\suma{\gamma}{}w_\gamma A_{b \gamma}\right)$$
z toho plyne, že
$$\pderivxy{(\ln Z)}{\lambda_a}{\lambda_b} = \left<A_a . A_b \right> - \<A_a\> \left<A_b\right> =
\<(A_a-\<A_a\>)(A_b-\<A_b\>)\> $$
To je tzv. \index{koeficient, korelace}\emph{koeficient korelace} veličin $A_a$ a $A_b$, tedy míra jejich nezávislosti. Dosadíme-li $a = b = \ell$,
získáme rozptyl veličiny $A_\ell$:
$$\pderivxx{(\ln Z)}{\lambda_\ell} = \left<A_\ell^2\right> - \left< A_\ell \right> ^2$$
Prozkoumejme, jaký tvar má totální diferenciál entropie $dS$ v Lagrangeových koeficientech:
$$ S = k_B \left( \ln Z - \suma{\ell=1}{k}\lambda_\ell \pderivx{ (\ln Z) }{\lambda_\ell} \right) =
k_B\ln Z + k_B\suma{\ell=1}{k}\lambda_\ell \left< A_\ell \right> $$
Protože
$$d \ln Z = \suma{\ell=1}{k}\pderivx{ (\ln Z) }{\lambda_\ell} d\lambda_\ell = -\suma{\ell=1}{k}\left< A_\ell \right> d\lambda_\ell$$
je
$$dS = k_B d\ln Z + d\suma{\ell=1}{k}\lambda_\ell \left< A_\ell \right> =$$
$$= k_B d \ln Z + k_B \suma{\ell=1}{k}\left( \lambda_\ell d\left< A_\ell \right> + \left< A_\ell \right> d\lambda_\ell\right) = $$
$$= k_B ( d \ln Z - d \ln Z ) + k_B \suma{\ell=1}{k}\lambda_\ell d\left< A_\ell \right> $$
Tedy při nejpravděpodobnějším rozdělení má entropie (rovnovážná) diferenciál
$$ dS = k_B \suma{\ell=1}{k}\lambda_\ell d\left< A_\ell \right> $$
To umožňuje konstruovat vztahy mezi termodynamickými veličinami, neboť platí, že
$$\pderivx{S}{\left< A_\ell \right> } = k_B \lambda_\ell$$
\begin{center}
\begin{tabular}[t]{|ll|}
\hline
Shrnutí & \tabularnewline \hline
$Z=\suma{\gamma}{} \exp \left( \stavsuma \right)$ & Partiční funkce \tabularnewline[12pt]
$w_{\gamma} = \frac{1}{Z} \exp \left( \stavsuma \right)$ & Nejpravděpodobnější rozdělení \tabularnewline[12pt]
$S = k_B\left( \ln Z + \suma{\ell=1}{k} \lambda_\ell \left< A_\ell \right> \right)$ & Maximální statistická entropie \tabularnewline[12pt]
$dS = k_B \suma{\ell=1}{k}\lambda_\ell d\left< A_\ell \right> $ & Diferenciál entropie \tabularnewline[12pt]
$\left<A_{\ell}\right> = - \pderivx{}{\lambda_\ell} (\ln Z)$ & \label{str_hod}Střední hodnota veličiny z partiční funkce \tabularnewline[12pt]
$\left<A_i A_j\right> - \left<A_i\right> \left<A_j\right> = \pderivxy{}{\lambda_i}{\lambda_j} (\ln Z)$ & Koeficient korelace veličin z partiční funkce \tabularnewline[12pt]
$\left<A_{\ell}^2\right> - \left<A_{\ell}\right> ^2 = \pderivxx{}{\lambda_\ell} (\ln Z)$ & Rozptyl veličiny z partiční funkce \tabularnewline[12pt]
\hline
\end{tabular}
\end{center}
\begin{remark}
Entropie a $\ln Z$ jsou k sobě legendreovsky transformované. Je-li $S$ v~úloze $f$ a $\ln Z$ v úloze $g$, veličiny
$\left< A_\ell \right> $ a $\lambda_\ell$ pak v úlohách $x_i$ a $y_i$ (viz matematický aparát), potom:
$$ f \equiv \frac{S( \left< A_\ell \right> )}{k_B} \qquad g \equiv \ln Z(\lambda_\ell) $$
Dle definice entropie je
$$S = k_B \left( \ln Z + \suma{\ell=1}{k}\lambda_\ell \left< A_\ell \right> \right) \quad
\Leftrightarrow \quad \ln Z = \frac{S}{k_B} - \suma{\ell=1}{k} \lambda_\ell\left< A_\ell \right> $$
Což je ale tvar Legendreovy transformace $g = f - \suma{i}{}x_i y_i$. Potom musí platit vztahy
$x_i = - \pderivx{g}{y_i}$ a $y_i = \pderivx{f}{x_i}$, což znamená, že
$$ \lambda_\ell = \pderivx{ (\frac{S}{k_B})}{\left< A_\ell \right> } = \frac{1}{k_B}\pderivx{S}{\left< A_\ell \right> } \qquad
\left< A_\ell \right> = -\pderivx{(\ln Z)}{\lambda_\ell} $$
a také
$$\pderivx{\lambda_\ell}{\left<A_k\right> } = \frac{1}{k_B}\pderivxy{S}{A_k}{A_\ell} = \frac{1}{k_B}\pderivxy{S}{A_\ell}{A_k} =
\pderivx{\lambda_k}{\left< A_\ell \right> }$$
\end{remark}
\bigskip
\subsection{Normální rozdělení jako nepravděpodobnější rozdělení}
Podobně jako v předchozím příkladě se můžeme pokusit nalézt nejpravděpodobnější spojité rozdělení. Z definice entropie platí
$$
S(\rho) = -k \int\rho(x) \ln \rho(x) dx
$$
a maximum entropie budeme hledat za následujících podmínek:
\begin{center}
\begin{tabular}[t]{ll}
$\langle 1 \rangle = 1$ & \dots Normovací podmínka rozdělení \tabularnewline[12pt]
$\langle x \rangle = \mu$ & \dots Střední hodnota rozdělení \tabularnewline[12pt]
$\langle(x-\mu)^2\rangle = \sigma^2$ & \dots Střední kvadratická odchylka \tabularnewline[12pt]
\end{tabular}
\end{center}
V tomto případě je extrém hledán na nekonečně rozměrné varietě s kodimenzí 3. Zapíšeme si Lagrangovu funkci
$$
\Lambda = S(\rho) -\alpha \left( \int\rho(x)dx -1\right) -\beta \left(\int x\rho(x) dx-\mu\right) - \gamma \left(\int (x-\mu)^2\rho(x) dx-\sigma^2\right)
$$
a vyřešíme ji pomocí variačního počtu. Požadujeme, aby variace $\delta \Lambda$ byla nulová
$$ \delta\Lambda = \int\left[-k \left(\rho + \delta\rho\right)\ln \left(\rho + \delta\rho\right) -\alpha \left( \rho + \delta\rho\right) -\beta x\left(\rho + \delta\rho\right) - \gamma (x-\mu)^2\left(\rho + \delta\rho\right) \right]dx+$$
$$ +\alpha+\beta\mu+\gamma \sigma^2 - \Lambda = 0
$$
Když dosadíme za $\Lambda$ a rozvineme funkce do 1. řádu, vyjde
$$ \delta\Lambda = \int \left[ -k\left(\ln\rho+\rho\frac1\rho \right)-\alpha-\beta x-\gamma(x-\mu)^2 \right]\delta\rho dx = 0$$
a protože to platí pro libovolnou $\delta\rho$, tak ze základního lemmatu variačního počtu plyne
$$ k\ln\rho(x)+k+\alpha+\beta x+\gamma(x-\mu)^2 = 0$$
odsud už můžeme vyjádřit $\rho$
$$ \rho(x) = \exp\left[-\frac{1}{k}\left(\alpha+\beta x +\gamma (x-\mu)^2\right) \right]$$
A jak si čtenář může sám odvodit, po dosazením do vazebních podmínek a po výpočtu Lagrangeových multiplikátorů vyjde
$$\varrho(x) = \frac{1}{\sqrt{2 \pi \sigma ^2}} \exp\left(-\frac{(x - \mu)^2}{2 \sigma ^2}\right)$$