probability_2018_04_07.tex

\section{Лекция от 07.04.2018}
\subsection{Контрпримеры}
\begin{example}[п.н. $\not\Rightarrow L_p$, а значит, $\P \not\Rightarrow \L_p$ и $d \not\Rightarrow L_p$]
	Рассмотрим $\Omega = [0, 1]$, $\F = \B\big([0,1] \big)$, $\P = \lambda$. Пусть $\xi_n = e^n \cdot I_{\left[0, \frac{1}{n} \right]}$, $\xi = 0$, тогда $\xi_n \xrightarrow{\text{п.н.}} \xi$, но $\E | \xi_n - \xi |^p = e^{np} \cdot \dfrac{1}{n} \rightarrow + \infty$.
\end{example}
\begin{example}[$L_p \not\Rightarrow~\text{п.н.}$, $\P \not\Rightarrow~\text{п.н.}$, $d \not\Rightarrow~\text{п.н.}$]
	Рассмотрим $\Omega = [0, 1]$, $\F = \B\big([0,1] \big)$, $\P = \lambda$. Возьмем $\xi_{2^n + i} = I \left( \omega \in \left[ \dfrac{i}{2^n}, \dfrac{i + 1}{2^n} \right) \right), ~~i = 0,\ldots, 2^n - 1;~~n \in \Z_+$. Тогда $\xi_k \xrightarrow{L_p} 0$ при $k \rightarrow + \infty$, так как $\E | \xi_k |^p = \dfrac{1}{2^n}$, где $n = \left[ \log_2 k \right]$. Но для любой точки из $[0,1]$ существует бесконечно много $\xi_i$ таких, что $\xi_i(\omega) = 1$ и $\xi_i(\omega) = 0$, следовательно, $\forall \omega: \xi_i(\omega) \xrightarrow[i \rightarrow + \infty ]{} 0$.
\end{example}
\begin{example}[$ d \not\Rightarrow \P$] 
	Пусть $\Omega = \{ \omega_1, \omega_2 \}$, $\P(\omega_i) = \dfrac{1}{2}$, $\forall n \in \Z_+: \xi_n(\omega_1) = 1, \xi_n(\omega_2) = 0$. Тогда $\xi_n \sim \text{Bern} \left( \frac{1}{2} \right)$. $\xi(\omega_1) = 1, \xi(\omega_2) = 0$, значит, $\xi \sim \text{Bern} \left( \frac{1}{2} \right)$, следовательно, по теореме Александрова $\xi_n \xrightarrow{d} \xi$, но $\P \big( | \xi_n - \xi| > 0.5 \big) = 1$, значит, $\xi_n \not\xrightarrow{\P} \xi$. 
\end{example}
\begin{definition}
	Последовательность чисел $\{ x_n \}$ называется фундаментальной, если $|x_n - x_m| \rightarrow 0$ при $n, m \rightarrow +\infty$.
\end{definition}
\begin{theorem}[критерий Коши сходимости числовой последовательности][б/д]
	Последовательность чисел $\{ x_n \}$ сходится тогда и только тогда, когда $\{ x_n \}$ фундаментальна.
\end{theorem}
\begin{theorem}[критерий Коши сходимость почти наверное]
	Последовательно случайных величин $\{ \xi_n \}$ сходится почти наверное тогда и только тогда, когда $\{ \xi_n \}$ фундаментальна почти наверное, то есть $\P  \big( \omega : | \xi_n(\omega) - \xi_m(\omega) | \rightarrow 0 \big) = 1$ при $n, m \rightarrow + \infty$.
	\begin{proof}
		($\Rightarrow$)\quad Пусть $\xi_n \xrightarrow{\text{п.н.}} \xi$, тогда, если $\omega \in \big\{ \omega: \xi_n(\omega) \rightarrow \xi(\omega) \big\}$, то $\omega \in \big\{ \omega: \{\xi_n\}~\text{--- фундаментальная} \big\}$, следовательно, $\P \big( \omega: \{ \xi_n(\omega)\}~\text{--- фундаментальная} \big) \geqslant \P \big( \omega: \xi_n(\omega) \rightarrow \xi(\omega) \big) = 1$.\\
		
		($\Leftarrow$) \quad Обозначим $A = \{ \omega: \{\xi_n\}~\text{--- фундаментальная} \big\}$. Построим такую случайную величину $\xi$, что $\xi_n \xrightarrow{\text{п.н.}} \xi$. По критерию Коши для любого $\omega \in A$ у последовательности $\big\{ \xi_n(\omega) \big\}$ существует предел $\xi(\omega)$. Положим по определению $\xi(\omega) = \lim\limits_{n \rightarrow + \infty} \xi_n(\omega) \cdot I_A(\omega)$. Тогда $\xi_n \cdot I_A \rightarrow \xi$, то есть $\xi$~--- случайная величина, как предел случайных величин, и $\P \big( \omega: \xi_n (\omega) \rightarrow \xi(\omega) \big) = \P(A)=1$.
	\end{proof}
\end{theorem}
\begin{lemma}[критерий фундаментальности почти наверное][б/д]
	Последовательность случайных величин $\{ \xi_n \}$ фундаментальна почти наверное тогда и только тогда, когда $\forall \varepsilon > 0: \P\big(\omega: \sup\limits_{k \geqslant n} | \xi_k(\omega) - \xi_n(\omega) | > \varepsilon \big) \limn 0$.
\end{lemma}
\begin{definition}
	Пусть $ \{A_n \}_{n \in \N}$~--- последовательность событий, тогда событием $\{ A_n~\text{бесконечно часто (б.ч.)} \}$ называется событие $\{ \omega: \forall n \exists k \geqslant n: \omega \in A_k \}$, то есть все такие $\omega$, что $\omega$ принадлежит бесконечному числу элементов из $\{ A_n \}_{n \in \N}$. $\{ A_n~\text{б.ч.} \} = \bigcap\limits_{n=1}^{\infty} \bigcup\limits_{k \geqslant n}^{\infty} A_k$.
\end{definition}
\begin{lemma}[Бореля-Кантелли]

	\begin{enumerate}
		\item {Если $\sum\limits_{k = 1}^{\infty} \P(A_k) < +\infty$, то $\P ( A_n~\text{б.ч.}) = 0$.}
		\item {Если $\sum\limits_{k = 1}^{\infty} \P(A_k) = +\infty$ и $\{A_k\}$ независимы в совокупности, то $\P ( A_n~\text{б.ч.}) = 1$.}
	\end{enumerate}
	\begin{proof}
		$\P(A_n~\text{б.ч.}) = \P\left(\bigcap\limits_{n=1}^{\infty} \bigcup\limits_{k \geqslant n}^{\infty} A_k \right) \boxed{=}$. Известно, что $\bigcup\limits_{k \geqslant n} A_n \downarrow \{ A_n~\text{б.ч.}\}$, следовательно, по непрерывности вероятностной меры имеем $\boxed{=} \lim\limits_{n \rightarrow \infty} \P\left( \bigcup\limits_{k \geqslant n} A_k \right) \leqslant \lim\limits_{n \rightarrow \infty} \sum\limits_{k \geqslant n} \P(A_k) = 0$.
		
		Заметим, что $\P ( A_n ~\text{б.ч.}) = 
		\lim\limits_{ n \rightarrow \infty} \P \left( \bigcup\limits_{k \geqslant n} A_k \right) =  
		\lim\limits_{ n \rightarrow \infty} \left( 1 - \P \left( \bigcap\limits_{k \geqslant n} \overline{A_k} \right) \right)$, но
		\begin{multline*}
			\P \left( \bigcap\limits_{k \geqslant n} \overline{A} \right) = 
		\lim\limits_{N \rightarrow \infty} \P \left( \bigcap\limits_{k = n}^{N} \overline{A_k} \right) = 
		\lim\limits_{N \rightarrow \infty} \prod\limits_{k = n}^{N} \P \left( \overline{A_k} \right) = 
		\lim\limits_{N \rightarrow \infty} \prod\limits_{k = n}^{N} \left[ 1 - \P (A_k) \right] \leqslant \\ \leqslant 
		\lim\limits_{N \rightarrow \infty} \prod\limits_{k = n}^{N} \exp\left(-\P \left( \overline{A_k} \right)\right) = 
		\lim\limits_{N \rightarrow \infty} \exp \left( - \sum\limits_{k =n}^{N} \P \left( A_k \right) \right)= \exp \left( - \sum\limits_{k = n}^{\infty}  \P \left( A_k \right) \right).
		\end{multline*} 
	\end{proof}
\end{lemma}
\begin{theorem}[Рисса]
	Если последовательность случайных величин $\{ \xi_n \}$ фундаментальна (или сходится) по вероятности, то из нее можно выделить подпоследовательность $\{ \xi_{n_k} \}$ фундаментальную (сходящуюся) почти наверное.
	\begin{proof}
		Пусть $\{ \xi_n \}$ фундаментальна по вероятности, то есть 
		$$\forall \varepsilon > 0: \P \big(\omega: | \xi_k - \xi_n | > \varepsilon \big) \xrightarrow[n, k \rightarrow \infty]{} 0.$$ Докажем, что можно выделить подпоследовательность $\{ \xi_{n_k} \}$, сходящуюся почти наверное. Пусть $n_1=1$. По индукции определим $n_k$, как наименьшее $n > n_{k-1}$ такое, что $\forall s \geqslant n, t \geqslant n: \P \big( | \xi_t - \xi_s | > 2^{-k} \big) < 2^{-k}$. Тогда $\sum\limits_{k = 1}^{\infty} \P \big( | \xi_{n_{k+1}} - \xi_{n_k} | > 2^{-k} \big) < \sum\limits_{k = 1}^{\infty} 2^{-k} < +\infty$, следовательно, по лемме Бореля-Кантелли $\P \big( | \xi_{n_{k+1}} - \xi_{n_k}| > 2^{-k}~\text{б.ч.} \big) = 0$, значит, почти наверное $\sum\limits_{k = 1}^{+\infty} | \xi_{n_{k+1}} - \xi_{n_k} | < + \infty$. Пусть $N = \left\{ \omega: \sum\limits_{n = 1}^{+\infty} \big| \xi_{n_{k+1}}(\omega) - \xi_{n_k}(\omega) \big| = +\infty \right\}$, тогда $\P(N) = 0$. Положим $\xi(\omega) =  \left( \xi_{n_1} (\omega) + \sum\limits_{k = 1}^{+\infty} \big(\xi_{n_{k+1}} (\omega) - \xi_{n_k}(\omega) \big) \right) \cdot I_{\overline{N}}(\omega)$. Получаем, $\sum\limits_{j = 1}^{k} ( \xi_{n_j + 1} - \xi_{n_j} ) + \xi_{n_1} = \xi_{n_{k+1}} \xrightarrow{\text{п.н.}} \xi$.
		
		Пусть теперь $\xi_n \xrightarrow{\P} \xi$, тогда 
		$$\P \big( | \xi_m - \xi_n| \geqslant \varepsilon \big) \leqslant \P \left( |\xi_n - \xi | \geqslant \dfrac{\varepsilon}{2} \right) + \P \left( |\xi_m - \xi | \geqslant \dfrac{\varepsilon}{2} \right) \xrightarrow[n, m \rightarrow \infty ]{} 0.$$ 
		Следовательно, из сходимости по вероятности следует фундаментальность по вероятности, а дальше все тоже самое.
	\end{proof}
\end{theorem}
\begin{theorem}[критерий Коши сходимости по вероятности]
	$\xi_n \xrightarrow{\P} \xi$ тогда и только тогда, когда $\{\xi_n\}$ фундаментальна по вероятности.
	\begin{proof}
		($\Rightarrow$) \quad Следует из теоремы Рисса.
		
		($\Leftarrow$) \quad Если $\{ \xi_n \}$ фундаментально по вероятности, то по теореме Рисса существует подпоследовательность $\{\xi_{n_k} \}$ такая, что $\xi_{n_k} \xrightarrow{\text{п.н.}} \xi$, то есть $\xi_{n_k} \xrightarrow{\P} \xi$. Тогда $\P \big( | \xi_n - \xi | \geqslant \varepsilon \big) \leqslant \cancelto{0\text{, т.к. фунд.}}{\P \left( |\xi_n - \xi_{n_k} | \geqslant \dfrac{\varepsilon}{2} \right)} + \cancelto{0\text{, т.к. сход.}}{\P \left( |\xi_{n_k} - \xi | \geqslant \dfrac{\varepsilon}{2} \right)} \limn 0$.
	\end{proof}
\end{theorem}
\begin{theorem}[Неравенство Колмогорова]
	Пусть $\xi_1,  \ldots, \xi_n$~--- независимые случайные величины такие, что $\E \xi_i = 0$, $\D \xi_i < +\infty$. Обозначим $S_n = \sum\limits_{i = 1}^n \xi_i$. Тогда $\forall \varepsilon > 0: \P \left( \max\limits_{1 \leqslant k \leqslant n} |S_k| \geqslant \varepsilon \right) \leqslant \dfrac{\E S_n^2}{\varepsilon^2}$.
	\begin{proof}
		Обозначим $A = \{ \max\limits_{1 \leqslant k \leqslant n} |S_k| \geqslant \varepsilon \}$. Разобьем $A$ на несколько непересекающихся событий, то есть $A_k = \big\{ |S_k| \geqslant \varepsilon\big\}$ и $\forall i \leqslant k - 1: |S_k| \leqslant \varepsilon$, следовательно, $A = \bigsqcup\limits_{k=1}^{n} A_k$. Тогда
		\begin{multline*}
			\E(S_n^2 \cdot I_{A_k}) = \E\big( (S_k + \underbracket[0.5pt]{\xi_{k+1} + \ldots + \xi_n}_{\overline{S_k}} )^2 \cdot I_{A_k} \big) =  \\= \E( S_k^2 \cdot I_{A_k} ) + \E\left( \overline{S_k}^2 \cdot I_{A_k} \right) + 2 \E\left( S_k \overline{S_k} \cdot I_{A_k} \right).
		\end{multline*}
		Рассмотрим 
		\begin{equation*}
			\E(\underbracket[0.5pt]{S_k \cdot I_{A_k}}_{\sigma\{\xi_1, \ldots, \xi_k \}~\text{--- измер.}} \cdot \underbracket[0.5pt]{\overline{S_k}}_{\sigma\{\xi_{k+1}, \ldots, \xi_n \}~\text{--- измер.}}).
		\end{equation*}
		Следовательно, $S_k \cdot I_{A_k} \indep \overline{S_k}$, так как $\{\xi_1, \ldots, \xi_k \} \indep \{ \xi_{k+1}, \ldots,\xi_n \}$, а, значит, $\E( S_k \cdot I_{A_k} \cdot \overline{S_k} ) = \E(S_k \cdot I_{A_k}) \cdot \cancelto{0}{\E \overline{S_k}} = 0$. Отсюда
		\begin{equation*}
			\E( S_k^2 \cdot I_{A_k} ) + \E \left( \overline{S_k}^2 \cdot I_{A_k}  \right) \geqslant \E(S_k^2 \cdot I_{A_k} ) \geqslant \varepsilon^2 \cdot \E I_{A_k} = \varepsilon^2 \cdot \P(A_k).
		\end{equation*}
		В итоге, 
		\begin{equation*}
			\E S_n^2 \geqslant \E( S_n^2 \cdot I_A ) = \sum\limits_{k = 1}^n \E( S_n^2 \cdot I_{A_k} ) \geqslant \sum\limits_{k = 1}^n \P(A_k) \cdot \varepsilon^2 = \P(A) \cdot \varepsilon^2.
		\end{equation*}
	\end{proof}
\end{theorem}