notebooks/PROB_moment.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# モーメントとモーメント母関数\n",
    "\n",
    "参考：\n",
    "* [離散型確率変数のモーメント（積率）](https://wiis.info/math/probability/discrete-probability-distribution/moment-of-discrete-random-variable/)\n",
    "\n",
    "離散確率変数$X: \\Omega \\to \\mathbb{R}$と，その確率質量関数$f_X: \\mathbb{R}\\to \\mathbb{R}$を考えましょう．このとき，$X$の値が集合$A$に属する確率は\n",
    "\n",
    "$$\n",
    "P(X \\in A)=\\sum_{x \\in A} f_X(x)\n",
    "$$\n",
    "\n",
    "ですね．ここで，自然数$m\\in\\mathbb{N}$を任意に選んで，それぞれの$\\omega \\in \\Omega$について\n",
    "$$\n",
    "X^m(\\omega)=[X(\\omega)]^m\n",
    "$$\n",
    "なる関数を考えましょう．このとき，確率変数$X^m$の期待値は\n",
    "$$\n",
    "E\\left(X^m\\right)=\\sum_{x \\in X(\\Omega)} x^m f_X(x)\n",
    "$$\n",
    "で定まります．これを確率変数$X$の$m$次のモーメント（もしくは積率）と呼びます．\n",
    "$$\n",
    "\\begin{aligned}\n",
    "& E\\left(X^1\\right)=\\sum_{x \\in X(\\Omega)} x^1 f_X(x) \\\\\n",
    "& E\\left(X^2\\right)=\\sum_{x \\in X(\\Omega)} x^2 f_X(x) \\\\\n",
    "& E\\left(X^3\\right)=\\sum_{x \\in X(\\Omega)} x^3 f_X(x)\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "---\n",
    "\n",
    "**注意（不注意な統計学者の法則 LOTUS）**\n",
    "\n",
    "関数$g: \\mathbb{R}\\to\\mathbb{R}$について，合成関数$Y(\\omega) =(g \\circ X)(\\omega) =g(X(\\omega))$を考えましょう．\n",
    "このとき，確率変数$Y$の期待値が存在する場合は，\n",
    "$$\n",
    "E(Y)=\\sum_{x \\in X(\\Omega)}\\left[g(x) \\cdot f_X(x)\\right]\n",
    "$$\n",
    "が成立します．これを不注意な統計学者の法則(Law of the Unconscious Statistician)と呼びます．\n",
    "\n",
    "本来は，期待値を計算する場合は，$y=f(x)$を考え，その確率質量関数$f_Y: \\mathbb{R}\\to\\mathbb{R}$を特定した上で\n",
    "$$\n",
    "E(Y)=\\sum_{y \\in Y(\\Omega)}\\left[y \\cdot f_Y(y)\\right]\n",
    "$$\n",
    "と計算する必要があります．つまり，確率変数$X$の分布をそのまま流用できることは必ずしも自明ではないのです．しかし，LOTUSを使えば，回りくどい計算を省略できます．\n",
    "\n",
    "（LOTUSは期待値が存在しないケースでは使えません．離散分布ではないですが，コーシー分布の期待値は存在しません．[これ](https://wiis.info/math/probability/discrete-probability-distribution/expectation-of-discrete-random-variable/#elementor-toc__heading-anchor-1)参照）．\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### モーメントの存在条件\n",
    "\n",
    "確率変数の期待値は有限な実数として定まるとは限らないので，モーメントも存在するとは限りません（モーメントは$m=1$のとき期待値です）．\n",
    "\n",
    "次の絶対値モーメントを考えましょう：\n",
    "$$\n",
    "E\\left(|X|^m\\right)=\\sum_{x \\in X(\\Omega)}|x|^m f_X(x) \\quad \\because \\text { LOTUS }\n",
    "$$\n",
    "\n",
    "このとき，$m$次の絶対値モーメントが有限な実数として定まる場合，$m$次のモーメントも有限な実数として定まることが言えます．"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## モーメント母関数\n",
    "\n",
    "実数$t\\in \\mathbb{R}$を任意に選んだ上で，変数$x$に関する関数$e^{tx}$を定義しましょう．次の確率関数：\n",
    "\n",
    "$$\n",
    "e^{tX}: \\Omega \\to \\mathbb{R}\n",
    "$$\n",
    "\n",
    "を考えましょう．この確率変数の期待値はLOTUSを使えば\n",
    "\n",
    "$$\n",
    "E(e^{tX}) = \\sum_{x\\in X(\\Omega)}e^{tx}f_X(x)\n",
    "$$\n",
    "\n",
    "であることがわかります．$t$の値が変われば期待値の値も変わります．\n",
    "また，そもそも期待値が存在するかも保証されないことに注意しましょう．\n",
    "\n",
    "ただし，$t$がとり得る範囲を$0$の近傍$N_\\varepsilon(0)=(-\\varepsilon, \\varepsilon)$に制限したとき，十分小さい半径$\\varepsilon$のもとでは，この近傍に属する任意の値$t \\in N_\\varepsilon(0)$について期待値$E(e^{tX})$が有限な値として定まることが保証されるのであれば，\n",
    "\n",
    "$$\n",
    "M_X(t) = E(e^{tX})\n",
    "$$\n",
    "を定める関数：$M_X: \\mathbb{R}\\supset N_\\varepsilon(0) \\to \\mathbb{R}$を定義することができます．このような関数$M_X$が存在する場合，これを$X$のモーメント母関数と呼びます．\n",
    "\n",
    "### モーメント関数との関係\n",
    "\n",
    "\n",
    "モーメント母関数が存在する場合，**任意の自然数$m$**について，$m$次のモーメント$E(X^m)$が有限な実数として定まることが保証されるとともに，それはモーメント母関数$M_X$の点$0$における$m$次の微分係数と一致します：\n",
    "$$\n",
    "E(X^m) = \\frac{d^m M_X(t)}{dt^m} |_{t=0}\n",
    "$$\n",
    "\n",
    "### モーメント母関数と確率分布の関係\n",
    "\n",
    "**２つのの確率変数が同一のモーメント母関数を持つ $\\Leftrightarrow$ それらの確率変数は同一の確率分布にしたがう**ことが言えます．\n",
    "\n",
    "２つの離散確率変数$X, Y: \\Omega \\to \\mathbb{R}$について，\n",
    "* 確率質量関数$f_X, f_Y$\n",
    "* モーメント母関数$M_X, M_Y$\n",
    "\n",
    "とします．このとき，「$f_X$と$f_Y$が一致」$\\Leftrightarrow$ 「$M_X$と$M_Y$が一致」です．\n",
    "\n",
    "多くの場合，確率変数の確率分布が一致することをしめすより，モーメント母関数が一致することを示すほうが容易です．\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "vscode": {
     "languageId": "plaintext"
    }
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}