notebooks/RL_multi_task_latent_MDP.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Latent MDP\n",
    "\n",
    "参考：\n",
    "* [RL for Latent MDPs: Regret Guarantees and a Lower Bound](https://arxiv.org/abs/2102.04939)\n",
    "\n",
    "Latent MDPは[Contextual MDP](RL_multi_task_contextual_MDP.ipynb)にかなり近いです．\n",
    "Latent MDPはMDPの集合$\\mathcal{M}$で定義されます．\n",
    "\n",
    "* $M=|\\mathcal{M}|, S=|\\mathcal{S}|$ and $A=|\\mathcal{A}|$とします．\n",
    "* 各要素$\\mathcal{M}_m \\in \\mathcal{M}$は$\\left(\\mathcal{S}, \\mathcal{A}, T_m, R_m, \\nu_m\\right)$のタプルとして，ここで$T_m$は遷移確率，$R_m$は報酬，$\\nu_m$は初期分布です．\n",
    "* LatentMDPではMDP$\\mathcal{M}_m$が重み$w_m$によってランダムに選択されます．\n",
    "\n",
    "Latent MDPの目的は次の解になるような方策を見つけることです：\n",
    "\n",
    "$$\n",
    "V_{\\mathcal{M}}^*:=\\max _{\\pi \\in \\Pi} \\sum_{m=1}^M w_m \\mathbb{E}_m^\\pi\\left[\\sum_{t=1}^H r_t\\right]\n",
    "$$\n",
    "\n",
    "つまり，出現確率に応じて重み付けされた価値の和になります．\n",
    "Latent MDPはPOMDPの特別ケースなので，$\\mathcal{M}$が既知＆$M$が有限であれば，POMDPのアルゴリズムでLatent MDPを解くことができます．(TODO: POMDPのアルゴリズム．)\n",
    "\n",
    "以下，集合$\\mathcal{M}$がわかっている場合は，次の性能を保証するプランナーが存在することを仮定しましょう．\n",
    "\n",
    "$$\n",
    "V_{\\mathcal{M}}^\\pi \\geq \\rho_1 V_{\\mathcal{M}}^*-\\rho_2\n",
    "$$\n",
    "\n",
    "ここで，$0 < \\rho_1 \\leq 1$かつ$0\\leq \\rho_2$です．\n",
    "これは例えばpoint-based value iterationといったアルゴリズムで実現できます．\n",
    "\n",
    "$\\mathcal{M}$がわからない場合について考えてみましょう．\n",
    "つまり，\n",
    "* MDPの数はわかっているが，どんなMDPがあるのかはわからない．そのため，集めたデータで$\\mathcal{M}$を推定しなければならない．\n",
    "* しかし，データを集めるフェーズで，$\\mathcal{M}_m \\in \\mathcal{M}$のどのMDPを解いているのかがわからない．そのため，集めたデータでどのMDPについての遷移を更新すればよいかがわからない\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}