notebooks/LA_vector_space.ipynb

{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# ベクトル空間\n",
    "\n",
    "参考\n",
    "* [線形代数汎論](https://amzn.asia/d/cQQdYH2): ３章\n",
    "\n",
    "空でない集合$V$が体（四則演算が定義された集合）のベクトル空間であるとは、$V$の任意の元$x, y$に対して\n",
    "* 和$x+y$が$V$の元として一意に定まり、\n",
    "* $x$の$\\lambda$倍が$V$の元として一意に定まり、\n",
    "* 以下の演算を満たす\n",
    "    * $x, y, z \\in V$に対して $(x + y) + z= x + (y + z)$\n",
    "    * $\\cdots$ その他は教科書参照。\n",
    "\n",
    "\n",
    "体$K$の上野ベクトル空間$V$の$m$本のベクトルの集合$X=\\{x_1, x_2, \\cdots, x_m\\}$のスカラーの集合$\\{\\lambda_1, \\cdots, \\lambda_m\\}$を係数とする線型結合とは、ベクトル\n",
    "$\\lambda_1 x_1 + \\cdots + \\lambda_m x_m$\n",
    "\n",
    "のことである。\n",
    "$X$が線形従属であるとは、すべてが$0$でないスカラー$\\{\\lambda_1, \\cdots, \\lambda_m\\}$を係数とする線型結合で$0$となるものがあること、すなわち\n",
    "$\\lambda_1 x_1 + \\cdots + \\lambda_m x_m=0$\n",
    "であることをいう。\n",
    "線形従属でないならば線形独立であるという。\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ベクトル空間の次元と基底\n",
    "\n",
    "ベクトル空間$V$の極大線形独立集合の要素数のことを$V$の次元という。\n",
    "また、その集合のことを$V$の基底と呼ぶ。\n",
    "\n",
    "$m\\times n$型の行列$A$の$n$本の列ベクトルを、次元$m$のベクトル空間$V_m$の$n$個のベクトル$x_1, \\cdots, x_n$についての、ある基底$B$に関する座標成分を表す縦ベクトルとみると、\n",
    "$m$次の正則行列を左から掛けた$A'=SA$の列ベクトルは、別の基底に関する$x_1, \\cdots, x_n$の座標成分を表す。\n",
    "\n",
    "よって、$S$は正則なので、$\\{x_1, \\cdots, x_n\\}$ の線形独立・線形従属性は、$A'$のそれを調べても可能である。\n",
    "\n",
    "## 部分空間と補空間\n",
    "\n",
    "**部分空間**\n",
    "\n",
    "ベクトル空間$V$の部分集合$U$が、それ自身が一つのベクトル空間になっているとき、$U$を$V$の部分空間であるという。\n",
    "例えばベクトルの集合$X \\in V$に対して、\n",
    "$$\n",
    "\\{y \\in V \\mid y=\\lambda_1 x_1 + \\cdots + \\lambda_x x_m ; x_1 \\cdots x_m \\in X ; \\lambda_1, \\cdots \\lambda_m \\in K\\}\n",
    "$$\n",
    "は$V$の部分空間であり、特にこれは$X$が張る部分空間という。\n",
    "\n",
    "**補空間**\n",
    "\n",
    "ベクトル空間$V$が二つの部分空間$U, W$の直和（共通部分が空である集合の合併）$V=U \\oplus W$であるとき、$W$は$U$の補空間であるという。\n",
    "それぞれが写像する空間の次元について考えれば、$\\operatorname{dim} W = n - \\operatorname{dim} U$は明らかである。\n",
    "\n",
    "$U$が$V$の部分空間であるとして、\n",
    "\n",
    "$$x - y \\in U$$\n",
    "\n",
    "であるような$x, y \\in V$を考えよう。\n",
    "これを満たす$x, y$によって定義される関係$x \\sim y$は**同値関係**である。\n",
    "この関係$\\sim$によって$V$は同値類に分けられ、同値類の間に自然に和とスカラー倍を定義したものを、$V$の$U$による商空間と呼び、$V / U$と記す。\n",
    "\n",
    "**同値関係について**\n",
    "\n",
    "参考\n",
    "* [関係、同値関係、同値類、商ベクトル空間](https://motochans.blogspot.com/2016/05/blog-post.html)\n",
    "\n",
    "集合$S$について、「$(a, b) \\in S$に関係をいれる」という動作を定義しておく。\n",
    "\n",
    "直積集合$S\\times S=\\{(a, b)|a, b \\in S\\}$の部分集合$A$を決めて、$(a, b) \\in A$であるとき、$a$と$b$に関係がある、という。\n",
    "このとき、$S$の関係が同値関係であることを、次の条件を満たすこととして定義する。\n",
    "\n",
    "$a, b, c \\in S$ に対して、\n",
    "* $(a, a) \\in A$である。\n",
    "* $(a, b) \\in A$ならば$(b, a) \\in A$である。\n",
    "* $(a, b) \\in A$かつ$(b, c) \\in A$ならば $(a, c)\\in A$である。\n",
    "\n",
    "特に、集合$S$にこのような$A$を決めることを、$S$に同値関係を入れる、という。\n",
    "\n",
    "上で定義した \n",
    "$$x - y \\in U \\Longleftrightarrow x\\sim y$$\n",
    "が同値関係であることを証明してみます。\n",
    "商空間の関係に相当する集合を$A = \\{(v, u) \\in V \\times V\\mid v - u \\in U\\}$とします。\n",
    "\n",
    "1. $U$はベクトル空間であるから、$v-v = 0 \\in U$なので、$(v, v) \\in A$\n",
    "2. $v - u \\in U$ ならば、$U$はベクトル空間なので、その$-1$倍である$u - v$も$U$に入る。よって、$(u, v) \\in A$\n",
    "3. $v - u \\in U$かつ$u - w \\in U$ならば、$U$はベクトル空間なので、$(v-u) + (u-w) \\in U$である。よって、$(v, w) \\in A$"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 線形写像\n",
    "\n",
    "$U, V$が$K$上のベクトル空間である時、$V$から$U$への写像\n",
    "\n",
    "$$A: V \\to U$$\n",
    "\n",
    "が線形性の条件\n",
    "1. $A(x+y)=A(x) + A(y)$\n",
    "2. $A(\\lambda x) = \\lambda A(x)$\n",
    "\n",
    "を満足する時、$A$を$V$から$U$への線形写像という。\n",
    "\n",
    "**線形写像の行列表現**\n",
    "\n",
    "$V_n$、$U_m$にそれぞれ基底$B=\\{e_1, \\cdots, e_n\\}$、$\\tilde{B}=\\{\\tilde{e}_1, \\cdots, \\tilde{e}_n\\}$を選んで固定しよう。\n",
    "このとき、$A(e_j) \\in U_m$であるから、\n",
    "\n",
    "$$A(e_j)=\\sum^m_{i=1}a_{ij} \\tilde{e}_i \\in U_m$$\n",
    "\n",
    "と書ける。すると、$A$の線形性から、$V_n$の任意のベクトル\n",
    "\n",
    "$$x = \\sum^n_{j=1}x_{j} {e}_j \\in V_n$$\n",
    "\n",
    "の$A$による像は\n",
    "\n",
    "$$A(x) = \\sum^m_{i=1}(\\sum^n_{j=1}x_{j} {e}_j)\\tilde{e}_i \\in U_m$$\n",
    "なので、$A(x)=\\sum^m_{i=1}\\tilde{x}_i \\tilde{e}_i$と比較すると、$\\tilde{x}_i=\\sum^n_{j=1}a_{ij}x_j$である。\n",
    "\n",
    "この$a_{ij}$を並べることで、線形写像$A$は行列で表現できることに注意。\n",
    "\n",
    "\n",
    "$l$次元、$m$次元、$n$次元のベクトル空間$U_l$、$V_m$、$W_n$の間の２つの線形写像　\n",
    "\n",
    "$$B: W_n \\to V_m, \\; A: V_m \\to U_l$$\n",
    "\n",
    "の合成\n",
    "\n",
    "$$C=A\\bullet B : W_n \\to U_l$$\n",
    "\n",
    "の行列表現は、$l\\times m$行列$A$と$m\\times n$行列$B$の積である$l\\times n$行列$C=A\\bullet B$であることも明らかである。\n",
    "\n",
    "**同値変形**\n",
    "\n",
    "線形写像$A: V_n \\to U_m$を考えよう。\n",
    "このとき、$A$は$V_n$の基底$B=\\{e_1,\\cdots, e_n\\}$と$U_m$の基底$\\tilde{B}=\\{\\tilde{e}_1, \\cdots, \\tilde{e}_m\\}$\n",
    "を使って、\n",
    "$$A(x) = \\sum^m_{i=1}(\\sum^n_{j=1}x_{j} {e}_j)\\tilde{e}_i \\in U_m$$\n",
    "\n",
    "と書けるとする（このような書き方ができるとき、$A$は$B$と$\\tilde{B}$に関する表現である、というらしい。）。\n",
    "\n",
    "一方で、$V_n$の別の基底\n",
    "$B'=\\{e_1',\\cdots, e_n'\\}$と$U_m$の別の基底$\\tilde{B}'=\\{\\tilde{e}_1', \\cdots, \\tilde{e}_m'\\}$\n",
    "に対する表現行列$A'$を考えてみよう。\n",
    "\n",
    "このような$B'$と$\\tilde{B}'$が、$n$次と$m$次の正則行列$T=[t_{ik}]$、$S=[s_{jl}]$によって次のように書けるとする。\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "[e_1',\\cdots, e_n']&= [e_1,\\cdots, e_n]T,\\\\\n",
    "[\\tilde{e}_1, \\cdots, \\tilde{e}_m] &= [\\tilde{e}_1', \\cdots, \\tilde{e}_m']S\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "このとき、\n",
    "\n",
    "$$\n",
    "\\tilde{x} = [\\tilde{e}_1, \\cdots \\tilde{e}_m]^T [\\tilde{x}_1, \\cdots, \\tilde{x}_m] \n",
    "= [\\tilde{e}_1, \\cdots \\tilde{e}_m]^T A[{x}_1, \\cdots, {x}_m] \n",
    "= ([\\tilde{e}_1', \\cdots \\tilde{e}_m']S^{-1})^T AT[{x}_1', \\cdots, {x}_m'] \n",
    "= [\\tilde{e}_1', \\cdots \\tilde{e}_m'][\\tilde{x}_1', \\cdots, \\tilde{x}_m'] \n",
    "$$\n",
    "\n",
    "であるから、表現行列$A'=S^{-1}AT$である。　\n",
    "この形の変換を同値変換と呼ぶ。\n",
    "\n",
    "**相似変換**\n",
    "\n",
    "特に$A: V_n \\to V_n$であるとき、$A'=S^{-1}AS$の形でかける。このような変換は相似変換と呼ぶ。　\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 双対ベクトル空間\n",
    "\n",
    "前節でやった線形写像について少し復習します。\n",
    "$U, V$が$K$上のベクトル空間である時、$V$から$U$への写像\n",
    "\n",
    "$$A: V \\to U$$\n",
    "\n",
    "が線形性の条件\n",
    "1. $A(x+y)=A(x) + A(y)$\n",
    "2. $A(\\lambda x) = \\lambda A(x)$\n",
    "\n",
    "を満足する時、$A$を$V$から$U$への線形写像といいます。\n",
    "ここで、二つの線形写像$f$と$g$を考えましょう。\n",
    "このとき、$f$と$g$の和も線形写像であり、また、そのスカラー倍$cf(x)$も線形写像になってます。\n",
    "\n",
    "ということは、ベクトル空間$V$と$K$についての線形写像$f:V\\to K$の全体を考えると、この全体では加法とスカラー倍が成り立っているので、この集合もベクトル空間になりそうです。\n",
    "これを$V^d$と書いておきます。\n",
    "実際、$V^d$は写像の和とスカラー倍の演算に関して一つのベクトル空間をなします。\n",
    "これを$V$の双対（ベクトル）空間と呼びます。\n",
    "\n",
    "$x \\in V$の$f\\in V^d$による像は$f(x)\\in K$です。\n",
    "この$f(x)$を$x\\in V$と$f\\in V^d$の一種の積とみなして$\\langle x, f\\rangle$のように表し、$x$と$f$とのスカラー積と呼んだりします。\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 内積、計量\n",
    "\n",
    "ベクトル空間$V$における「内積」と呼ばれる写像は、以下の公理を満足するものを備えたものを言う。（下は実数についての公理です）\n",
    "\n",
    "* $\\langle x, y \\rangle = \\langle y, x \\rangle$\n",
    "* $\\langle \\lambda x, y \\rangle = \\lambda \\langle x, y \\rangle$\n",
    "* $\\langle x + z, y \\rangle = \\langle x, y \\rangle + \\langle z, y \\rangle$\n",
    "* $\\langle x, x \\rangle \\geq 0$\n",
    "\n",
    "このようなベクトル空間を内積空間とよんだりする。\n",
    "また、正定値Hermite行列$G$を使って、\n",
    "\n",
    "$$\\langle x, y \\rangle_G = \\langle x, Gy\\rangle$$\n",
    "\n",
    "として内積を定義した時、$G$を計量とする計量空間と呼ぶこともある。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}