四元数の逆元
\(\mathbf{q}\overline{\mathbf{q}}\), \(\mathbf{q}^{-1}\)
$$ \begin{eqnarray} \mathbf{q}\overline{\mathbf{q}}&=&\left(w,\;\mathbf{V}\right)\left(w,\;-\mathbf{V}\right) \\&&\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/quaternion.html}{\overline{\mathbf{q}}=w-x\mathbf{i}-y\mathbf{j}-z\mathbf{k}=\left(w,\;-\mathbf{V}\right),\;\left(実部,\mathbf{i}\mathbf{j}\mathbf{k} 部\right),\;\mathbf{V}=x\mathbf{i}+y\mathbf{j}+z\mathbf{k}} \\&=&\left( ww-\mathbf{V}\cdot\left(-\mathbf{V}\right) ,\; w\left(-\mathbf{V}\right)+w\mathbf{V}+\mathbf{V}\times\left(-\mathbf{V}\right) \right) \\&&\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/quaternion.html}{\mathbf{q}_1\mathbf{q}_2=(w_1,\mathbf{V}_1)(w_2,\mathbf{V}_2)=\left(w_1w_2-\mathbf{V}_1\cdot\mathbf{V}_2,\;w_1\mathbf{V}_2+w_2\mathbf{V}_1+\mathbf{V}_1\times\mathbf{V}_2\right)} \\&=&\left( w^2+|\mathbf{V}|^2 ,\; 0 \right) \;\cdots\;\mathbf{A}\cdot\mathbf{A}=\left|\mathbf{A}\right|^2,\mathbf{A}\times\mathbf{A}=0 \end{eqnarray} $$ $$ \begin{eqnarray} |\mathbf{q}|^2=\mathbf{q}\overline{\mathbf{q}}=\overline{\mathbf{q}}\mathbf{q}=w^2+|\mathbf{V}|^2 \end{eqnarray} $$ $$ \begin{eqnarray} \\\frac{\mathbf{q}\overline{\mathbf{q}}}{|\mathbf{q}|^2} &=&\mathbf{q}\frac{\overline{\mathbf{q}}}{|\mathbf{q}|^2} &=&\frac{\overline{\mathbf{q}}\mathbf{q}}{|\mathbf{q}|^2} &=&\frac{\overline{\mathbf{q}}}{|\mathbf{q}|^2}\mathbf{q}=1 \end{eqnarray} $$ $$ \begin{eqnarray} \\\mathbf{q}^{-1}&=&\frac{\overline{\mathbf{q}}}{|\mathbf{q}|^2} \;\cdots\;\mathbf{A}\mathbf{B}=\mathbf{B}\mathbf{A}=\mathbf{E}(単位元)となる\mathbf{B}を\mathbf{A}^{-1}(逆元)とする \end{eqnarray} $$\(\mathbf{q}\mathbf{q}^{-1}\)
$$ \begin{eqnarray} \mathbf{q}\mathbf{q}^{-1} &=&\mathbf{q}\frac{\overline{\mathbf{q}}}{|\mathbf{q}|^2} =\frac{1}{|\mathbf{q}|^2}\mathbf{q}\overline{\mathbf{q}} \\&=&\frac{1}{w^2+|\mathbf{V}|^2}\left(w,\;\mathbf{V}\right)\left(w,-\mathbf{V}\right) \\&=&\frac{1}{w^2+|\mathbf{V}|^2}\left( w^2+|\mathbf{V}|^2 ,\; w\left(-\mathbf{V}\right)+w\mathbf{V}+\mathbf{V}\times\mathbf{V} \right) \\&=&\frac{1}{w^2+|\mathbf{V}|^2}\left( w^2+|\mathbf{V}|^2 ,\; 0 \right) \\&=&\left( \frac{w^2+|\mathbf{V}|^2}{w^2+|\mathbf{V}|^2} ,\; \frac{w^2+|\mathbf{V}|^2}{w^2+|\mathbf{V}|^2} \right) \\&=&\left(1,\;0\right)(単位元) \end{eqnarray} $$四元数(quaternion)の掛け算
四元数(quaternion)
$$ \begin{eqnarray} \mathbf{q}&=&w+x\mathbf{i}+y\mathbf{j}+z\mathbf{k} \\&=&\left(w,\;\mathbf{V}\right) \;\cdots\;\left(実部,\mathbf{i}\mathbf{j}\mathbf{k} 部\right),\;\mathbf{V}=x\mathbf{i}+y\mathbf{j}+z\mathbf{k} \\-\mathbf{q}&=&-\left(w+x\mathbf{i}+y\mathbf{j}+z\mathbf{k}\right) \\&=&-w-x\mathbf{i}-y\mathbf{j}-z\mathbf{k} \\&=&\left(-w,\;-\mathbf{V}\right) \\\overline{\mathbf{q}}&=&w-x\mathbf{i}-y\mathbf{j}-z\mathbf{k} \\&=&\left(w,\;-\mathbf{V}\right) \end{eqnarray} $$\(\mathbf{q}_1\mathbf{q}_2\)
$$ \begin{eqnarray} \mathbf{q}_1&=&w_1+x_1\mathbf{i}+y_1\mathbf{j}+z_1\mathbf{k} \\&=&(w_1,\;\mathbf{V}_1) \\\mathbf{q}_2&=&w_2+x_2\mathbf{i}+y_2\mathbf{j}+z_2\mathbf{k} \\&=&(w_2,\;\mathbf{V}_2) \\\mathbf{q}_1\mathbf{q}_2&=&\left(w_1,\mathbf{V_1}\right)\left(w_2,\mathbf{V_2}\right) \\&=&(w_1+x_1\mathbf{i}+y_1\mathbf{j}+z_1\mathbf{k})(w_2+x_2\mathbf{i}+y_2\mathbf{j}+z_2\mathbf{k}) \\&=&w_1w_2+w_1x_2\mathbf{i}+w_1y_2\mathbf{j}+w_1z_2\mathbf{k} \\&&+x_1\mathbf{i}w_2+x_1\mathbf{i}x_2\mathbf{i}+x_1\mathbf{i}y_2\mathbf{j}+x_1\mathbf{i}z_2\mathbf{k} \\&&+y_1\mathbf{j}w_2+y_1\mathbf{j}x_2\mathbf{i}+y_1\mathbf{j}y_2\mathbf{j}+y_1\mathbf{j}z_2\mathbf{k} \\&&+z_1\mathbf{k}w_2+z_1\mathbf{k}x_2\mathbf{i}+z_1\mathbf{k}y_2\mathbf{j}+z_1\mathbf{k}z_2\mathbf{k} \\&=&w_1w_2+w_1x_2\mathbf{i}+w_1y_2\mathbf{j}+w_1z_2\mathbf{k} \\&&+x_1w_2\mathbf{i}+x_1x_2\mathbf{i}^2+x_1y_2\mathbf{i}\mathbf{j}+x_1z_2\mathbf{i}\mathbf{k} \\&&+y_1w_2\mathbf{j}+y_1x_2\mathbf{j}\mathbf{i}+y_1y_2\mathbf{j}^2+y_1z_2\mathbf{j}\mathbf{k} \\&&+z_1w_2\mathbf{k}+z_1x_2\mathbf{k}\mathbf{i}+z_1y_2\mathbf{k}\mathbf{j}+z_1z_2\mathbf{k}^2 \\&=&w_1w_2+w_1x_2\mathbf{i}+w_1y_2\mathbf{j}+w_1z_2\mathbf{k} \\&&+x_1w_2\mathbf{i}+x_1x_2(-1)+x_1y_2(\mathbf{k})+x_1z_2(\mathbf{-j}) \\&&+y_1w_2\mathbf{j}+y_1x_2(-\mathbf{k})+y_1y_2(-1)+y_1z_2(\mathbf{i}) \\&&+z_1w_2\mathbf{k}+z_1x_2(\mathbf{j})+z_1y_2(-\mathbf{i})+z_1z_2(-1) \\&&\;\cdots\;\mathbf{i}^2=\mathbf{j}^2=\mathbf{k}^2=-1 ,\;\mathbf{i}\mathbf{j}=-\mathbf{j}\mathbf{i}=\mathbf{k} ,\;\mathbf{k}\mathbf{i}=-\mathbf{i}\mathbf{k}=\mathbf{j} ,\;\mathbf{j}\mathbf{k}=-\mathbf{k}\mathbf{j}=\mathbf{i} \\&=&(w_1w_2-x_1x_2-y_1y_2-z_1z_2) \\&&+(w_1x_2+x_1w_2+y_1z_2-z_1y_2)\mathbf{i} \\&&+(w_1y_2-x_1z_2+y_1w_2+z_1x_2)\mathbf{j} \\&&+(w_1z_2+x_1y_2-y_1x_2+z_1w_2)\mathbf{k} \\&=&(w_1w_2-x_1x_2-y_1y_2-z_1z_2) \\&&+(w_1x_2+x_1w_2+y_1z_2-z_1y_2)\mathbf{i} \\&&+(w_1y_2+y_1w_2-x_1z_2+z_1x_2)\mathbf{j} \\&&+(w_1z_2+z_1w_2+x_1y_2-y_1x_2)\mathbf{k} \\&=&\left(w_1w_2-\mathbf{V}_1\cdot\mathbf{V}_2,\;w_1\mathbf{V}_2+w_2\mathbf{V}_1+\mathbf{V}_1\times\mathbf{V}_2\right) \end{eqnarray} $$位置ベクトルを任意の回転軸周りで回転させる計算
点\(P\)の位置ベクトル\(\mathbf{V_p}\)を任意の回転軸(単位ベクトル\(\mathbf{V}\))周りで\(\theta\)だけ回転させる変換
$$ \begin{eqnarray} 原点&&O \\ \overrightarrow{OP}&:&点Pの位置ベクトル\mathbf{V}_p \\ 回転軸&:&\mathbf{V}\left(単位ベクトル\left|\mathbf{V}\right|=1\right) \\ 回転量&:&\theta \\ \overrightarrow{OP'}&:&点Pを\mathbf{V}周りに\thetaだけ回転後の点P'の位置ベクトル \\ O'&:&点Pを\mathbf{V}周りに回した時にできる面(点P'もこの面に乗る)と\mathbf{V}の延長線の交点 \\&&(点Pから\mathbf{V}の延長線に垂線を下ろした時の交点) \end{eqnarray} $$
$$
\begin{eqnarray}
\overrightarrow{OO'}&=&
\left(\mathbf{V}\cdot\mathbf{V}_p\right)\mathbf{V}
\;\cdots\;\left(\left|\mathbf{V}\right|\left|\mathbf{V}_p\right|\cos{\left(\phi\right)}\right)\mathbf{V}
=\left(\left|\mathbf{V}_p\right|\cos{\left(\phi\right)}\right)\mathbf{V}\\
&&\;\phiは\mathbf{V}と\mathbf{V}_p(=\overrightarrow{OP})のなす角．また\overrightarrow{OO'}と\overrightarrow{O'P}は直角である．
\\
\overrightarrow{O'P}&=&\overrightarrow{OP}-\overrightarrow{OO'}\;\cdots\;\left(\overrightarrow{OP}=\overrightarrow{OO'}+\overrightarrow{O'P}\right)
\\
\left(\left|\overrightarrow{O'P'}\right|\cos\left(\theta\right)\right)\frac{\overrightarrow{O'P}}{\left|\overrightarrow{O'P}\right|}
&=&\cos\left(\theta\right)\overrightarrow{O'P}
\;\cdots\;\overrightarrow{O'P'}の\overrightarrow{O'P}方向成分
\\&=&\cos\left(\theta\right)\left(\overrightarrow{OP}-\overrightarrow{OO'}\right)
\\&=&\cos\left(\theta\right)\left(\mathbf{V}_p-\left(\mathbf{V}\cdot\mathbf{V}_p\right)\mathbf{V}\right)
\\
\mathbf{V}\times\mathbf{V}_p&:&\mathbf{V}と\mathbf{V}_pに直角の向きであり，外積のイメージではOから伸びるわけだが\\
&&ベクトルなので平行移動しても同じであるのでO'に移動させて考える．\overrightarrow{O'P}とも直角．
\\&&大きさは\left|\mathbf{V}\right|\left|\mathbf{V}_p\right|\sin\left(\phi\right)
=\left|\mathbf{V}_p\right|\sin\left(\phi\right)
=\left|\overrightarrow{O'P}\right|
=\left|\overrightarrow{O'P'}\right|となる，
\\
\left(\left|\overrightarrow{O'P'}\right|\cos\left(\frac{\pi}{2}-\theta\right)\right)\frac{\mathbf{V}\times\mathbf{V}_p}{\left|\mathbf{V}\times\mathbf{V}_p\right|}
&=&\left(\left|\overrightarrow{O'P'}\right|\sin\left(\theta\right)\right)\frac{\mathbf{V}\times\mathbf{V}_p}{\left|\overrightarrow{O'P'}\right|}
\;\cdots\;\overrightarrow{O'P'}の\mathbf{V}\times\mathbf{V}_p方向成分\\
\\&&\;\cdots\;\cos\left(\frac{\pi}{2}-\theta\right)
=\cos\left(\frac{\pi}{2}\right)\cos\left(\theta\right)-\sin\left(\frac{\pi}{2}\right)\sin\left(\theta\right)
=0\cos\left(\theta\right)-1\sin\left(\theta\right)
=\sin\left(\theta\right)
\\&=&\sin\left(\theta\right)\mathbf{V}\times\mathbf{V}_p
\\\overrightarrow{OP'}&=&\overrightarrow{OO'}+\overrightarrow{O'P'}\\
&=&\overrightarrow{OO'}+\cos\left(\theta\right)\overrightarrow{O'P}+\sin\left(\theta\right)\mathbf{V}\times\mathbf{V}_p\\
&=&\left(\mathbf{V}\cdot\mathbf{V}_p\right)\mathbf{V}
+\cos\left(\theta\right)\left(\mathbf{V}_p-(\mathbf{V}\cdot\mathbf{V}_p)\mathbf{V}\right)
+\sin\left(\theta\right)\mathbf{V}\times\mathbf{V}_p\\
\end{eqnarray}
$$
これは四元数において，元と逆元を左右から作用させる際の特殊な形と同様の計算となる．
1/6, 1/12, 1/30 公式
\(\frac{1}{6}\)公式
\(\href{https://shikitenkai.blogspot.com/2019/06/x.html}{x軸と二次凾数(x-\alpha)(x-\beta)で囲まれる面積(直線と二次凾数でも引き算すれば同様)}\)は 二次凾数の解(x軸との交点)を\(x=\alpha,\beta\)とした，\(p=1,q=1\)の第一種オイラー積分である．(X軸の下側にできる面積は負値で表される) $$ \begin{eqnarray} \int_\alpha^\beta(x-\alpha)(x-\beta) \mathrm{d}x &=&\int_\alpha^\beta(x-\alpha)^1(-1\;(\beta-x))^1 \mathrm{d}x\\ &=&-\frac{1!\;1!}{(1+1+1)!}(\beta-\alpha)^{(1+1+1)} \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_22.html}{\int_\alpha^\beta(x-\alpha)^p(\beta-x)^q \mathrm{d}x=\frac{p!\;q!}{(p+q+1)!}(\beta-\alpha)^{(p+q+1)}}\\ &=&-\frac{1!\;1!}{3!}(\beta-\alpha)^{3}\\ &=&-\frac{1}{6}(\beta-\alpha)^{3}\\ \end{eqnarray} $$ ( 積分として解いた記事 )
\(\frac{1}{12}\)公式
x軸とそれと接する三次凾数\((x-\alpha)(x-\beta)^2\)で囲まれる面積は三次凾数の解を\(x=\alpha,\beta\)(後者を重複側とする)とした， \(p=1,q=2\)の第一種オイラー積分である． $$ \begin{eqnarray} \int_\alpha^\beta(x-\alpha)(x-\beta)^2 \mathrm{d}x &=&\int_\alpha^\beta(x-\alpha)^1(-1\;(\beta-x))^2 \mathrm{d}x\\ &=&\frac{1!\;2!}{(1+2+1)!}(\beta-\alpha)^{(1+2+1)} \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_22.html}{\int_\alpha^\beta(x-\alpha)^p(\beta-x)^q \mathrm{d}x=\frac{p!\;q!}{(p+q+1)!}(\beta-\alpha)^{(p+q+1)}}\\ &=&\frac{1!\;2!}{4!}(\beta-\alpha)^{4}\\ &=&\frac{2}{24}(\beta-\alpha)^{4}\\ &=&\frac{1}{12}(\beta-\alpha)^{4}\\ \end{eqnarray} $$
\(\frac{1}{30}\)公式
x軸とそれと接する四次凾数\((x-\alpha)^2(x-\beta)^2\)で囲まれる面積は四次凾数の解を\(x=\alpha,\beta\)(両方を重複とする)とした， \(p=2,q=2\)の第一種オイラー積分である． $$ \begin{eqnarray} \int_\alpha^\beta(x-\alpha)^2(x-\beta)^2 \mathrm{d}x &=&\int_\alpha^\beta(x-\alpha)^2(-1\;(\beta-x))^2 \mathrm{d}x\\ &=&\frac{2!\;2!}{(2+2+1)!}(\beta-\alpha)^{(2+2+1)} \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_22.html}{\int_\alpha^\beta(x-\alpha)^p(\beta-x)^q \mathrm{d}x=\frac{p!\;q!}{(p+q+1)!}(\beta-\alpha)^{(p+q+1)}}\\ &=&\frac{2!\;2!}{5!}(\beta-\alpha)^{5}\\ &=&\frac{4}{120}(\beta-\alpha)^{5}\\ &=&\frac{1}{30}(\beta-\alpha)^{5}\\ \end{eqnarray} $$
\(\frac{1}{3}\)公式(?)
x軸と接する二次凾数\((x-\alpha)^2\)があり，それらと\(x=\beta\)で囲まれる面積は二次凾数の解を\(x=\alpha\)(重複)とした， \(p=2,q=0\)の第一種オイラー積分である． $$ \begin{eqnarray} \int_\alpha^\beta(x-\alpha)^2(x-\beta)^0 \mathrm{d}x &=&\int_\alpha^\beta(x-\alpha)^2(-1\;(\beta-x))^0 \mathrm{d}x\\ &=&\frac{2!\;0!}{(2+0+1)!}(\beta-\alpha)^{(2+0+1)} \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_22.html}{\int_\alpha^\beta(x-\alpha)^p(\beta-x)^q \mathrm{d}x=\frac{p!\;q!}{(p+q+1)!}(\beta-\alpha)^{(p+q+1)}}\\ &=&\frac{2!\;0!}{3!}(\beta-\alpha)^{3}\\ &=&\frac{2}{6}(\beta-\alpha)^{3}\\ &=&\frac{1}{3}(\beta-\alpha)^{3}\\ \end{eqnarray} $$ これは\((x-\alpha)^2\)の\(\alpha\)から\(\beta\)までの積分結果と同様になっている． $$ \begin{eqnarray} \int_\alpha^\beta (x-\alpha)^2 \mathrm{d}x &=&\left[\frac{1}{3}(x-\alpha)^3\right]_\alpha^\beta\\ &=&\left[\frac{1}{3}(\beta-\alpha)^3-\frac{1}{3}(\alpha-\alpha)^3\right]\\ &=&\left[\frac{1}{3}(\beta-\alpha)^3-0\right]\\ &=&\frac{1}{3}(\beta-\alpha)^3\\ \end{eqnarray} $$
第一種オイラー積分 / ベータ凾数
第一種オイラー積分 / ベータ凾数
\(p,q\geq0\)の整数の元で以下の式を第一種オイラー積分という． $$ \begin{eqnarray} \int_\alpha^\beta(x-\alpha)^p(\beta-x)^q \mathrm{d}x \end{eqnarray} $$ 部分積分を一回適用すると以下のように\(p+1\),\(q-1\)の第一種オイラー積分がでてくる． $$ \begin{eqnarray} \int_\alpha^\beta(x-\alpha)^p(\beta-x)^q \mathrm{d}x &=&\int_\alpha^\beta\left[\frac{\mathrm{d}}{\mathrm{d}x}\left\{\frac{1}{p+1}(x-\alpha)^{(p+1)}\right\}\right](\beta-x)^q \mathrm{d}x \;\cdots\;\frac{\mathrm{d}}{\mathrm{d}x}\left\{\frac{1}{p+1}(x-\alpha)^{(p+1)}\right\}=(x-\alpha)^p\\ &=&\left[\frac{1}{p+1}(x-\alpha)^{(p+1)}(\beta-x)^q \right]_\alpha^\beta -\int_\alpha^\beta\frac{1}{p+1}(x-\alpha)^{(p+1)}\left\{q(\beta-x)^{(q-1)}(-1)\right\} \mathrm{d}x \;\cdots\;\int f'g\;\mathrm{d}x= fg - \int fg' \mathrm{d}x\\ &=&0-\int_\alpha^\beta\frac{-q}{p+1}(x-\alpha)^{(p+1)}(\beta-x)^{(q-1)} \mathrm{d}x \;\cdots\;(\alpha-\alpha)=0, (\beta-\beta)=0\\ &=&\frac{q}{p+1}\int_\alpha^\beta(x-\alpha)^{(p+1)}(\beta-x)^{(q-1)} \mathrm{d}x\\ \end{eqnarray} $$ 第一種オイラー積分の乗数\(p,q\)に着目し元の式を\(I_{p,q}\),部分積分によって出てきた積分を\(I_{p+1,q-1}\)と表すと以下の様になる． $$ \begin{eqnarray} I_{p,q}&=&\frac{q}{p+1}I_{p+1,q-1} \;\cdots\;I_{a,b}=\int_\alpha^\beta(x-\alpha)^a(\beta-x)^b \mathrm{d}x\\ &=&\frac{q}{p+1}\frac{q-1}{p+2}I_{p+2,q-2}\\ &=&\frac{q}{p+1}\frac{q-1}{p+2}\cdots \frac{2}{p+(q-1)}\frac{1}{p+q}I_{p+q,0}\\ I_{p+q,0} &=&\int_\alpha^\beta(x-\alpha)^{(p+q)}(\beta-x)^0 \mathrm{d}x\\ &=&\int_\alpha^\beta(x-\alpha)^{(p+q)} \mathrm{d}x\\ &=&\left[\frac{1}{p+q+1}(x-\alpha)^{\left\{(p+q)+1\right\}}\right]_\alpha^\beta\\ &=&\frac{1}{p+q+1}(\beta-\alpha)^{(p+q+1)}\\ &=&\frac{(\beta-\alpha)^{(p+q+1)}}{p+q+1}\\ I_{p,q} &=&\frac{q}{p+1}\frac{q-1}{p+2}\cdots \frac{2}{p+q-1}\frac{1}{p+q}\frac{(\beta-\alpha)^{(p+q+1)}}{p+q+1}\\ &=&\frac{q(q-1)\cdots 2\;1}{(p+1)(p+2)\cdots (p+q-1)(p+q)(p+q+1)}(\beta-\alpha)^{(p+q+1)}\\ &=&\frac{q!}{\frac{(p+q+1)!}{p!}}(\beta-\alpha)^{(p+q+1)}\\ &=&\frac{p!\;q!}{(p+q+1)!}(\beta-\alpha)^{(p+q+1)}\\ \end{eqnarray} $$ 特に\(\alpha=0,\beta=1\)の時 $$ \begin{eqnarray} \int_\alpha^\beta(x-\alpha)^p(\beta-x)^q \mathrm{d}x &=&\int_0^1(x-0)^p(1-x)^q \mathrm{d}x\\ &=&\int_0^1x^p(1-x)^q \mathrm{d}x\\ &=&\frac{p!\;q!}{(p+q+1)!}(1-0)^{(p+q+1)} \;\cdots\;\href{}{\int_\alpha^\beta(x-\alpha)^p(\beta-x)^q \mathrm{d}x=\frac{p!\;q!}{(p+q+1)!}(\beta-\alpha)^{(p+q+1)}}\\ &=&\frac{p!\;q!}{(p+q+1)!}\\ \end{eqnarray} $$ 特に\(\alpha=0,\beta=1,p=m-1,q=n-1\)の時 $$ \begin{eqnarray} \int_\alpha^\beta(x-\alpha)^p(\beta-x)^q \mathrm{d}x &=&\int_0^1x^{(m-1)}(1-x)^{(n-1)} \mathrm{d}x\\ &=&\frac{(m-1)!\;(n-1)!}{((m-1)+(n-1)+1)!} \;\cdots\;\href{}{\int_0^1x^p(1-x)^q \mathrm{d}x=\frac{p!\;q!}{(p+q+1)!}}\\ &=&\frac{(m-1)!\;(n-1)!}{(m+n-1)!}\\ &=&\frac{\Gamma(m)\;\Gamma(n)}{\Gamma(m+n)}\;\cdots\;\Gamma(a)=(a-1)!\\ &=&B(m,n)\;\cdots\;ベータ凾数\\ \end{eqnarray} $$ 逆を言えば上記積分の値を1にしたい時はベータ凾数で割れば(逆数を掛ければ)よい(確率密度凾数との関係性)． $$ \begin{eqnarray} \frac{1}{B(m,n)}\int_0^1x^{(m-1)}(1-x)^{(n-1)} \mathrm{d}x&=&1\\ f(x;m,n)&=&\frac{x^{(m-1)}(1-x)^{(n-1)}}{B(m,n)}\;\cdots\;ベータ分布\\ \end{eqnarray} $$n回の事象が発生するまでの間隔の確率密度分布 (ガンマ分布)
\(n\)回の事象が発生するまでの間隔(時間)の確率\(Y_n\)について考える．
$$
\begin{eqnarray}
F_n(t)
&=&P(Y_n\leq t)
\;\cdots\;F_nをY_nの累積分布凾数(cumulative\;distribution\;function, CDF)とする．(少なくともtまでにn回の事象が発生している)\\
&=&P(X_t\geq n)
\;\cdots\;n回以上の事象が発生するのが時刻t以降になる確率とも言える\\
&=&\sum_{x=n}^\infty P_o(x;\lambda t)
\;\cdots\;事象の発生回数の確率を\lambda tをパラメータとするポアソン分布とする．ポアソン分布: P_o(x;\lambda)= \mathrm{e}^{-\lambda} \frac{\left(\lambda\right)^x}{x!}\\
&=&\sum_{x=n}^\infty\mathrm{e}^{-\lambda t} \frac{\left(\lambda t\right)^x}{x!}\;\cdots\;ポアソン分布は期間内で何回起こるか？の確率分布(指数分布は次の発生までの期間の確率分布)\\
&=&1-\sum_{x=0}^{n-1}\mathrm{e}^{-\lambda t} \frac{\left(\lambda t\right)^x}{x!}
\;\cdots\;時刻tまでにn回未満の事象しか発生しない場合の余事象\\
&=&1-\mathrm{e}^{-\lambda t}\left\{
\frac{\left(\lambda t\right)^0}{0!}
+ \frac{\left(\lambda t\right)^1}{1!}
+ \frac{\left(\lambda t\right)^2}{2!}
+ \dots
+ \frac{\left(\lambda t\right)^\left(n-2\right)}{\left(n-2\right)!}
+ \frac{\left(\lambda t\right)^\left(n-1\right)}{\left(n-1\right)!}
\right\}\\
&=&1-\mathrm{e}^{-\lambda t}A
\;\cdots\;A=\left\{
\frac{\left(\lambda t\right)^0}{0!}
+ \frac{\left(\lambda t\right)^1}{1!}
+ \frac{\left(\lambda t\right)^2}{2!}
+ \dots
+ \frac{\left(\lambda t\right)^\left(n-2\right)}{\left(n-2\right)!}
+ \frac{\left(\lambda t\right)^\left(n-1\right)}{\left(n-1\right)!}
\right\}\\
Y_n=\frac{\partial F_n(t)}{\partial t}
&=&0-\left[(\mathrm{e}^{-\lambda t})'A
+\mathrm{e}^{-\lambda t}(A)'
\right]
\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/02/blog-post.html}{(fg)'=f'g+fg'}
\;\cdots\;累積分布凾数の微分は確率密度凾数(probability\;density\;function、PDF)\\
(\mathrm{e}^{-\lambda t})'A
&=&\mathrm{e}^{-\lambda t}(-\lambda)A\\
&=&\mathrm{e}^{-\lambda t}(-\lambda)\left\{
\frac{\left(\lambda t\right)^0}{0!}
+ \frac{\left(\lambda t\right)^1}{1!}
+ \frac{\left(\lambda t\right)^2}{2!}
+ \dots
+ \frac{\left(\lambda t\right)^\left(n-2\right)}{\left(n-2\right)!}
+ \frac{\left(\lambda t\right)^\left(n-1\right)}{\left(n-1\right)!}
\right\}\\
&=&\mathrm{e}^{-\lambda t}\left\{
- \frac{\lambda}{0!}
- \frac{\lambda^2 t}{1!}
- \frac{\lambda^3 t^2}{2!}
- \dots
- \frac{\lambda^\left(n-1\right) t^\left(n-2\right)}{\left(n-2\right)!}
- \frac{\lambda^n t^\left(n-1\right)}{\left(n-1\right)!}
\right\}\\
\\
\mathrm{e}^{-\lambda t}(A)'
&=&\mathrm{e}^{-\lambda t}\left(\left\{
\frac{\left(\lambda t\right)^0}{0!}
+ \frac{\left(\lambda t\right)^1}{1!}
+ \frac{\left(\lambda t\right)^2}{2!}
+ \dots
+ \frac{\left(\lambda t\right)^\left(n-2\right)}{\left(n-2\right)!}
+ \frac{\left(\lambda t\right)^\left(n-1\right)}{\left(n-1\right)!}
\right\}\right)'\\
&=&\mathrm{e}^{-\lambda t}\left\{
\left(\frac{1}{0!}\right)'
+ \left(\frac{\lambda t}{1!}\right)'
+ \left(\frac{\lambda^2 t^2}{2!}\right)'
+ \dots
+ \left(\frac{\lambda^\left(n-2\right) t^\left(n-2\right)}{\left(n-2\right)!}\right)'
+ \left(\frac{\lambda^\left(n-1\right) t^\left(n-1\right)}{\left(n-1\right)!}\right)'
\right\}\\
&=&\mathrm{e}^{-\lambda t}\left\{
0
+ \frac{\lambda}{1!}
+ \frac{2\lambda^2 t}{2!}
+ \dots
+ \frac{(n-2)\lambda^{(n-2)} t^\left(n-3\right)}{\left(n-2\right)!}
+ \frac{(n-1)\lambda^{(n-1)} t^\left(n-2\right)}{\left(n-1\right)!}
\right\}\\
&=&\mathrm{e}^{-\lambda t}\left\{
\frac{\lambda}{1!}
+ \frac{\lambda^2 t}{1!}
+ \dots
+ \frac{\lambda^{(n-2)} t^\left(n-3\right)}{\left(n-3\right)!}
+ \frac{\lambda^{(n-1)} t^\left(n-2\right)}{\left(n-2\right)!}
\right\}
\;\cdots\;\frac{n}{n!}=\frac{n}{n\times(n-1)\times\dots\times 1}=\frac{1}{(n-1)\times\dots\times 1}=\frac{1}{(n-1)!}\\
(\mathrm{e}^{-\lambda t})'A+\mathrm{e}^{-\lambda t}(A)'
&=&\mathrm{e}^{-\lambda t}\left\{
- \frac{\lambda^1}{0!}
- \frac{\lambda^2 t}{1!}
- \frac{\lambda^3 t^2}{2!}
- \dots
- \frac{\lambda^\left(n-1\right) t^\left(n-2\right)}{\left(n-2\right)!}
- \frac{\lambda^n t^\left(n-1\right)}{\left(n-1\right)!}
\right\}
+ \mathrm{e}^{-\lambda t}\left\{
\frac{\lambda}{1!}
+ \frac{\lambda^2 t}{1!}
+ \dots
+ \frac{\lambda^{(n-2)} t^\left(n-3\right)}{\left(n-3\right)!}
+ \frac{\lambda^{(n-1)} t^\left(n-2\right)}{\left(n-2\right)!}
\right\}\\
&=&\mathrm{e}^{-\lambda t}\left\{
\left(- \frac{\lambda}{0!}+ \frac{\lambda}{1!}\right)
+ \left(- \frac{\lambda^2 t}{1!}+ \frac{\lambda^2 t}{1!}\right)
+ \dots
+ \left(- \frac{\lambda^\left(n-1\right) t^\left(n-2\right)}{\left(n-2\right)!}+ \frac{\lambda^{(n-1)} t^\left(n-2\right)}{\left(n-2\right)!}\right)
- \frac{\lambda^n t^\left(n-1\right)}{\left(n-1\right)!}
\right\}\\
&=&\mathrm{e}^{-\lambda t}\left\{
- \frac{\lambda^n t^\left(n-1\right)}{\left(n-1\right)!}
\right\}\\
Y_n=\frac{\partial F_n(t)}{\partial t}
&=&-\left[(\mathrm{e}^{-\lambda t})'A
+\mathrm{e}^{-\lambda t}(A)'
\right]\\
&=&-\left[\mathrm{e}^{-\lambda t}\left\{
- \frac{\lambda^n t^\left(n-1\right)}{\left(n-1\right)!}
\right\}\right]\\
&=&\mathrm{e}^{-\lambda t}\frac{\lambda^n t^\left(n-1\right)}{\left(n-1\right)!}\\
&=&\mathrm{e}^{-\beta t}\frac{\beta^\alpha t^\left(\alpha-1\right)}{\left(\alpha-1\right)!}
\;\cdots\;\alpha=n, \beta=\lambdaとする.\\
&=&\frac{\mathrm{e}^{-\beta t}}{\left(\alpha-1\right)!}\beta^\alpha t^\left(\alpha-1\right)\\
&=&\frac{\mathrm{e}^{-\beta t}}{\Gamma(\alpha)}\beta^\alpha t^\left(\alpha-1\right)
\;\cdots\;ガンマ分布, \Gamma(n)=(n-1)!\\
\end{eqnarray}
$$
\(\alpha=1\)の時，指数分布となる(事象と事象の間隔の確率分布)．
$$
\begin{eqnarray}
\frac{\mathrm{e}^{-\beta t}}{\Gamma(\alpha)}\beta^\alpha t^\left(\alpha-1\right)
&=&\frac{\mathrm{e}^{-\beta t}}{\Gamma(1)}\beta^1 t^\left(1-1\right)\;\cdots\;\alpha=1\\
&=&\frac{\mathrm{e}^{-\beta t}}{1}\beta t^\left(0\right)\;\cdots\;\Gamma(n)=(n-1)!,\Gamma(1)=(1-1)!=0!=1\\
&=&\mathrm{e}^{-\beta t}\beta\;\cdots\;t^0=1\\
&=&\href{https://shikitenkai.blogspot.com/2020/05/blog-post_0.html}{\lambda\mathrm{e}^{-\lambda t}}\;\cdots\;\beta=\lambda\\
\end{eqnarray}
$$
事象の発生する回数についての確率密度分布 (ポアソン分布)
単位時間当たりの事象の発生確率を\(\lambda\)とし，t時間の間にk回事象が発生する確率を考える．
tまでをn等分した時間を\(\Delta t=\frac{t}{n}\)として二項分布により以下のように表すことができる．
$$
\begin{eqnarray}
p(k;\lambda,\Delta t)&=&
_nC_k
\left(\lambda\Delta t\right)^k
\left(1-\left(\lambda\Delta t\right)\right)^{\left(n-k\right)}\\
\end{eqnarray}
$$
二項分布からポアソン分布を導いた時と同様に\(\lambda\)を\(\lambda \Delta t\)として計算を進めると以下のようになる．
$$
\begin{eqnarray}
p(k;\lambda,\Delta t)
&=&_nC_k\left(\lambda\Delta t\right)^k\left(1-\left(\lambda\Delta t\right)\right)^{\left(n-k\right)}\\
&=&\frac{n!}{k!(n-k)!}\left(\lambda\Delta t\right)^k\left(1-\left(\lambda\Delta t\right)\right)^{\left(n-k\right)}\\
&=&\frac{1}{k!}\left\{n(n-1)\cdots(n-k+1)\right\}\left(\lambda\Delta t\right)^k\left(1-\left(\lambda\Delta t\right)\right)^{\left(n-k\right)}\\
&=&\frac{1}{k!}\left\{1(1-\frac{1}{n})\cdots(1-\frac{k-1}{n})\;n^k\right\}\left(\lambda\Delta t\right)^k\left(1-\left(\lambda\Delta t\right)\right)^{\left(n-k\right)}\\
&=&\frac{1}{k!}\left\{1(1-\frac{1}{n})\cdots(1-\frac{k-1}{n})\right\}\left(n\lambda\Delta t\right)^k\left(1-\left(\lambda\Delta t\right)\right)^{\left(n-k\right)}\\
&=&\frac{1}{k!}\left\{1(1-\frac{1}{n})\cdots(1-\frac{k-1}{n})\right\}\left(n\lambda\frac{t}{n}\right)^k\left(1-\left(\lambda\frac{t}{n}\right)\right)^{n}\left(1-\left(\lambda\frac{t}{n}\right)\right)^{-k}
\;\cdots\;\Delta t=\frac{t}{n}\\
&=&\frac{1}{k!}\left\{1(1-\frac{1}{n})\cdots(1-\frac{k-1}{n})\right\}\left(\lambda t\right)^k\left(1-\left(\frac{\lambda t}{n}\right)\right)^{n}\left(1-\left(\frac{\lambda t}{n}\right)\right)^{-k}\\
&=&\frac{1}{k!}\left\{1(1-\frac{1}{n})\cdots(1-\frac{k-1}{n})\right\}\left(\lambda t\right)^k
\left(1+\frac{1}{\frac{-n}{\lambda t}}\right)^{n}
\left(1-\left(\frac{\lambda t}{n}\right)\right)^{-k}
\\
&=&\frac{1}{k!}\left\{1(1-\frac{1}{n})\cdots(1-\frac{k-1}{n})\right\}\left(\lambda t\right)^k
\left\{\left(1+\frac{1}{\frac{-n}{\lambda t}}\right)^{\frac{-n}{\lambda t}\frac{-\lambda t}{n}}\right\}^{n}
\left(1-\left(\frac{\lambda t}{n}\right)\right)^{-k}
\\
&=&\frac{1}{k!}\left\{1(1-\frac{1}{n})\cdots(1-\frac{k-1}{n})\right\}\left(\lambda t\right)^k
\left\{\left(1+\frac{1}{\frac{-n}{\lambda t}}\right)^{\frac{-n}{\lambda t}}\right\}^ {\frac{-\lambda t}{n}n}
\left(1-\left(\frac{\lambda t}{n}\right)\right)^{-k}
\\
&=&\frac{1}{k!}\left\{1(1-\frac{1}{n})\cdots(1-\frac{k-1}{n})\right\}\left(\lambda t\right)^k
\left\{\left(1+\frac{1}{\frac{-n}{\lambda t}}\right)^{\frac{-n}{\lambda t}}\right\}^ {-\lambda t}
\left(1-\left(\frac{\lambda t}{n}\right)\right)^{-k}
\\
\end{eqnarray}
$$
ここでnを\(\infty\)に極限をとるとnを分母にもつ分数は0へ収束することや，収束数列によるネイピア数の定義により以下のようになる．
$$
\begin{eqnarray}
&&\lim_{n\to\infty}\frac{1}{k!}\left\{1(1-\frac{1}{n})\cdots(1-\frac{k-1}{n})\right\}\left(\lambda t\right)^k
\left\{\left(1+\frac{1}{\frac{-n}{\lambda t}}\right)^{\frac{-n}{\lambda t}}\right\}^ {-\lambda t}
\left(1-\left(\frac{\lambda t}{n}\right)\right)^{-k}\\
&=&\frac{1}{k!}\left\{1(1-0)\cdots(1-0)\right\}\left(\lambda t\right)^k
\mathrm{e}^{-\lambda t}
\left(1-0\right)^{-k}\\
&=&\frac{1}{k!}\left(\lambda t\right)^k\mathrm{e}^{-\lambda t}\\
&=&\frac{\left(\lambda t\right)^k}{k!}\mathrm{e}^{-\lambda t}\\
\end{eqnarray}
$$
事象の発生する間隔についての確率密度分布 (指数分布)
ある事象が起こってから次の事象が起きるまでの時間をTとする．
事象が起こってからt時間までに次の事象が起きる確率は，tまでをn等分した時間を\(\Delta t=\frac{t}{n}\)として，
“事象が\((k-1)\)回の\(\Delta t\)の間に発生しなかったのち次の\(k\)回目の\(\Delta t\)の間に発生する確率”の\(k=1\)から\(n\)までの和によって以下のように表すことができる
(独立同分布の和によって決まる過程，単位時間当たりの事象の発生確率(個々の分布)を\(\lambda\)とする)．
$$
\begin{eqnarray}
P(T\leq t)
&=&\lambda \Delta t
+ (1-\lambda \Delta t )\Delta t
+ (1-\lambda \Delta t )^2\Delta t
+ \cdots
+ (1-\lambda \Delta t )^{(n-1)}\Delta t\\
&=&\sum_{k=1}^n (\lambda \Delta t)(1-\lambda \Delta t )^{k-1}\\
\lambda\Delta t&&\Delta tの間に発生する確率\\
(1-\lambda \Delta t )\lambda\Delta t&&最初の\Delta t間に発生せず，次の\Delta tの間に発生する確率\\
(1-\lambda \Delta t )^2\lambda\Delta t&&2回の\Delta t間に発生せず，次の\Delta tの間に発生する確率\\
(1-\lambda \Delta t )^{n-1}\lambda\Delta t&&n-1回の\Delta t間に発生せず，次の\Delta tの間に発生する確率\\
\end{eqnarray}
$$
初項を\(\lambda \Delta t\)，公比を\((1-\lambda \Delta t )\)とする等比級数として上式は以下のようになる．
$$
\begin{eqnarray}
P(T\leq t)
&=&\lambda \Delta t
+ (1-\lambda \Delta t )\Delta t
+ (1-\lambda \Delta t )^2\Delta t
+ \cdots
+ (1-\lambda \Delta t )^{(n-1)}\Delta t\\
&=&\lambda \Delta t\frac{1-(1-\lambda \Delta t )^n}{1-(1-\lambda \Delta t )}
\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_17.html}{\sum_{k=1}^{n}ar^{(k-1)}=\frac{a\left(1-r^n\right)}{1-r}}\\
&=&1-\left(1-\lambda \Delta t \right)^n\\
&=&1-\left(1-\lambda \frac{t}{n} \right)^n\;\cdots\;\Delta t=\frac{t}{n}\\
&=&1-\left(1+\frac{1}{-\frac{n}{\lambda t}} \right)^n\\
&=&1-\left\{\left(1+\frac{1}{\frac{-n}{\lambda t}} \right)^{\frac{-n}{\lambda t}\frac{\lambda t}{-n}}\right\}^n\\
&=&1-\left\{\left(1+\frac{1}{\frac{-n}{\lambda t}} \right)^{\frac{-n}{\lambda t}}\right\}^{\frac{\lambda t}{-n} n}\\
&=&1-\left\{\left(1+\frac{1}{\frac{-n}{\lambda t}} \right)^{\frac{-n}{\lambda t}}\right\}^{-\lambda t}
\end{eqnarray}
$$
ここでnを\(\infty\)に極限をとると収束数列によるネイピア数の定義より以下のようになる．
$$
\begin{eqnarray}
\lim_{n\to\infty} 1-\left\{\left(1+\frac{1}{\frac{-n}{\lambda t}} \right)^{\frac{-n}{\lambda t}}\right\}^{-\lambda t}
&=&1-\mathrm{e}^{-\lambda t}
\;\cdots\; \lim_{n\to+\infty} \left(1+\frac{1}{n}\right)^n=\mathrm{e}\\
\end{eqnarray}
$$
上式は時刻tまでの累積分布凾数\(F(t)\)となる．
累積分布凾数を微分することで確率密度凾数を得ることができる．
$$
\begin{eqnarray}
F(t)&=&1-\mathrm{e}^{-\lambda t}\\
f(t)
&=&\frac{\mathrm{d}F(t)}{\mathrm{d}{t}}\\
&=&0-\left(
-\lambda \mathrm{e}^{-\lambda t}
\right)\\
&=&\lambda \mathrm{e}^{-\lambda t}
\;\cdots\;指数分布
\end{eqnarray}
$$
等比級数 (等比数列の和)
初項を\(a\)，公比を\(r\)とする数列の和，級数は以下のようになる．
$$
\begin{eqnarray}
S_n&=&\sum_{k=1}^{n}ar^{(k-1)}&=&a+&ar+ar^2+ar^3+\cdots+ar^{n-1}&\\
rS_n&=&r\sum_{k=1}^{n}ar^{(k-1)}&=&&ar+ar^2+ar^3+\cdots+ar^{n-1}&+ar^n\\
S_n-rS_n&=&a-ar^n\\
\left(1-r\right)S_n&=&a\left(1-r^n\right)\\
S_n&=&\frac{a\left(1-r^n\right)}{1-r}
\end{eqnarray}
$$
フィボナッチ数列(Fibonacci numbers)の行列表現と一般項
フィボナッチ数列(Fibonacci numbers)の行列表現
フィボナッチ数列 $$ \begin{eqnarray} a_{n+1}=a_{n}+a_{n-1}\;\cdots\;ただしa_{1}=1,\;a_{2}=1\\ \end{eqnarray} $$ これを行列で表現すると以下となる． $$ \begin{eqnarray} \left( \begin{array}{cc} a_{n+1}\\ a_{n}\\ \end{array} \right) &=& \left[ \begin{array}{cc} 1 & 1 \\ 1 & 0 \\ \end{array} \right] \left( \begin{array}{cc} a_{n}\\ a_{n-1}\\ \end{array} \right)\\ \vec{a}_{(n+1),n} &=&\mathrm{A}\vec{a}_{n, (n-1)}\\ \end{eqnarray} $$フィボナッチ数列の一般項
\(\vec{a}_{n, (n-1)}\)を\(\mathrm{A}\)の固有ベクトル\(\vec{x}_{1,2}\)を用い表せれば， 上式は対応する固有値\(\lambda_{1,2}\)を用いて以下のように表すことができる． $$ \begin{eqnarray} \vec{a}_{(n+1),n} &=&\mathrm{A}\vec{a}_{n, (n-1)}\\ &=&\mathrm{A}\left(C_1\vec{x}_{1}+C_2\vec{x}_{2}\right) \;\cdots\;C_1,C_2は定数\\ &=&C_1\mathrm{A}\vec{x}_{1}+C_2\mathrm{A}\vec{x}_{2}\\ &=&C_1\lambda_1\vec{x}_{1}+C_2\lambda_2\vec{x}_{2} \;\cdots\;\mathrm{A}\vec{x}=\lambda \vec{x}\;\cdots\;固有値・固有ベクトルの定義\\ \end{eqnarray} $$ またこれを繰り返すことで一般項として以下のように表せることになる． $$ \begin{eqnarray} \vec{a}_{(n+1),n} &=&\mathrm{A}^n \vec{a}_{init}\;\cdots\;\vec{a}_{init}は固有ベクトルの和で表された初期条件を満たす定数C_1,C_2を含むベクトル\\ &=&\mathrm{A}^n\left(C_{\vec{a}_{init}1}\vec{x}_{1}+C_{\vec{a}_{init}2}\vec{x}_{2}\right)\\ &=&C_{\vec{a}_{init}1}\mathrm{A}^n\vec{x}_{1}+C_{\vec{a}_{init}2}\mathrm{A}^n\vec{x}_{2}\\ &=&C_{\vec{a}_{init}1}\lambda_1^n\vec{x}_{1}+C_{\vec{a}_{init}2}\lambda_2^n\vec{x}_{2}\\ \end{eqnarray} $$ そこでまず\(\mathrm{A}\)の固有値を求める． $$ \begin{eqnarray} |\mathrm{A}-\lambda \mathrm{E}|&=&0\\ \left|\left[ \begin{array}{cc} 1 & 1 \\ 1 & 0 \\ \end{array} \right] -\lambda \left[ \begin{array}{cc} 1 & 0 \\ 0 & 1 \\ \end{array} \right]\right| &=&\\ \left| \begin{array}{cc} 1-\lambda & 1 \\ 1 & -\lambda \\ \end{array} \right| &=&\\ (1-\lambda)(-\lambda)-1 &=&\\ \lambda^2-\lambda-1&=&\\ \lambda&=&\frac{-(-1)\pm\sqrt{(-1)^2-4\;(1)\;(-1)}}{2\;(1)}\\ &=&\frac{1\pm\sqrt{5}}{2}\\ \lambda_1,\lambda_2&=&\frac{1+\sqrt{5}}{2},\frac{1-\sqrt{5}}{2}\;\cdots\;ここでは\lambda_1\gt\lambda_2とする． \end{eqnarray} $$ \(\lambda_1\)に対応する固有値ベクトル\(\vec{x_1}\)を求める． $$ \begin{eqnarray} \left(\mathrm{A}-\lambda_1 \mathrm{E}\right)\vec{x_1}&=&\vec{0}\\ \left[ \begin{array}{cc} 1-\lambda_1 & 1 \\ 1 & -\lambda_1 \\ \end{array} \right] \left( \begin{array}{cc} x_{11}\\ x_{12}\\ \end{array} \right) &=&\left( \begin{array}{cc} 0\\ 0\\ \end{array} \right)\\ \left[ \begin{array}{cc} 1-\frac{1+\sqrt{5}}{2} & 1 \\ 1 & -\frac{1+\sqrt{5}}{2} \\ \end{array} \right] \left( \begin{array}{cc} x_{11}\\ x_{12}\\ \end{array} \right) &=&\left( \begin{array}{cc} 0\\ 0\\ \end{array} \right)\\ \left[ \begin{array}{cc} \frac{1-\sqrt{5}}{2} & 1 \\ 1 & -\frac{1+\sqrt{5}}{2} \\ \end{array} \right] \left( \begin{array}{cc} x_{11}\\ x_{12}\\ \end{array} \right) &=&\left( \begin{array}{cc} 0\\ 0\\ \end{array} \right)\\ \end{eqnarray} $$ $$ \left\{\begin{align} \frac{1-\sqrt{5}}{2}x_{11}+x_{12}&=&0\\ x_{11}-\frac{1+\sqrt{5}}{2}x_{12}&=&0\\ \end{align}\right.\\ $$ $$ \begin{eqnarray} x_{11}&=&\frac{1+\sqrt{5}}{2}x_{12}\\ \vec{x}_1&=&t\left( \begin{array}{cc} \frac{1+\sqrt{5}}{2}\\ 1\\ \end{array} \right)\;\cdots\;t:任意の実数\\ \end{eqnarray} $$ 同様に\(\lambda_2\)に対応する固有値ベクトル\(\vec{x_2}\)を求める． $$ \begin{eqnarray} \left(\mathrm{A}-\lambda_2 \mathrm{E}\right)\vec{x_2}&=&\vec{0}\\ \left[ \begin{array}{cc} 1-\lambda_2 & 1 \\ 1 & -\lambda_2 \\ \end{array} \right] \left( \begin{array}{cc} x_{21}\\ x_{22}\\ \end{array} \right) &=&\left( \begin{array}{cc} 0\\ 0\\ \end{array} \right)\\ \left[ \begin{array}{cc} 1-\frac{1-\sqrt{5}}{2} & 1 \\ 1 & -\frac{1-\sqrt{5}}{2} \\ \end{array} \right] \left( \begin{array}{cc} x_{21}\\ x_{22}\\ \end{array} \right) &=&\left( \begin{array}{cc} 0\\ 0\\ \end{array} \right)\\ \left[ \begin{array}{cc} \frac{1+\sqrt{5}}{2} & 1 \\ 1 & -\frac{1-\sqrt{5}}{2} \\ \end{array} \right] \left( \begin{array}{cc} x_{21}\\ x_{22}\\ \end{array} \right) &=&\left( \begin{array}{cc} 0\\ 0\\ \end{array} \right)\\ \end{eqnarray} $$ $$ \left\{\begin{align} \frac{1+\sqrt{5}}{2}x_{21}+x_{22}&=&0\\ x_{21}-\frac{1-\sqrt{5}}{2}x_{22}&=&0\\ \end{align}\right.\\ $$ $$ \begin{eqnarray} x_{21}&=&\frac{1-\sqrt{5}}{2}x_{22}\\ \vec{x}_2&=&t\left( \begin{array}{cc} \frac{1-\sqrt{5}}{2}\\ 1\\ \end{array} \right)\;\cdots\;t:任意の実数\\ \end{eqnarray} $$ よって前述の表現は以下のように書き換えられる． $$ \begin{eqnarray} \left( \begin{array}{cc} a_{n+1}\\ a_{n}\\ \end{array} \right) &=& C_{\vec{a}_{init}1}\lambda_1^n\vec{x}_1 +C_{\vec{a}_{init}2}\lambda_2^n\vec{x}_2\\ &=& C_{\vec{a}_{init}1}\left(\frac{1+\sqrt{5}}{2}\right)^n\left( \begin{array}{cc} \frac{1+\sqrt{5}}{2}\\ 1\\ \end{array} \right) +C_{\vec{a}_{init}2}\left(\frac{1-\sqrt{5}}{2}\right)^n\left( \begin{array}{cc} \frac{1-\sqrt{5}}{2}\\ 1\\ \end{array} \right)\\ \end{eqnarray} $$ \(n=1\)の時，\(a_n=a_1=1, a_{n+1}=a_{1+1}=a_2=1\)なので，ここから\(C_{\vec{a}_{init}1},C_{\vec{a}_{init}2}\)を求める． $$ \begin{eqnarray} C_{\vec{a}_{init}1}\left(\frac{1+\sqrt{5}}{2}\right)^1\left( \begin{array}{cc} \frac{1+\sqrt{5}}{2}\\ 1\\ \end{array} \right) +C_{\vec{a}_{init}2}\left(\frac{1-\sqrt{5}}{2}\right)^1\left( \begin{array}{cc} \frac{1-\sqrt{5}}{2}\\ 1\\ \end{array} \right) &=&\left( \begin{array}{cc} 1\\ 1\\ \end{array} \right)\\ \end{eqnarray} $$ 簡単のために以下のようにひとまず置き直す． $$ \begin{eqnarray} C_1&:&C_{\vec{a}_{init}1}\\ C_2&:&C_{\vec{a}_{init}2}\\ \alpha_1&:&\frac{1+\sqrt{5}}{2}\\ \alpha_2&:&\frac{1-\sqrt{5}}{2}\\ \end{eqnarray} $$ 上記で書き直す． $$ \begin{eqnarray} C_1\left(\lambda_1\right)^1\left( \begin{array}{cc} \alpha_1\\ 1\\ \end{array} \right) +C_2\left(\lambda_2\right)^1\left( \begin{array}{cc} \alpha_2\\ 1\\ \end{array} \right) =\left( \begin{array}{cc} 1\\ 1\\ \end{array} \right)\\ \end{eqnarray} $$ 行ごとに書き出すと以下のような連立方程式となる． $$ \left\{\begin{align} C_1\lambda_1\alpha_1+C_2\lambda_2\alpha_2&=&1\\ C_1\lambda_1+C_2\lambda_2&=&1 \end{align}\right.\\ $$ \(C_1\)について解く． $$ \begin{eqnarray} C_1\lambda_1\alpha_2+C_2\lambda_2\alpha_2&=&\alpha_2\;\cdots\;連立方程式の二つ目の式に\alpha_2を掛ける\\ \left(C_1\lambda_1\alpha_1+C_2\lambda_2\alpha_2\right)-\left(C_1\lambda_1\alpha_2+C_2\lambda_2\alpha_2\right) &=&\left(1\right)-\left(\alpha_2\right)\;\cdots\;連立方程式の一つ目の式より上式を引く\\ C_1\lambda_1\alpha_1-C_1\lambda_1\alpha_2&=&1-\alpha_2\\ C_1\lambda_1\left(\alpha_1-\alpha_2\right)&=&1-\alpha_2\\ C_1\lambda_1\left(\alpha_1-\alpha_2\right)&=&\alpha_1\;\cdots\;1-\alpha_2=1-\frac{1-\sqrt{5}}{2}=\frac{1+\sqrt{5}}{2}=\alpha_1\\ C_1&=&\frac{\alpha_1}{\lambda_1\left(\alpha_1-\alpha_2\right)}=\frac{\frac{1+\sqrt{5}}{2}}{\frac{1+\sqrt{5}}{2}\left(\frac{1+\sqrt{5}}{2}-\frac{1-\sqrt{5}}{2}\right)}\\ &=&\frac{1}{\frac{1+\sqrt{5}}{2}-\frac{1-\sqrt{5}}{2}}=\frac{1}{\frac{2\sqrt{5}}{2}}=\frac{1}{\sqrt{5}}\\ \end{eqnarray} $$ \(C_2\)について解く． $$ \begin{eqnarray} C_1\lambda_1\alpha_1+C_2\lambda_2\alpha_1&=&\alpha_1\;\cdots\;連立方程式の二つ目の式に\alpha_1を掛ける\\ \left(C_1\lambda_1\alpha_1+C_2\lambda_2\alpha_2\right)-\left(C_1\lambda_1\alpha_1+C_2\lambda_2\alpha_1\right) &=&\left(1\right)-\left(\alpha_1\right)\;\cdots\;連立方程式の一つ目の式より上式を引く\\ C_2\lambda_2\alpha_2-C_2\lambda_2\alpha_1&=&1-\alpha_1\\ C_2\lambda_2\left(\alpha_2-\alpha_1\right)&=&1-\alpha_1\\ C_2\lambda_2\left(\alpha_2-\alpha_1\right)&=&\alpha_2\;\cdots\;1-\alpha_1=1-\frac{1+\sqrt{5}}{2}=\frac{1-\sqrt{5}}{2}=\alpha_2\\ C_2&=&\frac{\alpha_2}{\lambda_2\left(\alpha_2-\alpha_1\right)}=\frac{\frac{1-\sqrt{5}}{2}}{\frac{1-\sqrt{5}}{2}\left(\frac{1-\sqrt{5}}{2}-\frac{1+\sqrt{5}}{2}\right)}\\ &=&\frac{1}{\frac{1-\sqrt{5}}{2}-\frac{1+\sqrt{5}}{2}}=\frac{1}{-\frac{2\sqrt{5}}{2}}=-\frac{1}{\sqrt{5}}\\ \end{eqnarray} $$ 以上よりフィボナッチ数列の一般項\(a_n\)は以下のように表すことができた． $$ \begin{eqnarray} a_n&=&C_1\lambda_1^n+C_2\lambda_2^n\\ &=&\frac{1}{\sqrt{5}}\left(\frac{1+\sqrt{5}}{2}\right)^n-\frac{1}{\sqrt{5}}\left(\frac{1-\sqrt{5}}{2}\right)^n\\ \end{eqnarray} $$ \(a_{n+1}\)側の式は以下のようになり, \(n+1\)を改めて\(n\)と置き直せば上式と同じになる． $$ \begin{eqnarray} a_{n+1}&=&C_1\lambda_1^n\alpha_1+C_2\lambda_2^n\alpha_2\\ &=&\frac{1}{\sqrt{5}}\left(\frac{1+\sqrt{5}}{2}\right)^n\frac{1+\sqrt{5}}{2}-\frac{1}{\sqrt{5}}\left(\frac{1-\sqrt{5}}{2}\right)^n\frac{1-\sqrt{5}}{2}\\ &=&\frac{1}{\sqrt{5}}\left(\frac{1+\sqrt{5}}{2}\right)^{n+1}-\frac{1}{\sqrt{5}}\left(\frac{1-\sqrt{5}}{2}\right)^{n+1}\\ \end{eqnarray} $$指数分布族モデル / 共役な事前分布 / 予測分布
指数分布族モデル
$$ \begin{eqnarray} q(x;\theta)&=&v(x)\exp(f(\theta) \cdot g(x))\\ \int_X q(x;\theta) \mathrm{d}x &=&\int_X v(x)\exp(f(\theta) \cdot g(x)) \mathrm{d}x\\ &=&1\;\cdots\;確率なのでこの条件を満たすようにv,f,gを用意する\\ \end{eqnarray} $$共役な事前分布
$$ \begin{eqnarray} \pi(\theta;\phi)&=&\frac{1}{z(\phi)}\exp(f(\theta) \cdot \phi)\\ \int_X \pi(\theta;\phi) \mathrm{d}x&=&\int_X \frac{1}{z(\phi)}\exp(f(\theta) \cdot \phi)\mathrm{d}x\\ &=&1\;\cdots\;確率なのでこの条件を満たすようにz,f,\phiを用意する\\ z(\phi)&=&\int_\Theta \exp(f(\theta) \cdot \phi) \mathrm{d}\theta\;\cdots\;むしろzは上記条件を満たすために用意される\\ \end{eqnarray} $$予測分布
$$ \begin{eqnarray} q(X_{n+1}|X^n) &=&\frac{1}{Z_n(\beta)} \int q(X_{n+1}|\theta)^{\beta} \;\prod_{i=1}^n \left\{q(X_i|\theta)^{\beta} \right\} \;\pi(\theta) \mathrm{d}\theta \\ &=&\frac{1}{Z_n(\beta)}\int_{\Theta}{ \pi(\theta) q(X_{n+1}|\theta)^\beta \displaystyle\prod_{i=1}^n{q(X_{i}|\theta)}^\beta \mathrm{d}\theta}\\ &=&\frac{1}{Z_n(\beta)}\int_{\Theta}{ \pi(\theta)\displaystyle\prod_{i=1}^{n+1}{q(X_{i}|\theta)^\beta }\mathrm{d}\theta} \;\dots\;\displaystyle\prod_{i=1}^{n+1}{q(X_{i}|\theta)^\beta}=q(X_{n+1}|\theta)^\beta\displaystyle\prod_{i=1}^n{q(X_{i}|\theta)^\beta}\\ &=&\frac{1}{Z_n(\beta)}Z_{n+1}(\beta)\;\dots\;Z_{n+1}(\beta)=\int_{\Theta}{\pi(\theta)\displaystyle\prod_{i=1}^{n+1}{q(X_{i}|\theta)^\beta}\mathrm{d}\theta}\\ &=&\frac{Z_{n+1}(\beta)}{Z_n(\beta)}\\ \end{eqnarray} $$分配凾数
$$ \begin{eqnarray} Z_n(\beta)&=&\int_\Theta \pi(\theta;\phi) \prod_{i=1}^n q(X_i;\theta)^{\beta} \mathrm{d}\theta\\ &=&\int_\Theta \pi(\theta;\phi) \prod_{i=1}^n \left[ v(X_i)\exp(f(\theta) \cdot g(X_i)) \right]^\beta \mathrm{d}\theta \;\cdots\;q(X_i;\theta)=v(X_i)\exp(f(\theta) \cdot g(X_i))\\ &=&\int_\Theta \left[ \frac{1}{z(\phi)}\exp(f(\theta) \cdot \phi) \right] \prod_{i=1}^n \left[ v(X_i)\exp(f(\theta) \cdot g(X_i)) \right]^\beta \mathrm{d}\theta \;\cdots\;\pi(\theta;\phi)=\frac{1}{z(\phi)}\exp(f(\theta) \cdot \phi)\\ &=&\frac{1}{z(\phi)} \int_\Theta \exp(f(\theta) \cdot \phi) \prod_{i=1}^n \left[ v(X_i)\exp(f(\theta) \cdot g(X_i)) \right]^\beta \mathrm{d}\theta \;\cdots\;\pi(\theta;\phi)=\frac{1}{z(\phi)}\exp(f(\theta) \cdot \phi)\\ &=&\frac{1}{z(\phi)} \int_\Theta \exp(f(\theta) \cdot \phi) \prod_{i=1}^n \left[ v(X_i)^\beta\exp(f(\theta) \cdot g(X_i))^\beta \right] \mathrm{d}\theta \;\cdots\;(ab)^c=a^c b^c\\ &=&\frac{1}{z(\phi)} \int_\Theta \exp(f(\theta) \cdot \phi) \left[ \prod_{i=1}^n v(X_i)^\beta \right] \left[ \prod_{i=1}^n \exp(f(\theta) \cdot g(X_i))^\beta \right] \mathrm{d}\theta \;\cdots\;\prod_{i=1}^nAB=\prod_{i=1}^nA\prod_{i=1}^nB\\ &=&\left[\prod_{i=1}^n v(X_i)^\beta\right] \frac{1}{z(\phi)} \int_\Theta \exp(f(\theta) \cdot \phi) \left[ \prod_{i=1}^n \exp\left( \beta \left\{ f\left(\theta\right) \cdot g\left(X_i\right) \right\} \right) \right] \mathrm{d}\theta \;\cdots\;\exp(A)^B=\exp(AB)\\ &=&\left[\prod_{i=1}^n v(X_i)^\beta\right] \frac{1}{z(\phi)} \int_\Theta \exp(f(\theta) \cdot \phi) \left[ \prod_{i=1}^n \exp\left( f\left(\theta\right) \cdot \beta g\left(X_i\right) \right) \right] \mathrm{d}\theta \;\cdots\;c(A\cdot B)= A\cdot cB \;(c:定数)\\ &=&\left[\prod_{i=1}^n v(X_i)^\beta\right] \frac{1}{z(\phi)} \int_\Theta \exp\left(f(\theta) \cdot \phi + \sum_{i=1}^n f\left(\theta\right) \cdot \beta g\left(X_i\right) \right) \mathrm{d}\theta \;\cdots\;\exp(A)\exp(B)=\exp(A+B)\\ &=&\left[\prod_{i=1}^n v(X_i)^\beta\right] \frac{1}{z(\phi)} \int_\Theta \exp\left(f(\theta) \cdot \phi + f\left(\theta\right) \cdot \sum_{i=1}^n \beta g\left(X_i\right) \right) \mathrm{d}\theta \;\cdots\;A\cdot B+A\cdot C=A\cdot (B+C)\\ &=&\left[\prod_{i=1}^n v(X_i)^\beta\right] \frac{1}{z(\phi)} \int_\Theta \exp\left(f(\theta) \cdot \left\{\phi + \sum_{i=1}^n \beta g\left(X_i\right) \right\}\right) \mathrm{d}\theta \;\cdots\;A\cdot B+A\cdot C=A\cdot (B+C)\\ &=&\left[\prod_{i=1}^n v(X_i)^\beta\right] \frac{1}{z(\phi)} \int_\Theta \exp\left(f(\theta) \cdot \hat{\phi}_{\beta}\right) \mathrm{d}\theta \;\cdots\;\hat{\phi}_{\beta} = \phi + \sum_{i=1}^n \beta g\left(X_i\right)\\ &=&\left[\prod_{i=1}^n v(X_i)^\beta\right] \frac{1}{z(\phi)} z(\hat{\phi}_{\beta}) \;\cdots\;z(\hat{\phi}_{\beta})=\int_\Theta \exp(f(\theta) \cdot \hat{\phi}_{\beta}) \mathrm{d}\theta\\ &=& \left[\prod_{i=1}^n v(X_i)^\beta\right] \frac{z(\hat{\phi}_{\beta})}{z(\phi)} \\ \end{eqnarray} $$自由エネルギー
$$ \begin{eqnarray} F_n(\beta)&=&-\frac{1}{\beta}\log{Z_n(\beta)}\\ &=&-\frac{1}{\beta}\log\left(\left[\prod_{i=1}^n v(X_i)^\beta\right]\frac{z(\hat{\phi}_{\beta})}{z(\phi)}\right)\\ &=&-\frac{1}{\beta}\log\left(\left[\prod_{i=1}^n v(X_i)^\beta\right]\right) -\frac{1}{\beta}\log\left(\frac{z(\hat{\phi}_{\beta})}{z(\phi)}\right)\\ &=&-\frac{1}{\beta}\log\left(\left[v(X_1)^\beta v(X_2)^\beta \cdots v(X_n)^\beta\right]\right) -\frac{1}{\beta}\log\left(\frac{z(\hat{\phi}_{\beta})}{z(\phi)}\right)\\ &=&-\frac{1}{\beta}\log\left(\left[v(X_1)v(X_2)\cdots v(X_n)\right]^\beta\right) -\frac{1}{\beta}\log\left(\frac{z(\hat{\phi}_{\beta})}{z(\phi)}\right)\\ &=&-\frac{1}{\beta}\beta\log\left(\left[v(X_1)v(X_2)\cdots v(X_n)\right]\right) -\frac{1}{\beta}\log\left(\frac{z(\hat{\phi}_{\beta})}{z(\phi)}\right)\\ &=&-\log\left(\left[v(X_1)v(X_2)\cdots v(X_n)\right]\right) -\frac{1}{\beta}\log\left(\frac{z(\hat{\phi}_{\beta})}{z(\phi)}\right)\\ &=&-\sum_{i=1}^n \log{v(X_i)}-\frac{1}{\beta}\log\left(\frac{z(\hat{\phi}_{\beta})}{z(\phi)}\right)\\ \end{eqnarray} $$事後分布
$$ \begin{eqnarray} q(\theta;X^n)&=&\frac{1}{Z_n(\beta)}\pi(\theta;\phi)\prod_{i=1}^n q(X_i;\theta)^\beta\\ &=&\frac{1}{Z_n(\beta)}\left[\prod_{i=1}^n v(X_i)^\beta\right]\frac{1}{z(\phi)}\exp(f(\theta)\cdot \hat{\phi}_{\beta})\\ &=&\frac{1}{\left[\prod_{i=1}^n v(X_i)^\beta\right] \frac{z(\hat{\phi}_{\beta})}{z(\phi)} }\left[\prod_{i=1}^n v(X_i)^\beta\right]\frac{1}{z(\phi)}\exp(f(\theta)\cdot \hat{\phi}_{\beta}) \;\cdots\;Z_n(\beta)=\left[\prod_{i=1}^n v(X_i)^\beta\right]\frac{z(\hat{\phi}_{\beta})}{z(\phi)}\\ &=&\frac{1}{z(\hat{\phi}_{\beta})}\exp(f(\theta)\cdot \hat{\phi}_{\beta})\\ &=&\pi(\theta;\hat{\phi}_{\beta})\\ \end{eqnarray} $$上記事後分布で予測分布を書き直す
$$ \begin{eqnarray} q(x;X^n) &=&\int_\Theta q(x;\theta)^{\beta}q(\theta;X^n)\mathrm{d}\theta\;\cdots\;X^nから\thetaを，\thetaからxの推測確率(分布)を求める\\ &=&\int_\Theta q(x;\theta)^{\beta}\pi(\theta;\hat{\phi}_{\beta})\mathrm{d}\theta\;\cdots\;\hat{\phi}_{\beta}から\thetaを，\thetaからxの推測確率(分布)を求める\\ &=&\int_\Theta q(x;\theta)^{\beta}\frac{1}{z(\hat{\phi}_{\beta})}\exp(f(\theta)\cdot \hat{\phi}_{\beta})\mathrm{d}\theta\\ &=&\int_\Theta \left(v(x)\exp(f(\theta) \cdot g(x))\right)^{\beta}\frac{1}{z(\hat{\phi}_{\beta})}\exp(f(\theta)\cdot \hat{\phi}_{\beta})\mathrm{d}\theta\\ &=&v(x)^{\beta}\frac{1}{z(\hat{\phi}_{\beta})}\int \exp(f(\theta) \cdot g(x))^{\beta}\exp(f(\theta)\cdot \hat{\phi}_{\beta})\mathrm{d}\theta\\ &=&v(x)^{\beta}\frac{1}{z(\hat{\phi}_{\beta})}\int \exp(f(\theta) \cdot {\beta}g(x))\exp(f(\theta)\cdot \hat{\phi}_{\beta})\mathrm{d}\theta\\ &=&v(x)^{\beta}\frac{1}{z(\hat{\phi}_{\beta})}\int \exp(f(\theta) \cdot (\hat{\phi}_{\beta}+{\beta}g(x)))\mathrm{d}\theta\\ &=&v(x)^{\beta}\frac{1}{z(\hat{\phi}_{\beta})} z(\hat{\phi}_{\beta}+{\beta}g(x))\\ &=&v(x)^{\beta}\frac{z(\hat{\phi}_{\beta}+{\beta}g(x))}{z(\hat{\phi}_{\beta})}\\ &=&v(x)^{\beta}\frac{z(\phi+{\beta}g(X_1)+\cdots+{\beta}g(X_n)+{\beta}g(x))}{z(\phi+{\beta}g(X_1)+\cdots+{\beta}g(X_n))}\\ \end{eqnarray} $$尤度凾数の期待値の平均情報量(離散/標本からの)
尤度凾数の期待値の平均情報量(離散/標本からの)
$$ \begin{eqnarray} T_n &=&-\frac{1}{n}\sum^n_{i=1}\log\left(\; \mathrm{E}_\Theta\left[q(X;\theta)\right] \;\right) \;\cdots\;尤度凾数の期待値の平均情報量\\ &=&-\frac{1}{n}\sum^n_{i=1}\log\left(\; \mathrm{E}_\Theta\left[q(X;\theta_0)\exp\left(-f(X_i,\theta_0,\theta)\right)\right] \;\right) \;\cdots\;q(X;\theta)=q(X;\theta_0)\exp\left(-f(X_i,\theta_0,\theta)\right)\\ &=&-\frac{1}{n}\sum^n_{i=1}\log\left(\; q(X;\theta_0)\mathrm{E}_\Theta\left[\exp\left(-f(X_i,\theta_0,\theta)\right)\right] \;\right) \;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]\\ &=&-\frac{1}{n}\sum^n_{i=1}\left\{ \log\left(q(X;\theta_0)\right) +\log\left( \mathrm{E}_\Theta\left[\exp\left(-f(X_i,\theta_0,\theta)\right)\right] \right) \right\} \;\cdots\;\log(AB)=\log(A)+\log(B)\\ &=&-\frac{1}{n}\left\{\sum^n_{i=1}\log\left(q(X;\theta_0)\right) +\sum^n_{i=1}\log\left( \mathrm{E}_\Theta\left[\exp\left(-f(X_i,\theta_0,\theta)\right)\right] \right)\right\} \;\cdots\;\sum(A+B)=\sum A+\sum B\\ &=&-\frac{1}{n}\sum^n_{i=1}\log\left(q(X;\theta_0)\right) -\frac{1}{n}\sum^n_{i=1}\log\left( \mathrm{E}_\Theta\left[\exp\left(-f(X_i,\theta_0,\theta)\right)\right] \right)\\ &=&L_n(\theta_0) -\frac{1}{n}\sum^n_{i=1}\log\left( \mathrm{E}_\Theta\left[\exp\left(-f(X_i,\theta_0,\theta)\right)\right] \right) \;\cdots\;-\frac{1}{n}\sum^n_{i=1}\log\left(q(X;\theta_0)\right)=L_n(\theta_0)\\ &=&L_n(\theta_0)+T_n^{(0)} \;\cdots\;-\frac{1}{n}\sum^n_{i=1}\log\left( \mathrm{E}_\Theta\left[\exp\left(-f(X_i,\theta_0,\theta)\right)\right] \right)=T_n^{(0)}\\ \end{eqnarray} $$$$ \begin{eqnarray} T_n^{(0)} &=&-\frac{1}{n}\sum^n_{i=1}\log\left( \mathrm{E}_\Theta\left[\exp\left(-f(X_i,\theta_0,\theta)\right)\right] \right)\\ &=&-\frac{1}{n}\sum^n_{i=1}\log\left( \mathrm{E}_\Theta\left[\exp\left( -\log\frac{q(X_i;\theta_0)}{q(X_i;\theta)} \right)\right] \right)\\ &=&-\frac{1}{n}\sum^n_{i=1}\log\left( \mathrm{E}_\Theta\left[\exp\left( \log\frac{q(X_i;\theta)}{q(X_i;\theta_0)} \right)\right] \right)\\ &=&-\frac{1}{n}\sum^n_{i=1}\log\left( \mathrm{E}_\Theta\left[ \frac{q(X_i;\theta)}{q(X_i;\theta_0)} \right] \right)\\ &=&-\frac{1}{n}\sum^n_{i=1}\log\left( \frac{\mathrm{E}_\Theta\left[q(X_i;\theta)\right]}{q(X_i;\theta_0)} \right)\\ &=&\frac{1}{n}\sum^n_{i=1}-\log\left( \frac{\mathrm{E}_\Theta\left[q(X_i;\theta)\right]}{q(X_i;\theta_0)} \right)\\ &=&\frac{1}{n}\sum^n_{i=1}\log\left( \frac{q(X_i;\theta_0)}{\mathrm{E}_\Theta\left[q(X_i;\theta)\right]} \right)\\ \end{eqnarray} $$
尤度凾数の期待値の平均情報量(連続)
尤度凾数の期待値の平均情報量(連続)
$$ \begin{eqnarray} G_n &=&-\mathrm{E}_X\left[\log\left(\; \mathrm{E}_\Theta\left[q(X;\theta)\right] \;\right)\right] \;\cdots\;尤度凾数の期待値の平均情報量\\ &=&-\mathrm{E}_X\left[\log\left(\; \mathrm{E}_\Theta\left[q(X;\theta_0)\exp\left(-f(X_i,\theta_0,\theta)\right)\right] \;\right)\right] \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post.html}{q(X;\theta)=q(X;\theta_0)\exp\left(-f(X_i,\theta_0,\theta)\right)}\\ &=&-\mathrm{E}_X\left[\log\left(\; q(X;\theta_0)\mathrm{E}_\Theta\left[ \exp\left(-f(X_i,\theta_0,\theta)\right) \right] \;\right)\right] \;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]\\ &=&-\mathrm{E}_X\left[ \log\left( q(X;\theta_0) \right) +\log\left( \mathrm{E}_\Theta\left[ \exp\left(-f(X_i,\theta_0,\theta)\right) \right] \right) \right] \;\cdots\;\log(AB)=\log(A)+\log(B)\\ &=&-\mathrm{E}_X\left[ \log\left( q(X;\theta_0) \right) \right] -\mathrm{E}_X\left[ \log\left( \mathrm{E}_\Theta\left[ \exp\left(-f(X_i,\theta_0,\theta)\right) \right] \right) \right] \;\cdots\;\mathrm{E}\left[X+Y\right]=\mathrm{E}\left[X\right]+\mathrm{E}\left[Y\right]\\ &=&L(\theta_0) -\mathrm{E}_X\left[ \log\left( \mathrm{E}_\Theta\left[ \exp\left(-f(X_i,\theta_0,\theta)\right) \right] \right) \right] \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post.html}{-\mathrm{E}_X\left[ \log\left( q(X;\theta_0) \right) \right]=L(\theta_0)}\\ &=&L(\theta_0)+G_n^{(0)} \;\cdots\;G_n^{(0)}=-\mathrm{E}_X\left[ \log\left( \mathrm{E}_\Theta\left[ \exp\left(-f(X_i,\theta_0,\theta)\right) \right] \right) \right]:正規化された尤度凾数の期待値の平均情報量\\ \end{eqnarray} $$$$ \begin{eqnarray} G_n^{(0)} &=&-\mathrm{E}_X\left[ \log\left( \mathrm{E}_\Theta\left[ \exp\left(-f(X_i,\theta_0,\theta)\right) \right] \right) \right]\\ &=&-\mathrm{E}_X\left[ \log\left( \mathrm{E}_\Theta\left[ \exp\left(-\log{\frac{q(X_i;\theta_0)}{q(X_i;\theta)}}\right) \right] \right) \right]\\ &=&-\mathrm{E}_X\left[ \log\left( \mathrm{E}_\Theta\left[ \exp\left(\log{\frac{q(X_i;\theta)}{q(X_i;\theta_0)}}\right) \right] \right) \right]\\ &=&-\mathrm{E}_X\left[ \log\left( \mathrm{E}_\Theta\left[ \frac{q(X_i;\theta)}{q(X_i;\theta_0)} \right] \right) \right]\\ &=&-\mathrm{E}_X\left[ \log\left( \frac{\mathrm{E}_\Theta\left[q(X_i;\theta)\right]}{q(X_i;\theta_0)} \right) \right]\\ &=&\mathrm{E}_X\left[ -\log\left( \frac{\mathrm{E}_\Theta\left[q(X_i;\theta)\right]}{q(X_i;\theta_0)} \right) \right]\\ &=&\mathrm{E}_X\left[ \log\left( \frac{q(X_i;\theta_0)}{\mathrm{E}_\Theta\left[q(X_i;\theta)\right]} \right) \right]\\ \end{eqnarray} $$
自由エネルギー
自由エネルギー
$$ \begin{eqnarray} F_n(\beta) &=&-\frac{1}{\beta}\log{Z_n(\beta)} \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_92.html}{Z_n(\beta):分配凾数}\\ &=&-\frac{1}{\beta}\log{\left( Z_n^{(0)}(\beta) \prod^n_{i=1} q(X_i;\theta)^\beta \right)} \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/2.html}{Z_n(\beta)=Z_n^{(0)}(\beta)\prod^n_{i=1}q(X_i;\theta_0)^\beta}\\ &=&-\frac{1}{\beta}\left( \log{\left( \prod^n_{i=1} q(X_i;\theta)^\beta \right)} +\log{\left( Z_n^{(0)}(\beta) \right)} \right) \;\cdots\;\log(AB)=\log(A)+\log(B)\\ &=&-\frac{1}{\beta}\log{\left(\prod^n_{i=1} q(X_i;\theta)^\beta\right)} -\frac{1}{\beta}\log{\left(Z_n^{(0)}(\beta)\right)}\\ &=&-\frac{1}{\beta}\log{\left(\prod^n_{i=1} q(X_i;\theta)^\beta\right)} +F_n^{(0)}(\beta) \;\cdots\;F_n^{(0)}(\beta)=-\frac{1}{\beta}\log{\left(Z_n^{(0)}(\beta)\right)}:正規化された自由エネルギー\\ &=&-\frac{1}{\beta}\log{\left(\prod^n_{i=1} q(X_i;\theta)\right)^\beta} +F_n^{(0)}(\beta) \;\cdots\;\prod A^B=\left(\prod A\right)^B\\ &=&-\frac{1}{\beta}\beta\log{\left(\prod^n_{i=1} q(X_i;\theta)\right)} +F_n^{(0)}(\beta) \;\cdots\;\log{A^B}=B\log{A}\\ &=&-\log{\left(\prod^n_{i=1} q(X_i;\theta)\right)} +F_n^{(0)}(\beta)\\ &=&-\sum^n_{i=1}\log{q(X_i;\theta)} +F_n^{(0)}(\beta) \;\cdots\;\log{\left(\prod^n_{i=1} A_i\right)}=\sum^n_{i=1}{\left(\log{A_i}\right)}\\ &=&-n\frac{1}{n}\sum^n_{i=1}\log{q(X_i;\theta)} +F_n^{(0)}(\beta)\;\cdots\;n\frac{1}{n}=1\\ &=&n\left\{ -\frac{1}{n}\sum^n_{i=1}\log{q(X_i;\theta)}\right\} +F_n^{(0)}(\beta)\\ &=&nL_n(\theta_0)+F_n^{(0)}(\beta) \;\cdots\; \href{https://shikitenkai.blogspot.com/2020/05/blog-post_1.html}{-\frac{1}{n}\sum^n_{i=1}\log{q(X_i;\theta)}=L_n(\theta_0)}\\ \\ \end{eqnarray} $$事後分布
最適パラメータにおける条件付き分布
$$ \begin{eqnarray} Z_n(\beta) &=& \href{https://shikitenkai.blogspot.com/2020/05/blog-post_36.html}{Z_n^{(0)}(\beta)\exp(-n\beta L_n(\theta_0))}\\ &=& \href{https://shikitenkai.blogspot.com/2020/05/2.html}{Z_n^{(0)}(\beta)\prod_{i=1}^n q(X_i;\theta_0)^\beta}\\ \prod_{i=1}^n q(X_i;\theta_0)^\beta &=&\exp(-n\beta L_n(\theta_0))\;\cdots\;最適パラメータにおける条件付き分布\\ \end{eqnarray} $$$$ \begin{eqnarray} q(\theta;X^n) &=&\frac{1}{Z_n(\beta)} \pi(\theta) \prod_{i=1}^n q(X_i;\theta)^\beta\\ &=&\frac{1}{Z_n^{(0)}(\beta)\exp(-n\beta L_n(\theta_0))} \pi(\theta) \prod_{i=1}^n q(X_i;\theta)^\beta \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_36.html}{Z_n(\beta)=Z_n^{(0)}(\beta)\exp(-n\beta L_n(\theta_0))}\\ &=&\frac{1}{Z_n^{(0)}(\beta)} \frac{ \exp{\left(-n\beta L_n(\theta)\right)} } { \exp{\left(-n\beta L_n(\theta_0)\right)} } \pi(\theta) \;\cdots\;\prod_{i=1}^nq(X_i;\theta)^\beta=\exp(-n\beta L_n(\theta))\\ &=&\frac{1}{Z_n^{(0)}(\beta)} \frac{ \exp{\left(-n\beta (L_n(\theta_0)+K_n(\theta))\right)} } { \exp{\left(-n\beta L_n(\theta_0)\right)} } \pi(\theta) \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_1.html}{L_n(\theta)=L_n(\theta_0)+K_n(\theta)}\\ &=&\frac{1}{Z_n^{(0)}(\beta)} \frac{ \exp{\left(-n\beta L_n(\theta_0)\right)}\exp{\left(-n\beta K_n(\theta)\right)} } { \exp{\left(-n\beta L_n(\theta_0)\right)} } \pi(\theta) \;\cdots\;\exp{(A+B)}=\exp{(A)}\exp{(B)}\\ &=&\frac{1}{Z_n^{(0)}(\beta)}\exp{\left(-n\beta K_n(\theta)\right)}\pi\left(\theta\right)\\ \end{eqnarray} $$
正規化された分配凾数(2)
正規化された分配凾数(2)
$$ \begin{eqnarray} Z_n(\beta) &=&\int_\Theta \pi(\theta)\prod_{i=1}^n q(X_i;\theta)^\beta \mathrm{d}\theta\\ &=&\int_\Theta \pi(\theta)\prod_{i=1}^n \left\{q(X_i;\theta_0)\exp\left(-f(X_i,\theta_0,\theta)\right)\right\}^\beta \mathrm{d}\theta \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_1.html}{q(X_i;\theta)^\beta=\left\{q(X_i;\theta_0)\exp\left(-f(X_i,\theta_0,\theta)\right)\right\}^\beta}\\ &=&\left(\prod_{i=1}^n q(X_i;\theta_0)^\beta\right) \int_\Theta \pi(\theta) \prod_{i=1}^n \exp\left(-f(X_i,\theta_0,\theta)\right)^\beta \mathrm{d}\theta\\ &=&\left(\prod_{i=1}^n q(X_i;\theta_0)^\beta\right) \int_\Theta \pi(\theta) \prod_{i=1}^n \exp\left(-\beta f(X_i,\theta_0,\theta)\right) \mathrm{d}\theta\\ &=&\left(\prod_{i=1}^n q(X_i;\theta_0)^\beta\right) \int_\Theta \pi(\theta) \exp\left(-\beta \sum_{i=1}^n f(X_i,\theta_0,\theta)\right) \mathrm{d}\theta \;\cdots\;\prod_{i=1}^n \exp\left(A_i\right) = \exp \left(\sum_{i=1}^n A_i\right)\\ &=&\left(\prod_{i=1}^n q(X_i;\theta_0)^\beta\right) \int_\Theta \pi(\theta) \exp\left(-\beta\;nK_n\right) \mathrm{d}\theta \;\cdots\;\sum_{i=1}^n f(X_i,\theta_0,\theta)=nK_n(\theta)\\ &=&\left(\prod_{i=1}^n q(X_i;\theta_0)^\beta\right) \int_\Theta \pi(\theta) \exp\left(-n\beta K_n\right) \mathrm{d}\theta\\ &=&\left(\prod_{i=1}^n q(X_i;\theta_0)^\beta\right) Z_n^{(0)}(\beta) \;\cdots\;Z_n^{(0)}(\beta)=\int_\Theta \pi(\theta)\exp(-n\beta K_n(\theta))\mathrm{d}\theta:正規化された分配凾数\\ &=& Z_n^{(0)}(\beta)\prod_{i=1}^n q(X_i;\theta_0)^\beta\\ \end{eqnarray} $$正規化された分配凾数
正規化された分配凾数
$$ \begin{eqnarray} \prod^n_{i=1}q(X_i;\theta)^{\beta} &=&\exp\left(\log\left(\displaystyle\prod^n_{i=1}q(X_i;\theta)^{\beta}\right)\right) \;\cdots\;A=\exp\left(\log\left(A\right)\right)\\ &=&\exp\left(\sum^n_{i=1}\log\left(q(X_i;\theta)^{\beta}\right)\right) \;\cdots\;\log\left(\prod_{i=1}^n A_i\right) = \sum_{i=1}^n \log\left(A_i\right)\\ &=&\exp\left(\beta\sum^n_{i=1}\log\left(q(X_i;\theta)\right)\right)\\ &=&\exp\left(-n\beta \left(-\frac{1}{n}\sum^n_{i=1}\log\left(q\left(X_i;\theta\right)\right)\right)\right) \;\cdots\;(-n)(-\frac{1}{n})=1\\ &=&\exp\left(-n\beta L_n(\theta)\right) \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_1.html}{L_n(\theta)=-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta)\right)}\\ \end{eqnarray} $$$$ \begin{eqnarray} Z_n(\beta) &=&\int_\Theta \pi(\theta) \prod^n_{i=1}q(X_i;\theta)^{\beta} \mathrm{d}\theta\\ &=&\int_\Theta \pi(\theta) \exp\left(-n\beta L_n(\theta)\right) \mathrm{d}\theta \;\cdots\;\prod^n_{i=1}q(X_i;\theta)^{\beta}=\exp\left(-n\beta L_n(\theta)\right)\\ &=&\int_\Theta \pi(\theta) \exp\left(-n\beta \left( L_n(\theta_0) + K_n(\theta) \right)\right) \mathrm{d}\theta \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_1.html}{L_n(\theta) = L_n(\theta_0) + K_n(\theta)}\\ &=&\int_\Theta \pi(\theta) \exp(-n\beta L_n(\theta_0) -n\beta K_n(\theta)) \mathrm{d}\theta\\ &=&\int_\Theta \pi(\theta) \exp(-n\beta L_n(\theta_0)) \exp(-n\beta K_n(\theta)) \mathrm{d}\theta\\ &=&\exp(-n\beta L_n(\theta_0))\int_\Theta \pi(\theta)\exp(-n\beta K_n(\theta)) \mathrm{d}\theta\\ &=&\exp(-n\beta L_n(\theta_0))Z_n^{(0)}(\beta) \;\cdots\;Z_n^{(0)}(\beta)=\int_\Theta \pi(\theta)\exp(-n\beta K_n(\theta)) \mathrm{d}\theta:正規化された分配凾数\\ &=& Z_n^{(0)}(\beta)\exp(-n\beta L_n(\theta_0))\\ \end{eqnarray} $$
事後分布/分配凾数
分配凾数
$$ \begin{eqnarray} x^n&=&(x_1, x_2, \dots,x_n)&\;\dots\;&n個の標本\\ p(x)&&真の確率分布\\ p(x^n)&=&\displaystyle\prod^n_{i=1}p(x_i)\\ &=&p(x_1)p(x_2) \dots p(x_n)\\ X^n&=&(X_1, X_2,\dots,X_n)&\;\dots\;&x^nを実現値と考えるn個の確率変数\\ &&&&(x^nをp(x)上の分布から得られたものと考える)\\ \end{eqnarray} $$$$ \begin{eqnarray} q(x;\theta)&&パラメータ\thetaを用いた推定確率分布(確率モデル)\\ \pi(\theta)&&事前分布\\ \beta&&逆温度 0\lt\beta\lt\infty\\ q(\theta;X^n)&=&\frac{1}{Z_n(\beta)}\pi(\theta)\displaystyle\prod_{i=1}^{n}q(X_i;\theta)^{\beta}\;\dots\;逆温度\betaにおけるパラメータ\thetaの事後分布．\\ Z_n(\beta)&=&\int_\Theta \pi(\theta) \displaystyle\prod_{i=1}^n q(X_i;\theta)^{\beta}\mathrm{d}\theta\;\dots\;分配凾数(\beta=1の時，周辺尤度)\\ &&パラメータ\thetaの逆温度\betaにおける事後分布の総和を1とするための定数\\ \end{eqnarray} $$
不偏推定量は一意性を持たない
不偏推定量は一意性を持たない
$$ \begin{eqnarray} \mathrm{E}\left[\bar{X}\right]&=&\mu_{\bar{X}}\\ \mathrm{E}\left[Y\right]&=&\mu_{Y}\\ &=&0\\ \end{eqnarray} $$ の時， $$ \begin{eqnarray} \mathrm{E}\left[\bar{X}+Y\right] &=&\mathrm{E}\left[\bar{X}\right]+\mathrm{E}\left[Y\right]\\ &=&\mu_{\bar{X}}+\mu_{Y}\\ &=&\mu_{\bar{X}}+0\\ &=&\mu_{\bar{X}}\\ \end{eqnarray} $$ であり，\(\mathrm{E}\left[\bar{X}+Y\right]と\mathrm{E}\left[\bar{X}\right]\)で不偏推定量の値に違いがない．尤度凾数の平均情報量(離散/標本からの)
尤度凾数の平均情報量(離散/標本からの)
$$ \begin{eqnarray} p(x)&&真の確率分布\\ \theta&&パラメータ\\ q(x;\theta)&&\thetaをパラメータとした推測確率分布モデル(確率モデル)(\thetaを固定しxを動かすイメージ)\\ \Theta_0&&真の確率分布p(x)に対する確率モデルq(x;\theta)における最適なパラメータの集合\\ \theta_0&&真の確率分布p(x)に対する確率モデルq(x;\theta)における最適なパラメータ(\theta_0 \in \Theta_0)\\ q(x;\theta)&&尤度凾数(xにおける\thetaの尤もらしさ(式としては確率モデルと同じ．xを固定し\thetaを動かすイメージ))\\ \log{q(x;\theta)}&&対数尤度凾数\\ -\log{q(x;\theta)}&&尤度凾数の選択情報量(逆数の対数) \end{eqnarray} $$$$ \begin{eqnarray} L_n(\theta) &=&\mathrm{E}\left[\log\left(\frac{1}{q(X_i;\theta)}\right)\right]\;\cdots\;尤度凾数の平均情報量(選択情報量の期待値)\\ &=&\mathrm{E}\left[\log\left(q(X_i;\theta)^{-1}\right)\right]\;\cdots\;\frac{1}{A}=A^{-1}\\ &=&\mathrm{E}\left[-\log\left(q(X_i;\theta)\right)\right]\;\cdots\;\log A^B = B\log A\\ &=&- \mathrm{E}\left[\log\left(q(X_i;\theta)\right)\right]\;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta)\right)\;\cdots\;n個の標本，離散\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta)\frac{q(X_i;\theta_0)}{q(X_i;\theta_0)}\right)\;\cdots\;\theta_0:最適なパラメータ\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\frac{q(X_i;\theta)}{q(X_i;\theta_0)}\right)\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\left\{\log\left(q(X_i;\theta_0)\right)+\log\left(\frac{q(X_i;\theta)}{q(X_i;\theta_0)}\right)\right\}\;\cdots\;\log{AB}=\log{A}+\log{B}\\ &=&-\frac{1}{n}\left\{ \displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\right) +\displaystyle\sum^n_{i=1}\log\left(\frac{q(X_i;\theta)}{q(X_i;\theta_0)}\right) \right\} \;\cdots\;\sum(A+B)=\sum A+\sum B\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\right) -\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(\frac{q(X_i;\theta)}{q(X_i;\theta_0)}\right) \\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\right) +\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(\left(\frac{q(X_i;\theta)}{q(X_i;\theta_0)}\right)^{-1}\right) \;\cdots\;-\log{x}=\log{x^{-1}}\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\right) +\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(\frac{q(X_i;\theta_0)}{q(X_i;\theta)}\right) \;\cdots\;\left(\frac{A}{B}\right)^{-1}=\frac{1}{\frac{A}{B}}=\frac{B}{A}\\ &=&L_n(\theta_0)+K_n(\theta)\\ &&\;\cdots\;L_n(\theta_0)=-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\right) ,\;K_n=\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(\frac{q(X_i;\theta_0)}{q(X_i;\theta)}\right)\\ \end{eqnarray} $$
$$ \begin{eqnarray} f(X_i,\theta_0,\theta)&=&\log{\frac{q(X_i;\theta_0)}{q(X_i;\theta)}}\;\cdots\;尤度の比の対数(対数の比は，分母分子の対数の差なので尤度の差でもある)\\ K_n(\theta)&=&\frac{1}{n}\sum_{i=1}^n f(X_i,\theta_0,\theta)\;\cdots\;標本からのKLダイバージェンス\\ nK_n(\theta)&=&\sum_{i=1}^n f(X_i,\theta_0,\theta)\\ L_n(\theta)&=&L_n(\theta_0)+K_n(\theta)\\ K_n(\theta)&\gt&0\;\cdots\;\href{https://shikitenkai.blogspot.com/2019/08/kl.html}{KLダイバージェンスの下限}より\\ K_n(\theta)=0& \Longleftrightarrow & \theta \in \Theta_0\\ \exp\left(f(X_i,\theta_0,\theta)\right)&=&\frac{ q(X_i;\theta_0) }{ q(X_i;\theta) } \;\cdots\;A=\log{(B)},\;\exp{(A)}=B\\ q(X_i;\theta) &=&q(X_i;\theta_0) \frac{1}{\exp\left(f(X_i,\theta_0,\theta)\right)}\\ &=&q(X_i;\theta_0) \exp\left(-f(X_i,\theta_0,\theta)\right)\\ \end{eqnarray} $$
尤度凾数の平均情報量(連続)
尤度凾数の平均情報量(連続)
$$ \begin{eqnarray} p(x)&&真の確率分布\\ \theta&&パラメータ\\ q(x;\theta)&&\thetaをパラメータとした推測確率分布モデル(確率モデル)(\thetaを固定しxを動かすイメージ)\\ \Theta_0&&真の確率分布p(x)に対する確率モデルq(x;\theta)における最適なパラメータの集合\\ \theta_0&&真の確率分布p(x)に対する確率モデルq(x;\theta)における最適なパラメータ(\theta_0 \in \Theta_0)\\ q(x;\theta)&&尤度凾数(xにおける\thetaの尤もらしさ(式としては確率モデルと同じ．xを固定し\thetaを動かすイメージ))\\ \log{q(x;\theta)}&&対数尤度凾数\\ -\log{q(x;\theta)}&&尤度凾数の選択情報量(逆数の対数) \end{eqnarray} $$$$ \begin{eqnarray} L(\theta) &=&\mathrm{E}_X\left[\log\left(\frac{1}{q(x;\theta)}\right)\right]\;\cdots\;尤度凾数の平均情報量(選択情報量の期待値)\\ &=&\mathrm{E}_X\left[\log\left(q(x;\theta)^{-1}\right)\right]\;\cdots\;\frac{1}{A}=A^{-1}\\ &=&\mathrm{E}_X\left[-\log\left(q(x;\theta)\right)\right]\;\cdots\;\log A^B = B\log A\\ &=&-\mathrm{E}_X\left[\log{q(x;\theta)}\right]\;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]\\ &=&-\int q(x;\theta_0) \log{\left(q(x;\theta)\right)} \mathrm{d}x\;\cdots\;\theta_0:最適なパラメータ\\ &=&-\int q(x;\theta_0) \log{\left(q(x;\theta)\frac{q(x;\theta_0)}{q(x;\theta_0)}\right)} \mathrm{d}x\\ &=&-\int q(x;\theta_0) \log{\left(q(x;\theta_0)\frac{q(x;\theta)}{q(x;\theta_0)}\right)} \mathrm{d}x\\ &=&-\int q(x;\theta_0) \left\{ \log{\left( q(x;\theta_0) \right)} +\log{\left(\frac{q(x;\theta)}{q(x;\theta_0)}\right)} \right\} \mathrm{d}x\;\cdots\;\log{AB}=\log{A}+\log{B}\\ &=&-\int q(x;\theta_0) \log{\left( q(x;\theta_0) \right)} \mathrm{d}x -\int q(x;\theta_0) \log{\left(\frac{q(x;\theta)}{q(x;\theta_0)}\right)} \mathrm{d}x \;\cdots\;\int_X{AB}\mathrm{d}x=\int_X{A}\mathrm{d}x+\int_X{B}\mathrm{d}x\\ &=&-\int q(x;\theta_0) \log{ \left( q(x;\theta_0) \right) } \mathrm{d}x +\int q(x;\theta_0) \log{ \left(\left(\frac{q(x;\theta)}{q(x;\theta_0)}\right)^{-1}\right) } \mathrm{d}x\;\cdots\;-\log{x}=\log{x^{-1}}\\ &=&-\int q(x;\theta_0) \log{\left( q(x;\theta_0) \right)} \mathrm{d}x +\int q(x;\theta_0) \log{\left(\frac{q(x;\theta_0)}{q(x;\theta)}\right)} \mathrm{d}x \;\cdots\;\left(\frac{A}{B}\right)^{-1}=\frac{1}{\frac{A}{B}}=\frac{B}{A}\\ &=&-\mathrm{E}_X\left[ \log{q(x;\theta_0)} \right] +\mathrm{E}_X\left[ \log{ \left(\frac{q(x;\theta_0)}{q(x;\theta)}\right) } \right] \\ &=&L(\theta_0)+K(\theta)\\ &&\;\cdots\;L(\theta_0)=-\mathrm{E}_X\left[\log{q(x;\theta_0)}\right] ,\;K(\theta)=\mathrm{E}_X\left[\log{\frac{q(x;\theta_0)}{q(x;\theta)}}\right] \end{eqnarray} $$
$$ \begin{eqnarray} f(\theta_0,\theta;x)&=&\log{\frac{q(x;\theta_0)}{q(x;\theta)}}\;\cdots\;尤度の比の対数(対数の比は，分母分子の対数の差なので尤度の差でもある)\\ K(\theta)&=&\mathrm{E}_X\left[f(\theta_0, \theta;x)\right]\;\cdots\;KLダイバージェンス\\ L(\theta)&=&L(\theta_0)+K(\theta)\\ K(\theta)&\gt&0\;\cdots\;\href{https://shikitenkai.blogspot.com/2019/08/kl.html}{KLダイバージェンスの下限}より\\ K(\theta)=0& \Longleftrightarrow & \theta \in \Theta_0\\ \exp\left(f(\theta_0,\theta;x)\right) &=&\frac{ q(x;\theta_0) }{ q(x;\theta) } \;\cdots\;A=\log{(B)},\;\exp{(A)}=B\\ q(x;\theta) &=&q(x;\theta_0) \frac{1}{\exp\left(f(\theta_0,\theta;x)\right)}\\ &=&q(x;\theta_0) \exp\left(-f(\theta_0,\theta;x)\right)\\ \end{eqnarray} $$
登録:
投稿 (Atom)