未分類

道具としてのベイズ統計のメモ

はじめに

ここ半年はベイズ推定を勉強しています。

  1. 事前確率がある
  2. データで事前確率を更新する
  3. 事後確率ができる
  4. 1.にもどる

というのは、わかるのですが、じゃあ、これを実用するってどうするんだ?、普通の回帰分析などの統計手法とは何が違うんだ?みたいなところがずっと腹落ちせず、なるほどわからん状態が続いていました。

そんなときに今日は下記の本ががネットで、オススメされていたので書店で購入。

読んでみるとこれは分かりやすい!?

とくにMCMC法と階層ベイズの章が、とっつきやすいレベル感でよかったです。

ベイズ推定

ベイズ推定を応用するにあたり、事前にふたつの選択肢があることが書かれています。

  • 自然な共役分布
  • MCMC法

どちらも名前は聞いたことあるが、いまいち枠組みがわかっていなかったが、このふたつは選択肢なのかということがわかりました。

自然な共役分布

自然な共役分布の説明で、事前/事後分布に対する尤度が記載されています。

  • 事前/事後分布:ベータ分布
    • 尤度:二項分布
  • 事前/事後分布:正規分布
    • 尤度:正規分布
  • 事前/事後分布:ガンマ分布
    • 尤度:ポアソン分布

例えば、ベータ分布と二項分布を例にします。

ベータ分布

Beta(x, p, q) = kx^{p-1}(1-x)^{q-1}\,\,(0<x<1, 0<p, 0<q)

二項分布

Bin(\theta, n, r) = {}_n C _r \theta^{r} (1-\theta)^{n-r}

あるコインの表裏の出る確率をベータ分布を使って推定する場合、下記の問題が考えられます。

コインを投げると4回中4回オモテがでた。事後分布を求めよ。

そのとき、次のステップを踏んでベイズ推定を行っていきます。

1. 事前分布

すべてが同じ確率のベータ分布をとくに一様分布と呼び、それを設定します。

Beta(x, 1, 1) = kx^{1-1}(1-x)^{1-1} = k

2. 尤度の計算

二項分布を利用して、試行回数4回(n=4)、オモテ4回(r=4)とすると下記のようになります。

Bin(\theta, 4, 4) = {}_4 C _4 \theta^{4} (1-\theta)^{4-4} = \theta^{4}

3. 事後分布

事前分布と尤度から、事後分布は下記のようになることがわかります。

k\theta^{4}

これは確かに、いままでの学習で何度もみたもので、事前分布に観測データから得た尤度のをがっちゃんこすることで、事後分布ができるという解析的な手法で、数式によって表されます。

ただ、解析的に計算するということは現実的には、計算が簡単な決まった分布しか表現できない難点ということと記載されていました。この簡単な分布しかできないが、これまで私が腑に落ちていなかったところな気がしていて、現実的な問題、複雑な分布にどうやって対処するのよ?っていうことが疑問だったのです。

MCMC法

コンピュータは解析的に数式を解くことは苦手なので、近似的にベイズ推定を行うためMCMC法がでてきます。MCMC法を使うとうまいことコンピュータでベイズ推定が行えます。

ここで、すこし私が気づいたことがあって、今まで読んできた他の書籍では、長々と解析的な解法が記載され、その後にMCMC法で、同様にギブス法の解説が、数学的に近似できるのかどうかがまた長々と書かれていたのです。

この本ではなぜ近似できるのかということは短めで、具体的な手法を図解でわかりやすく解説してくれています。

階層ベイズ

この本では早い段階で、単純な共役分布だけじゃ現実に対応することは無理だよ階層ベイズ使うよってことが書かれています。

実は今まで他の書籍を読んでいるとき、ベータ分布や正規分布じゃ、現実に対応できないだろうどうすればいんだろと何度も難しいし理解できない数式をを読み返して、なるほどわからんと思っていました。

ここがこの本の一番うれしかったところで、ベイズの定理、共役分布、MCMC法、階層ベイズがどの部分を担っているかが簡潔に記載されているんですね。”道具としての”と銘打っているだけあって、非常にわかりやすかったです。

階層ベイズとは何か

パラメータを更にハイパーパラメータを使って作り出そうというのが主な趣旨です。

まだよく理解できていないのですが、推定しようとするパラメータ以外にも影響するパラメータがあるという考え方のようです。

もう少し読み込んで、実験を公開できたらなと考えています。

広告

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト /  変更 )

Google フォト

Google アカウントを使ってコメントしています。 ログアウト /  変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト /  変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト /  変更 )

%s と連携中