MCMCで事後分布が計算できるということ
尤度関数を説明のために不連続としたところがわかりやすい。ある点 q における尤度を計算して、その q のお隣さんの尤度も計算する。右隣と左隣がいて、どちらか高い方に移動するというのがアルゴリズムである。最尤推定法では、高い方に移動して、低い方には絶対に移動しないという特徴がある*1。一方のMCMCでは、普通は高い方に移動するが、たまに尤度が低い方にも移動する。こんなことしてなにが嬉しいのか？という問題提議の後にされた説明がなんか腑に落ちた感じがした。なぜだろう？MCMCでのイテレーションを横軸に、尤度を縦軸にとったグラフで、最初にうろうろしている様子を示したのが重要だと思う。
サンプルされたqのヒストグラムはふた山で、q=0.35 あたりでうろうろしてたんだなということしかわからない*2。イテレーションをさらに大きくしていくと、ヒストグラムが実線で示される正規分布に近づく。こうしてパラメータ q が分布で示せるのだ、という流れがなんか染み込んだ。
