気になった文章
第一章
第二章
なるべく少ない特徴で物体が何であるかを判定する
なるべく少ない特徴で物体が何であるかを判定する。そのためには、できるだけ相関の少ない（直交する）特徴を選び、できるだけ少ない数のニューロンの発火数で表現（スパースな情報表現）ができれば、エネルギー面でも経済的である。p.49
・できるだけ相関の少ない（直交する）特徴というのは具体的に何だろうか？
・たしかに少ない数のニューロンの発火で表現ができれば経済的だと思う。
雑記
PCAでも直交する主成分が選ばれる。具体的に、国数英理社などの科目ごとの成績において、主成分には「全体的なバランス」だとか「文系力」あるいは「理系力」と我々が直感できる軸が選ばれるが、たしかにこれは特徴と呼んでもいいのかもしれない。
これと画像認識における線分的な特徴は性質が異なると思う。つまり、画像認識においてPCAで抽出される主成分はバラけていて直感的に理解しずらい*1。
NMF: Non-negative Matrix Factorization（非負値行列因子分解） - あらびき日記
受動伝搬と軸索突起部
（神経細胞上の電位の）伝搬は距離が長くなるにつれて指数関数的に減衰する（受動伝搬）。多数のシナプスから到来する電位が細胞体上で加算され、ある大きさになるとニューロンが発火し、活動電位を出す。活動電位は軸索の始まる細い部分（軸索突起部）で起き、両方向に伝わる。p.53
・ニューロンの活性を、複数の入力の重み付け和（そして関数での変換）で表現することがよくある。このときの重み（そしてその後の関数）の実体は何だろう？
そもそも軸索突起部とは何だろう。細胞。分子レベルで違いはあるのだろうか。 → 軸索突起部とは異なる、axon initial segment（AIS） という構造もあるのだとか。両者ともチューブリンからなる微小管があり、かつGTPアイランド（GTP型チューブリンは伸長中の微小管に結合すると普通はGDP型になるが、そのままGTP型として残ることもあり、そのかたまりのこと）を持つらしい。AISではある種のスペクトリンあるいはNaチャネルの発現空間特異性が見られる。これらの分子的特異性から、膜電位の形状が決まるが、活性化関数との関係は軽く調べても見つからなかった。軸索突起部を活性化関数の実体とする根拠を探したが、見つからなかった。 The Axon Initial Segment: An Updated Viewpoint | Journal of Neuroscience
*1:人間の直感と機械による出力の一致が良いものなのかどうかは、よくわからない。ただ、巷では直感にあう方が良い出力だと思われることの方が多く、直感に合わない出力が悪いと思われる傾向があると思う。今、個人的には、直感に合わない特徴を大切にしたい。将棋でのAI活用はまさにそうで、人間に考えつかなかった手をAIから学んでいる。
