宮崎大学大学院 工学研究科 情報工学専攻 2010年度前期 授業科目：神経回路網特論

単位数：2単位
対象：修士課程
日程：金 8:40〜10:10
教室：B-205
担当教員： 伊達 章
研究室番号： 工学部棟 A-423
メール：
ホームページ：http://www.cs.miyazaki-u.ac.jp/~date/lectures/neural/index.html
オフィスアワー： 木曜日 18:30--19:30 （事前連絡して頂ければ随時受け付けます）

シラバス(wakaba)

概要

脳はどういう風に動いているのか． この講義では，その気分を数理モデルを使って味わうことが できることを示したい． 物事の断片から全体が想起される「連想記憶」， ニューロンが必要に応じて外界の環境に適応していく「自己組織地図」． そのような気分を感じることができる楽しい研究を，まず第一に，紹介する． 実は，これらの基本的な研究は，どちらも60年代後半から70年代の研究である． 研究が進んだとはいえ，現在でも，脳の情報処理には不明な点ばかりである． 実際の脳内から記録された実験データを解析する最近の研究を紹介し， この現状を理解する． そして，生物学的妥当性はともかく，目的論的立場から， 見るとか記憶することができる機械を作る基礎となる数理モデル研究の現状を紹介する． 講義全体を通してのテーマは情報表現と計算である．

授業計画

• 第1回. 4/9 (金) 講義全体の概論
• 第2回. 4/16 (金) 脳とコンピュータ
• 第3回. 4/23 (金) 自己組織化神経回路モデル (1)
  配布物: 自己組織化モデル Kohonenの自己組織地図 課題1（5/7 金まで）
  自己組織化マップ   デモ  Cのサンプルコード  ファイルに出力バージョン
  • Teuvo Kohonen, Timo Honkela Kohonen Network , Scholarpedia, 2(1):1568, 2007.
  • Kohonen, T. (1982). Self-organized formation of topologically correct feature maps. Biological Cybernetics, 43:59-69. pdf
  • Kohonen, T., Kaski, S. and Lappalainen, H. (1997). Self-organized formation of various invariant-feature filters in the adaptive-subspace SOM. Neural Computation, 9: 1321-1344. pdf
  • H. Ritter and K. Schulten, On the stationary state of Kohonen's self-organizing sensory mapping. Biological Cybernetics, 54:99-106, 1986. pdf
  • H. Ritter and K. Schulten, Convergence properties of Kohonen's topology conserving maps: Fluctuations, stability and dimension selection. Biological Cybernetics, 60:59-71, 1988. pdf
• 第4回. 4/30 (金) 自己組織化神経回路モデル (2)          
• 第5回. 5/7 (金) ニューロンとそのモデル； Fitzhugh-Nagumo モデル， 課題2（5/21 金まで）
• 第6回. 5/14 (金) ニューロンとそのモデル その2
• 第7回. 5/21(金) 主成分分析（PCA）と自己組織化マップ   サンプルコード
          脳内における視覚情報処理： 視覚記憶のニューロン表現
  • Miyashita, Y. : Neuronal correlate of visual associative long-term memory in the primate temporal cortex. Nature 335, 817-820, 1988.
• 第8回. 5/28 (金) 連想記憶モデルのダイナミックス
  • 神経回路網モデルとコネクショニズム 第5章 pp.77-98，東京大学出版会，1989． 課題3
• 第9回. 6/4 (金) 連想記憶モデルのダイナミックス その2
  • J. J. Hopfield, D. Feinstein & R. Palmer, `Unlearning' has a stabilizing effect in collective memories. Nature, 304, 158-159, 1989. (pdf)
  • J. J. Hopfield. Searching for memories, Sudoku, implicit check-bits, and the iterative use of not-always-correct rapid neural computation. Neural Computation, 20, 1119-1164, 2008.
• 第10回. 6/11(金) 自己組織化神経回路モデル (3) 配布資料
  • P. Foldiak, Forming sparse representations by local anti-Hebbian learning, Biological Cybernetics, vol. 64, pp. 165-170, 1990. (pdf) Cのサンプルコード 
• 第11回. 6/18(金) 自己組織化神経回路モデル (4) 配布資料（速修 確率論と情報理論）
• 第12回. 6/25(金) 自己組織化神経回路モデル (5) 配布資料
  • BA Olshausen BA, DJ Field, Emergence of simple-cell receptive field properties by learning a sparse code for natural images, Nature, vol. 381, pp.607-609, 1996. (pdf)

  • 確率的モデルによる情報処理 (1) 配布資料： 例題   解説

• 第13回. 7/2(金) 確率的モデルによる情報処理 (2)
  • 課題4 提出期限： 7/23（金）
  • 補足： 補足資料， 正規分布にしたがうデータの生成について
  • 課題データ： その1： r2494294obs その2： r7773obs；
  • パラメータ データの読み方の例
    
  • チェック用データセット:
    アルゴリズムを理解していてプログラムにバグがなければ Y から Xmap が得られる．
    もとのデータ X： r20070703true
    観測データ Y： r20070703obs
    事後確率が最大になるよう推定した値 Xmap（+3）： r20070703map
  • 学習用音声データ：データの説明
  • aiueo.dat （生データ，gnuplot で plot "aiueo.dat" としてみるとよくわかる）
  • a200p50s8.dat （1-8 の値をもつデータ200個， 50msec のデータ「あ」）
  • a400p50s8.dat （1-8 の値をもつデータ400個， 50msec のデータ「あ」）
• 第14回. 7/9(金) 確率的モデルによる情報処理 (3)
• 第15回. 7/23(金) まとめ
  • H. Kunsch, S. Geman, and A. Kehagias, Hidden Markov random fields, Annals of Applied Probability, vol.5, no.3, pp.557-602, 1995. (pdf)
  • S. Geman and K. Kochanek, Dynamic programming and the graphical representation of error-correcting codes, IEEE Trans. Information Theory}, vol.47, no.2, pp.549-567, Feb. 2001. (pdf)

教科書

• 神経回路網モデルとコネクショニズム，甘利俊一，東京大学出版会，1989．
  （重要なことがとても分かりやすく書かれている．）

参考書籍・文献

• The Computational Brain, Patricia S. Churchland, Terrence J. Sejnowski 著, MIT Press.

成績の評価基準

レポート．

キーワード

• 伊達のHPへ