宮崎大学大学院 工学研究科 情報工学専攻 2009年度前期 授業科目：神経回路網特論

単位数：2単位
対象：修士課程
日程：金 10:30〜12:00
教室：B-203
担当教員： 伊達 章
研究室番号： 工学部棟 A-423
メール：
ホームページ：http://www.cs.miyazaki-u.ac.jp/~date/lectures/neural/index.html
オフィスアワー： 木曜日 18:30--19:30 （事前連絡して頂ければ随時受け付けます）

正式なシラバス

概要

脳はどういう風に動いているのか． この講義では，その気分を数理モデルを使って味わうことが できることを示したい． 物事の断片から全体が想起される「連想記憶」， ニューロンが必要に応じて外界の環境に適応していく「自己組織地図」． そのような気分を感じることができる楽しい研究を，まず第一に，紹介する． 実は，これらの基本的な研究は，どちらも60年代後半から70年代の研究である． 研究が進んだとはいえ，現在でも，脳の情報処理には不明な点ばかりである． 実際の脳内から記録された実験データを解析する最近の研究を紹介し， この現状を理解する． そして，生物学的妥当性はともかく，目的論的立場から， 見るとか記憶することができる機械を作る基礎となる数理モデル研究の現状を紹介する． 講義全体を通してのテーマは情報表現と計算である．

授業計画

• 第1回. 4/10 (金) 講義全体の概論：脳とコンピュータ     配布物: シラバス 課題1
• 第2回. 4/17 (金) 自己組織化神経回路モデル (1)
  配布物: 自己組織化モデル Kohonenの自己組織地図 課題2（5/15 金まで）
  自己組織化マップ   デモ  Cのサンプルコード  ファイルに出力バージョン
  • Teuvo Kohonen, Timo Honkela Kohonen Network , Scholarpedia, 2(1):1568, 2007.
  • Kohonen, T. (1982). Self-organized formation of topologically correct feature maps. Biological Cybernetics, 43:59-69. pdf
  • Kohonen, T., Kaski, S. and Lappalainen, H. (1997). Self-organized formation of various invariant-feature filters in the adaptive-subspace SOM. Neural Computation, 9: 1321-1344. pdf
  • H. Ritter and K. Schulten, On the stationary state of Kohonen's self-organizing sensory mapping. Biological Cybernetics, 54:99-106, 1986. pdf
  • H. Ritter and K. Schulten, Convergence properties of Kohonen's topology conserving maps: Fluctuations, stability and dimension selection. Biological Cybernetics, 60:59-71, 1988. pdf
• 第3回. 4/24 (金) 自己組織化神経回路モデル (2)          
• 第4回. 5/1 (金) ニューロンとそのモデル； Fitzhugh-Nagumo モデル     課題3
• 第5回. 5/8 (金) 脳内における視覚情報処理 (2)
視覚，記憶のニューロン表現
• Newsome, WT, Britten, KH and Movshon, JA: Neuronal correlates of a perceptual decision. Nature 341, 52-54, 1989.
• Miyashita, Y. : Neuronal correlate of visual associative long-term memory in the primate temporal cortex. Nature 335, 817-820, 1988.
• 第6回. 5/15 (金) 連想記憶モデルのダイナミックス
• 神経回路網モデルとコネクショニズム 第5章 pp.77-98，東京大学出版会，1989． 課題4
• 第7回. 5/22(金) 連想記憶モデル (2)
  • J. J. Hopfield, D. Feinstein & R. Palmer, `Unlearning' has a stabilizing effect in collective memories. Nature, 304, 158-159, 1989. (pdf)
  • D. Wang, J. Buhmann, and C. von der Malsburg. Pattern segmentation in associative memory. Neural Computation, 2, 94-106, 1990.
  • J. J. Hopfield. Searching for memories, Sudoku, implicit check-bits, and the iterative use of not-always-correct rapid neural computation. Neural Computation, 20, 1119-1164, 2008.
• 第8回. 5/29 (金) 自己組織化神経回路モデル (3) 配布資料
  • P. Foldiak, Forming sparse representations by local anti-Hebbian learning, Biological Cybernetics, vol. 64, pp. 165-170, 1990. (pdf) Cのサンプルコード 
• 第9回. 6/5(金) 自己組織化神経回路モデル (4) 配布資料（速修 確率論と情報理論）
• 第10回. 6/12(金) 自己組織化神経回路モデル (6) 配布資料
  • BA Olshausen BA, DJ Field, Emergence of simple-cell receptive field properties by learning a sparse code for natural images, Nature, vol. 381, pp.607-609, 1996. (pdf)
• 第11回. 6/19(金) 確率的モデルによる情報処理 (1) 配布資料： 例題   解説
• 第12回. 6/26(金) 確率的モデルによる情報処理 (2)
• 第13回. 7/3(金)
• 第14回. 7/10(金) 確率的モデルによる情報処理 (3)
  • 課題5 提出期限： 7/27（金）
  • 課題データ： その1： r2494294obs その2： r7773obs；
  • パラメータ データの読み方の例
    
  • チェック用データセット:
    アルゴリズムを理解していてプログラムにバグがなければ Y から Xmap が得られる．
    もとのデータ X： r20070703true
    観測データ Y： r20070703obs
    事後確率が最大になるよう推定した値 Xmap（+3）： r20070703map
  • 学習用音声データ：データの説明
  • aiueo.dat （生データ，gnuplot で plot "aiueo.dat" としてみるとよくわかる）
  • a200p50s8.dat （1-8 の値をもつデータ200個， 50msec のデータ「あ」）
  • a400p50s8.dat （1-8 の値をもつデータ400個， 50msec のデータ「あ」）
  • H. Kunsch, S. Geman, and A. Kehagias, Hidden Markov random fields, Annals of Applied Probability, vol.5, no.3, pp.557-602, 1995. (pdf)
  • S. Geman and K. Kochanek, Dynamic programming and the graphical representation of error-correcting codes, IEEE Trans. Information Theory}, vol.47, no.2, pp.549-567, Feb. 2001. (pdf)

教科書

• 神経回路網モデルとコネクショニズム，甘利俊一，東京大学出版会，1989．
  （重要なことがとても分かりやすく書かれている．）

参考書籍・文献

• The Computational Brain, Patricia S. Churchland, Terrence J. Sejnowski 著, MIT Press.

成績の評価基準

レポート．

キーワード

• 伊達のHPへ