宮崎大学 工学部 情報システム工学科 2020年度 授業科目： 情報工学セミナー

単位数：各1単位
対象：4年次
日程：火 10:30〜12:00
教室： A-334
担当教員： 伊達 章
研究室番号： 工学部棟 A-333
メール：

昨年度のページ  

概要

理解すること，話すこと，書くことのトレーニングを行なう．

• 専門書を読み，そこに書かれている内容を理解する
• その内容を，聞き手の立場になり，わかりやすく口で説明する
• その内容を，読み手の立場になり，簡潔，明瞭に書いて説明する．

ねらい

成績の評価基準

• 物事をより深く理解しようとしているか．（当初，理解できなかった数式の意味な ど）
• 書くこと： 1. 論理的に， 2. 簡潔に， 3. 分かりやすく， 書けているか ．
• 話すこと： 分かりやすく整理して聞き手の立場になって話しているか．
• （少しは）調べているか （英語の単語，パターン認識などの基礎概念）．
• 質問に答える際，いいかげんな返答をしていないか． （よくない例： 理解してないのに「はい，そうです」）
• 基本を理解しているか： （よくない例： 資料を準備していない，遅刻，居眠り，無断欠席など）

授業計画

教科書・参考書

• 神経回路網モデルとコネクショニズム，甘利 俊一，東京大学出版会 (2008/01)

英語文献

• 神経回路モデルの文献
• 研究者： S.Amari, T.M.Cover, P.Foldiak, S.Geman, J.J.Hopfield, Y. Miyashita, W.T. Newsome T.J. Sejnowski
• G.E.Hinton, A.M.Saxe , A. Karpathy

• Deep Learning 関連の基礎
  • D.E. Rumelhart, G.E. Hinton and R.J. Williams. Learning representations by back-propagating errors, Nature, vol.323, pp.533-536. (pdf)
  • 入江文平，川人光男. 多層パーセプトロンによる内部表現の獲得， 電子情報通信学会論文誌，J73-D2, pp.1173-1178, 1990. (pdf)
  • 松葉育雄， バックプロパゲーションによる特徴抽出， 数理科学 1991年8月号，pp.31-37. (pdf)
  • S. Geman, E. Bienenstock, R. Doursat. Neural networks and the bias/variance dilemma neural computation, vol.4, pp.1-58. 1992. (pdf)
  • D. E. Rumelhart. Theory to practice: A case study-recognizing cursive hardwriting. In Proceedings Of the Third NEC Research Symposium. SIAM, Philadelphia, Pa., pp. 177-196, 1993. (pdf)
  • G. E. Hinton and R. R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science, 313, pp.504-507, 2006. (pdf), (som),

• 確率的生成モデル（隠れマルコフモデル，隠れマルコフ場）
  • S. Geman, Stochastic relaxation methods for image restoration and expert systems, In Maximum-Entropy and Bayesian Methods in Science and Engineering, G. J, Erickson and C. R. Smith eds., Kluwer Academic Publisher, pp.265-311, 1988.
  • H. Kunsch, S. Geman, and A. Kehagias, Hidden Markov random fields, Annals of Applied Probability, vol.5, no.3, pp.557-602, 1995. (pdf)
  • S. Geman and K. Kochanek, Dynamic programming and the graphical representation of error-correcting codes, IEEE Trans. Information Theory, vol.47, no.2, pp.549-567, Feb. 2001. (pdf)

• 確率的生成モデル（Composition Systems）
  • Y. Jin. Probabilistic Hierarchical Image Models, Ph.D. thesis, Division of Applied Mathematics, Brown University, 2006. (pdf)．
  • S. Geman. Invariance and selectivity in the ventral visual pathway. Journal of Physiology-Paris, vol.100, pp.212-224, 2006 (pdf)．
  • L.-B. Chang, Y. Jin, W. Zhang, E. Borenstein and S. Geman, Context, computation, and optimal ROC performance inhHierarchical models, Intern ational Journal of Computer Vision, vol.93, pp.117-140, 2011. (pdf)
  • L.-B. Chang, E. Borenstein, W. Zhang, and S. Geman, Maximum likelihood features for generative image models, Annals of Applied Statistics, vol.11, pp.1275-1308, 2017. (pdf)
  • D. George et al., A generative vision model that trains with high data efficiency and breaks text-based CAPTCHAs. Science, vol.358, 2017. (Science)
  • S. M. Ali Eslami et al., Neural scene representation and rendering Science, Vol.360, pp.1204-1210, 2018. (Science) (DeepMind)
  • Dileep George, Alexander Lavin, J. Swaroop Guntupalli, David Mely,Nick Hay, Miguel Lazaro-Gredilla, Cortical microcircuits from a generative vision model, 2018 (bioRxiv)

• 連想記憶モデル
  • J. J. Hopfield. Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, U.S.A., vol.79, pp.2554-2558, 1982. (pdf)
  • J. J. Hopfield, D. L. Feinstein, and R. G. Palmer, 'Unlearning' has a stabilizing effect in collective memories. Nature, vol. 304. pp.158-159, 1983. (pdf)
  • S. Amari. Statistical neurodynamics of associative memory. Neural Networks, vol.1, pp.63-73, 1988. (pdf)
  • S. Amari. Characteristics of sparsely encoded associative memory. Neural Networks, vol.2, pp.451-457, 1989. (pdf)
  • J. J. Hopfield. Searching for memories, Sudoku, implicit check-bits, and the iterative use of not-always-correct rapid neural computation. Neural Computation, vol. 20, pp. 1119-1164, 2008. (pdf)

• 自己組織化モデル
  • S. Amari, A. Takeuchi. Mathematical theory on formation of category detecting nerve cells, Biological Cybernetics, vol.29, pp.127-136, 1978. (pdf)
  • A. Takeuchi, S. Amari. Formation of topographic maps and columnar microstructures in nerve fields, Biological Cybernetics, vol.35, pp.63-72, 1979. (pdf)
  • S. Geman. Notes on a self-organizing machine. In Parallel Models of Associative Memory, (G. E. Hinton and J. A. Anderson, eds.), pp.237-263, Hillsdale, NJ: Erlbaum, 1981.
  • P. Foldiak. Forming sparse representations by local anti-Hebbian learning. Biological Cybernetics, vol.64, pp.165-170, 1990. (pdf)
  • P. Foldiak. Learning invariance from transformation sequences. Neural Computation, vol. 3, pp.194-200. (pdf)

• 深層強化学習
  • V. Mnih, K. Kavukcuoglu, D. Silver et al., Human-level control through deep reinforcement learning, Nature, vol.518, pp.529-533, 2015. (nature)

• Capsules
  • S. Sabour, N. Frosst and G. E. Hinton, Dynamic Routing Between Capsules, arXiv:1710.09829, 2017.

• 記憶・生物実験系の論文
  • Xu Liu, Steve Ramirez, Petti T. Pang, Corey B. Puryear, Arvind Govindarajan, Karl Deisseroth & Susumu Tonegawa, Optogenetic stimulation of a hippocampal engram activates fear memory recall, Nature, vol. 484, pp.381-385, 2012. (nature)
  • Susumu Tonegawa, Mark D. Morrissey & Takashi Kitamura, The role of engram cells in the systems consolidation of memory, Nature Reviews Neuroscience, Vol.19, pp.485-498, 2018. (nature)
  • Yasushi Miyashita, Perirhinal circuits for memory processing, Nature Reviews Neuroscience, Vol.20, pp.577-592, 2019. (nature)

発表資料　（前期）

• github(private)

発表資料　（後期）

• github(private)

実施計画

• 数理， プログラミング，英語，プレゼンテーションの力を同時に訓練する．
• 4月 確率的生成モデルの演習課題をこなす（口頭説明，レポート課題）

• 伊達のHPへ