宮崎大学 工学部 情報システム工学科 2018年度 授業科目： 情報工学セミナー I,II

単位数：各1単位
対象：4年次
日程：水 14:50〜16:20
教室： A-334
担当教員： 伊達 章
研究室番号： 工学部棟 A-333
メール：

昨年度のページ  

概要

理解すること，話すこと，書くことのトレーニングを行なう．

• 専門書を読み，そこに書かれている内容を理解する
• その内容を，聞き手の立場になり，わかりやすく口で説明する
• その内容を，読み手の立場になり，簡潔，明瞭に書いて説明する．

ねらい

成績の評価基準

• 物事をより深く理解しようとしているか．（当初，理解できなかった数式の意味な ど）
• 書くこと： 1. 論理的に， 2. 簡潔に， 3. 分かりやすく， 書けているか ．
• 話すこと： 分かりやすく整理して聞き手の立場になって話しているか．
• （少しは）調べているか （英語の単語，パターン認識などの基礎概念）．
• 質問に答える際，いいかげんな返答をしていないか． （よくない例： 理解してないのに「はい，そうです」）
• 基本を理解しているか： （よくない例： 資料を準備していない，遅刻，居眠り，無断欠席など）

授業計画

教科書・参考書

• 神経回路網モデルとコネクショニズム，甘利 俊一，東京大学出版会 (2008/01)

英語文献

• 神経回路モデルの文献
• 研究者： S.Amari, T.M.Cover, P.Foldiak, S.Geman, J.J.Hopfield, Y. Miyashita, W.T. Newsome T.J. Sejnowski
• G.E.Hinton, A.M.Saxe , A. Karpathy

• Deep Learning 関連の基礎
  • D.E. Rumelhart, G.E. Hinton and R.J. Williams. Learning representations by back-propagating errors, Nature, vol.323, pp.533-536. (pdf)
  • 入江文平，川人光男. 多層パーセプトロンによる内部表現の獲得， 電子情報通信学会論文誌，J73-D2, pp.1173-1178, 1990. (pdf)
  • 松葉育雄， バックプロパゲーションによる特徴抽出， 数理科学 1991年8月号，pp.31-37. (pdf)
  • S. Geman, E. Bienenstock, R. Doursat. Neural networks and the bias/variance dilemma neural computation, vol.4, pp.1-58. 1992. (pdf)
  • D. E. Rumelhart. Theory to practice: A case study-recognizing cursive hardwriting. In Proceedings Of the Third NEC Research Symposium. SIAM, Philadelphia, Pa., pp. 177-196, 1993. (pdf)
  • G. E. Hinton and R. R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science, 313, pp.504-507, 2006. (pdf), (som),
  • A.M. Saxe, J.L. McClelland, and S. Ganguli. Learning hierarchical category structure in deep neural networks. In Proceedings of the 35th Annual Conference of the Cognitive Science Society, 2013. (pdf)
  • A.M.Saxe, J.L.McClelland, and S.Ganguli, Exact solutions to the nonlinear dynamics of learning in deep linear neural networks. In Y. Bengio & Y. LeCun (Eds.), International Conference on Learning Representations. Banff, Canada. 2014. (pdf), arXiv, video
• GAN
  • I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, Generative adversarial nets, arXiv:1406.2661 [stat.ML], 2014. arxiv
  • A. Radford, L. Metz, S. Chintala, Unsupervised representation learning with deep convolutional generative adversari al networks, arXiv:1511.06434 [cs.LG], 2015. arxiv

• 確率的生成モデル（隠れマルコフモデル，隠れマルコフ場）
  • H. Kunsch, S. Geman, and A. Kehagias, Hidden Markov random fields, Annals of Applied Probability, vol.5, no.3, pp.557-602, 1995. (pdf)
  • S. Geman and K. Kochanek, Dynamic programming and the graphical representation of error-correcting codes, IEEE Trans. Information Theory, vol.47, no.2, pp.549-567, Feb. 2001. (pdf)

• 確率的生成モデル（Composition Systems）
  • S.-H. Huang. Compositional Approach to Recognition Using Multi-Scale Computations, Ph.D. thesis, Division of Applied Mathematics, Brown University, 2001. (pdf)．
  • S. Geman, D.F. Potter, and Z. Chi. Composition systems. Quarterly of Applied Mathematics, vol.LX, pp.707-736, 2002. (pdf)．
  • Y. Jin. Probabilistic Hierarchical Image Models, Ph.D. thesis, Division of Applied Mathematics, Brown University, 2006. (pdf)．
  • A. Anishchenko. Two Alternative Models of Neuronal Connectivity: Committed Complex Cells and Small World Networks, Ph.D. thesis, Division of Applied Mathematics, Brown University, 2006.
  • S. Geman. Invariance and selectivity in the ventral visual pathway. Journal of Physiology-Paris, vol.100, pp.212-224, 2006 (pdf)．
  • L.-B. Chang, Y. Jin, W. Zhang, E. Borenstein and S. Geman, Context, computation, and optimal ROC performance inhHierarchical models, Intern ational Journal of Computer Vision, vol.93, pp.117-140, 2011. (pdf)

• 連想記憶モデル
  • T.M. Cover. Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition, IEEE Transactions on Electronic Computers. EC-14 pp.326-334, 1965.
  • J. J. Hopfield. Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, U.S.A., vol.79, pp.2554-2558, 1982. (pdf)
  • J. J. Hopfield, D. L. Feinstein, and R. G. Palmer, 'Unlearning' has a stabilizing effect in collective memories. Nature, vol. 304. pp.158-159, 1983. (pdf)
  • S. Amari. Statistical neurodynamics of associative memory. Neural Networks, vol.1, pp.63-73, 1988. (pdf)
  • S. Amari. Characteristics of sparsely encoded associative memory. Neural Networks, vol.2, pp.451-457, 1989. (pdf)
  • 小嶋 徹也, 長岡 浩司 ボルツマンマシンの学習と連想記憶， 電子情報通信学会論文誌，J76-D2, pp.2102-2108, 1993.
  • J. J. Hopfield. Searching for memories, Sudoku, implicit check-bits, and the iterative use of not-always-correct rapid neural computation. Neural Computation, vol. 20, pp. 1119-1164, 2008. (pdf)

• 自己組織化モデル
  • S. Amari, A. Takeuchi. Mathematical theory on formation of category detecting nerve cells, Biological Cybernetics, vol.29, pp.127-136, 1978. (pdf)
  • A. Takeuchi, S. Amari. Formation of topographic maps and columnar microstructures in nerve fields, Biological Cybernetics, vol.35, pp.63-72, 1979. (pdf)
  • S. Geman. Notes on a self-organizing machine. In Parallel Models of Associative Memory, (G. E. Hinton and J. A. Anderson, eds.), pp.237-263, Hillsdale, NJ: Erlbaum, 1981.
  • P. Foldiak. Forming sparse representations by local anti-Hebbian learning. Biological Cybernetics, vol.64, pp.165-170, 1990. (pdf)
  • P. Foldiak. Learning invariance from transformation sequences. Neural Computation, vol. 3, pp.194-200. (pdf)
  • SOM, Neural GAS, Boltzmann Machine

• 株価予測
  • I. Matsuba, Neural sequential associator and its application to stock price prediction, Proceedings of 1991 International Conference on Industrial Electronics, Control and Instrumentation (IECON), vol.2, pp.1476-1479, 1991. (pdf)
  • I. Matsuba, Application of neural sequential associator to long-term stock price prediction, Proceedings of 1991 International Joint Conference on Neural Networks (IJCNN), pp.1196-1201, 1991. (pdf)
  • Gambling and data compression, Elements of Information Theory, Second Edition (Chapter 6), By Thomas M. Cover and Joy A. Thomas, John Wiley & Sons, Inc., 2006. (pdf)
  • Information theory and portfolio theory, Elements of Information Theory, Second Edition (Chapter 16), By Thomas M. Cover and Joy A. Thomas, John Wiley & Sons, Inc., 2006. (pdf)

• スパースモデリング

発表資料　（前期）

• CS231n: Convolutional Neural Networks for Visual Recognition
• TensorFlow.js

発表資料　（後期）

• GitHub Guides： Hello World, Help, youtube
  • Understanding the GitHub Flow (5min)
  • Hello World (10min)
  • Getting Started with GitHub Pages (10min)
  • Getting your project on GitHub (5min)
  • Forking Projects (4min)
  • Be Social (5min)
  • Making Your Code Citable (10min)
  • Mastering Issues (10min)
  • Mastering Markdown (3min)
  • Documenting your projects on GitHub (10min)

実施計画

• 数理， プログラミング，英語，プレゼンテーションの力を同時に訓練する．
• 4月 確率的生成モデルの演習課題をこなす（口頭説明，レポート課題）

• 伊達のHPへ