神経回路モデルの文献

自己組織化モデル，連想記憶モデル，確率的生成モデル，神経回路網モデルの入門的な記事，教科書
プログラミングの入門的な記事，記事の検索
このページの目的

自己組織化モデル

Sammon, J. (1969). A nonlinear mapping for data structure analysis. IEEE Trans. Comp., 18(5):401-409. (pdf)
Kohonen, T. (1982). Self-organized formation of topologically correct feature maps. Biological Cybernetics, 43:59-69. (pdf)
B. R. Davis. An associative hierarchical self-organizing system, IEEE Transactions on Systems, Man, and Cybernetics, vol. SMC-15, pp. 570-579, 1985.(pdf)
D.E. Rumelhart, G.E. Hinton and R.J. Williams. Learning representations by back-propagating errors, Nature, vol.323, pp.533-536, 1986 (pdf)
Jeffrey L. Elman and David Zipser, Learning the hidden structure of speech, Journal of Acoustical Society of America, vol. 83, no.4, pp.1615-1626, 1987. (pdf)
H. B. Barlow. Unsupervised Learning. Neural Computation, vol. 1, pp.295-311, 1989. (pdf)
H. B. Barlow, T. P. Kaushal, G. J. Mitchison. Finding Minimum Entropy Codes. Neural Computation, vol.1, pp. 412-423, 1989. (pdf)
Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel. Backpropagation applied to handwritten zip code recognition, Neural Computation, vol. 1, pp.541-551, 1989. (pdf)
H. Ritter, T. Kohonen, Self-organizing semantic maps. Biological Cybernetics, vol.61, pp.241-254, 1989. (pdf)
P. Foldiak. Forming sparse representations by local anti-Hebbian learning. Biological Cybernetics, vol.64, pp.165-170, 1990. (pdf)
P. Foldiak. Learning invariance from transformation sequences. Neural Computation, vol. 3, pp.194-200. (pdf)
S. Geman, E. Bienenstock, R. Doursat. Neural Networks and the Bias/Variance Dilemma Neural Computation, vol.4, pp.1-58. 1992. (pdf)
D. E.Rmnelhart. Theory to practice: A case study-recognizing cursive hardwriting. In Proceedings Of the Third NEC Research Symposium. SIAM, Philadelphia, Pa., pp. 177-196, 1993. (pdf)
G.F. Harpur, R.W. Prager. Development of low entropy coding in a recurrent network, Network: Computation in Neural Systems, vol. 7, pp.277-284, 1996. (pdf)
G Harpur, R Prager. Experiments with low-entropy neural networks, in R Baddeley, P Hancock, P Foldiak (eds.) Information Theory and the Brain, Cambridge University Press, pp 84-100, 2000. (pdf)
B. A. Olshausen, D. J. Field. Emergence of simple-cell receptive field properties by learning a sparse code for natural images. Nature, vol. 381, pp.607-609, 1996. (pdf)
A. J. Bell and T. J. Sejnowski. The “independent components” of natural scenes are edge filters. Vision Research, vol. 37, pp.3327-3338, 1997. (pdf)
M. S. Lewicki, T. J. Sejnowski Learning overcomplete representations, vol.12, pp.337-365, 2000. (pdf)
D. L. Donoho. Sparse components of images and optimal atomic decompositions. Constructive Approximation, vol.17, pp.353-382, 2001. (pdf)
M. S. Lewicki, Efficient coding of natural sounds, Nature Neuroscience vol.5, pp.356-363, 2002. (pdf)．これについての解説： B. A. Olshausen and K. N. O'Connor, A new window on sound, Nature Neuroscience vol.5, pp.292-294, 2002. (pdf)．
E. C. Smith and M. S. Lewicki. Efficient auditory coding. Nature, vol. 439, pp.978-982, 2006. (pdf)．これについての解説： M. R. DeWeese and Anthony Zador. Neurobiology: Efficiency measures, Nature, vol. 439, pp.920-921, 2006. (pdf)．
S. Geman. Invariance and selectivity in the ventral visual pathway. Journal of Physiology-Paris, vol.100, pp.212-224, 2006 (pdf)．
G. E. Hinton and R. R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science, 313, pp.504-507, 2006. (pdf), (som),
P. Foldiak, Neural coding: Non-Local but explicit and conceptual, Current Biology, vol. 19, pp. R904-R906, 2009. (pdf)

連想記憶モデルほか

J. J. Hopfield. Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, U.S.A., vol.79, pp.2554-2558, 1982. (pdf)
J. J. Hopfield, D. L. Feinstein, and R. G. Palmer. 'Unlearning' has a stabilizing effect in collective memories. Nature, vol. 304. pp.158-159, 1983. (pdf)
J. J. Hopfield. Neurons with graded response have collective computational properties like those of two-state neurons. Proceedings of the National Academy of Sciences, U.S.A., vol.81, pp.3088-3092, 1984. (pdf)
S. Amari, K. Maginu. Statistical neurodynamics of associative memory. Neural Networks vol.1, pp.63-73, 1988. (pdf)
S. Amari. Characteristics of sparsely encoded associative memory, Neural Networks, vol.2, pp.451-457, 1989. (pdf)
D. Wang, J. Buhmann, and C. von der Malsburg. Pattern segmentation in associative memory. Neural Computation, vol.2, pp.94-106, 1990. (pdf)
Gambling and data compression, Elements of Information Theory, Second Edition (Chapter 6), By Thomas M. Cover and Joy A. Thomas, John Wiley & Sons, Inc., 2006. (pdf)
Information theory and portfolio theory, Elements of Information Theory, Second Edition (Chapter 16), By Thomas M. Cover and Joy A. Thomas, John Wiley & Sons, Inc., 2006. (pdf)
J. J. Hopfield. Searching for memories, Sudoku, implicit check-bits, and the iterative use of not-always-correct rapid neural computation. Neural Computation, vol. 20, pp. 1119-1164, 2008. (pdf)

確率的生成モデル

H. Kunsch, S. Geman, and A. Kehagias, Hidden Markov random fields, Annals of Applied Probability, vol.5, no.3, pp.557-602, 1995. (pdf)
S. Geman and K. Kochanek, Dynamic programming and the graphical representation of error-correcting codes, IEEE Trans. Information Theory, vol.47, no.2, pp.549-567, Feb. 2001. (pdf)
L.-B. Chang, Y. Jin, W. Zhang, E. Borenstein and S. Geman, Context, computation, and optimal ROC performance inhHierarchical models, International Journal of Computer Vision, vol.93, pp.117-140, 2011. (pdf)

神経回路網モデルの入門的な記事：メモ

Jack D. Cowan and David H. Sharp, Neural nets, Quarterly Reviews of Biophysics, vol. 21, pp.365-427, 1988. (pdf)
Jack D. Cowan and David H. Sharp, Neural nets and artificial intelligence, Daedalus, vol.117, no.1, pp.85-121,1988. (pdf)
David E. Rumelhart, Brain style computation: learning and generalization An introduction to neural and electronic networks(Chapter 21) Academic Press , 1990. (pdf)
David E. Rumelhart, Bernard Widrow, Michael A. Lehr, The basic ideas in neural networks, Communications of the ACM, vol.37, pp.87-92, 1994.
John J. Hopfield: Hopfield network, Scholarpedia, 2(5):1977, 2007.
Teuvo Kohonen, Timo Honkela Kohonen network , Scholarpedia, 2(1):1568, 2007.
Peter Foldiak, Dominik Endres Sparse coding , Scholarpedia, 3(1):2984, 2008.
Andrew G. Barto, Temporal difference learning, Scholarpedia, Scholarpedia, 2(11):1604, 2007.
Edvard Moser, May-Britt Moser: Grid Cells, Scholarpedia, p.16073, 2007.
Marvin Minsky: Perceptron , Scholarpedia, 2008.
Christoph von der Malsburg: Binding Problem , Scholarpedia, 2008.

プログラミングの入門的な記事

Jon Bentley, Programming Pearls, Second Edition, Addison-Wesley, Inc., 2000. web，珠玉のプログラミング
Brian W. Kernighan, Rob Pike: Algorithms and Data Structure. In: The Practice of Programming, Addison Wesley, pp.29-59, 1999. アルゴリズムとデータ構造. source codes
Brian W. Kernighan, Rob Pike: Design and implementation. In: The Practice of Programming, Addison Wesley, pp.61-84, 1999. 設計と実装.

教科書

神経回路網の数理第6章，甘利俊一，神経場のパターン力学，産業図書，1978.
生体における情報処理（岩波講座情報科学 24）第2章第2節，甘利俊一，神経場の興奮パターンの力学, 岩波書店, 1982.
ニューロコンピューティングの基礎理論第4章，倉田耕治，構造の入った神経回路網の力学，海文堂出版, 1990.
神経回路網モデルとコネクショニズム，甘利俊一，東京大学出版会，1989．
情報理論，甘利俊一，ダイヤモンド社， 1970．
独立成分分析とその周辺, シリーズ統計科学のフロンティア第5巻多変量解析の展開--隠れた構造と因果を推理する，甘利俊一， pp.1-63, 岩波書店，2002.
計算神経科学への招待, 銅谷賢治，サイエンス社，2007．
Pattern Recognition and Machine Learning, C. M. Bishop, Springer, 2006.
Chapter 8: Graphical Models
日本語訳：パターン認識と機械学習上（6825円）・下（？円）サポート

記事の検索

Neural Computation， Neural Networks， Neurocomputing， Biological Cybernetics, Network: Computation in Neural Systems
Scholarpedia: Neuroscience, Computational neuroscience, Pattern Recognition, スカラーペディアとは

このページの目的

この分野を勉強しようとする人にとって，読みやすくて為になると思われる論文を選び一覧にしてみました．研究を大きく二種類に分けています．

自己組織化モデル
外界の信号に対する情報表現を内部に自己組織的に形成するモデル．
外界の規則性（時間的・空間的）を自動的に獲得するモデル．
結合係数の遅いダイナミックス（学習）とニューロン活動の速いダイナミクスが組み合わせ．
（通常，「教師信号あり」のネットワークを自己組織化モデルとは呼ばないがバックプロパゲーションなどを使った研究もこちらに分類した）
連想記憶モデルなど
表現（おなじ事ですが各結合荷重の値）をあらかじめ与え，ニューロン活動のダイナミクスを連想処理や最適化問題などに使う研究．

※注意事項

「スパース符合化」という言葉が出てきた場合，主流の研究は 1. に属する．ただし，「スパース符合化」された表現を記憶パターンとして用いる連想記憶モデルもある．本来 1. と 2. はいろいろ組み合わせた研究がなされるべきものである．
隠れマルコフ場を利用した研究は，外界の構造を学習する場合は自己組織化に分類し，あらかじめ研究者のセンスで表現を埋め込んでいる場合は 2. に分類した．

宮崎大学 >> 工学部 >> 情報システム工学科 >> 伊達 >>