宮崎大学 工学部 情報システム工学科 2016年度後期 授業科目：パターン認識

対象：3年次 後期 （2単位 選択）
時間：水 10:30〜12:00
教室： A-116
講義コード：7B44， ナンバリングコード：330
担当教員： 伊達 章 （工学部棟 A-333）
メール：
ホームページ：http://www.cs.miyazaki-u.ac.jp/~date/lectures/pattern/index.html
オフィスアワー： 木曜日 16:30--17:30 （事前連絡して頂ければ随時受け付けます）

キーワード

線形識別関数， 誤り確率， 教師信号， ベイズ決定則， 事後確率， 事前確率， 尤度， 最尤推定， 勾配法， パラメトリックな方法， ノンパラメトリックな方法， 最近傍則（Nearest Neighbor Rule）， 学習， 学習用データ，評価用データ，分割学習法， 交差確認法（Cross Validation）

概要

パターン認識とは与えられたパターン信号からその信号の概念内容を識別決定することである． 音声の認識ならば， 音圧についてのデータからその音が何という音であるかを 当てることである． パターン認識は， 問題自体ははっきりしているのに， 実際にこれを機械で行なおうとすると種々の困難にぶつかる． 本講義では． 学習認識システムの例として， 確率的生成モデルなどを取り上げ， パターン認識の基本的手法（統計的手法、学習アルゴリズムなど）を解説する． 学習アルゴリズムには，学習の際，与えられた入力に対し， 望ましい出力が与えられる 「教師あり学習」と与えられない「教師なし学習」（自己組織化モデルともいう）がある． 講義ではこの両方を取りあげる．

授業計画

パターン認識と octave

あくまで予定であって，変更の可能性があります．
講義では一貫して x は観測データ（ベクトル），y を観測できない隠れ変数（スカラー），θをモデルのパラメータ（ベクトル）とします．

• 第1回. 10/5 （水）講義の概要：パターン認識とは （教科書 第1章）
  • 生成モデルに基づくパターン認識：
  • y（観測できない） → x （観測データ） → y（これを当てるのが目的）．
  • p(y) とか p(x|y) をあらかじめ推定して使えるようにしておく （与えられている場合が多い）．
  • 認識にはベイズの公式を使って計算した事後確率 p(y|x) を利用する．
  • 講義資料 その1
  • 人工知能・機械学習 フレームワーク：Amazon Web Services, Microsoft Azure （1），
    Google TensorFlow, (github)， 解説記事 0, 1, 2, 3, Google prediction，
    NVIDIA DIGITS
    PFI/PFN Chainer(github), Caffe,(github), Torch(github)
    
• 第2回. 10/12 （水）A-116 準備： 確率・統計の基礎 （教科書 第2章 2.1）
  • 確率変数，確率密度関数，同時確率，周辺確率，条件付き確率，ベイズの定理，事前確率、事後確率，分散共分散行列，相関係数，独立，無相間，正規分布（ガウス分布），行列式，正定値行列，対称行列，期待値
  • 講義資料 その2
• 第3回. 10/19 （水）準備： octave の使い方 （教科書 第2章 2.2，ノートパソコン持参）
  • 一様乱数 rand，標準正規分布にしたがう乱数 randn，平均 mean，標準偏差 std，分散 var，逆行列 inv，ヒストグラム hist，2次元正規分布，固有ベクトル・固有値 [x, lambda] = eig(A)
  • OS は Windows でも，Linux でも Mac でもいいので，とにかく自分のノートパソコンで octave を使える状態にする．
    • Windows 版 Octave のインストール
      テキストエディタ： atom， TeraPad， （高度なものがよければ） xyzzy
  • 講義資料 その3
• 第4回. 10/26 （水） 教師あり学習．識別関数 （教科書 第3章 3.1）
  • 識別関数，訓練標本（training sample, サンプルデータ），カテゴリ，決定境界，独立同一分布（i.i.d.）， 主成分分析（PCA），分散共分散行列，固有値，長さ1に正規化，正射影，データの可視化，未知のパターン， 汎化能力
  • 講義資料 その4
  • 課題1 （締切 11/15 火）
  • 演習 PCA
• 第5回. 11/2 （水） 最大事後確率則，最小誤識別則，ベイズ決定則 （教科書 第3章 3.2〜3.5）
  • 3.3： 最大値を与える引数 argmax
  • 3.5 生成モデル（generative model），確率密度関数の推定（パラメトリック法，ノンパラメトリック法）
• 第6回. 11/9 （水）最尤推定法 1：ガウスモデル（教科書 第4章 4.1，4.2）
  • パラメトリックモデル，尤度（ゆうど，likelihood），ML (maximum likelihood)，尤度方程式，対数尤度，ガウスモデル
  • 演習 2次元正規分布
  • 黒板 1
• 第7回. 11/16 （水）A-116 最尤推定法 2：線形判別分析 （教科書 第4章 4.3，4.4）
• 第8回. 11/30 （水）線形判別分析により手書き文字認識 1（教科書 第6章）
  • 演習 最尤推定
  • 条件付き確率が正規分布で与えられる場合，対数事後確率は二次形式．マハラノビス距離
  • （線形代数の知識が必要！）
  • フィッシャーの線形判別分析
  • 黒板 1, 2, 3, 4
• 第9回. 12/7（水） 線形判別分析により手書き文字認識 2（教科書 第6章）
  • 演習 線形判別分析による手書き文字認識
• 第10回. 12/14 （水） 混合ガウスモデルの最尤推定 1 （教科書 第8章 8.1，8.2）
  • ガウス混合モデル（Gaussian mixture model），単峰，多峰，勾配法
  • 課題2 （締切 1/10 火）
• 第11回 12/15（木） 14:50〜 A-116
• 第12回 12/15（木） 16:30〜 A-116
• 第13回. 12/21 （水） 混合ガウスモデルの最尤推定 2 （教科書 第8章 8.3）
  • EM アルゴリズム，不完全データ，ジェンセンの不等式（Jensen's inequality）
  • （前期，最適化理論の教科書「これならわかる最適化数学」第5章 統計的最適化も参照）
  • 演習 混合ガウスモデルの最尤推定
• 第14回. 1/11 （水） （伊藤先生）
• 第15回. 1/18 （水）総まとめ
  • ガウス混合モデル（Gaussian mixture model），単峰，多峰，勾配法
  • 黒板 1, 2,
  ------
• 第xx回. x/xx （水） ノンパラメトリックな手法 (1)：カーネル密度推定法 （教科書 第12章）
  • ヒストグラム法，パーゼン窓法，カーネル密度推定法，バンド幅，ガウスカーネル，尤度交差確認法 (likelihood cross validation)，カルバックライブラー情報量
  • 演習 k-最近傍識別器による手書き文字認識
  • 課題3 （締切 1/31 火）
• 第xx回. x/xx （水）ノンパラメトリックな手法 (2)：k-最近傍則 （教科書 第13章）
• 第xx回. x/xx（水） 総まとめ．

教科書・参考書など

• 教科書： 統計的機械学習―生成モデルに基づくパターン認識， 杉山将 著， オーム社 (2009)
  • 時間の関係上，教科書 第5章「最尤推定法の理論的性質」，第7章「最尤推定法におけるモデル選択」， 第9〜11章はスキップする予定．
    

• Pattern Classification and Scene Analysis, R.O. Duda & P.E. Hart 著， John Wiley & Sons, Inc. (1973)

• 手書きデータ（digit.mat）
• ドットインストール: python, C,

成績の評価基準

小テスト・レポート 100%，定期試験 0% ← ◎ （個別に口頭試問あり）
小テスト・レポート 60%，定期試験 40%
小テスト・レポート 30%，定期試験 70%

• 伊達のHPへ