宮崎大学 工学部 情報システム工学科 2019年度後期 授業科目：パターン認識

対象：3年次 後期 （2単位 選択）
時間：水 10:30〜12:00
教室： B-203
講義コード：7B440， ナンバリングコード：330
担当教員： 伊達 章 （工学部棟 A-333）
メール：
ホームページ：http://www.cs.miyazaki-u.ac.jp/~date/lectures/pattern/index.html
オフィスアワー： 木曜日 16:30--17:30 （事前連絡して頂ければ随時受け付けます）

WebClass, scrapbox,

キーワード

線形識別関数， 誤り確率， 教師信号， ベイズ決定則， 事後確率， 事前確率， 尤度， 最尤推定， 勾配法， パラメトリックな方法， ノンパラメトリックな方法， 最近傍則（Nearest Neighbor Rule）， 学習， 学習用データ，評価用データ，分割学習法， 交差確認法（Cross Validation）

概要

パターン認識とは与えられたパターン信号からその信号の概念内容を識別決定することである． 音声の認識ならば， 音圧についてのデータからその音が何という音であるかを 当てることである． パターン認識は， 問題自体ははっきりしているのに， 実際にこれを機械で行なおうとすると種々の困難にぶつかる． 本講義では． 学習認識システムの例として， 確率的生成モデルなどを取り上げ， パターン認識の基本的手法（統計的手法、学習アルゴリズムなど）を解説する． 学習アルゴリズムには，学習の際，与えられた入力に対し， 望ましい出力が与えられる 「教師あり学習」と与えられない「教師なし学習」（自己組織化モデルともいう）がある． 講義ではこの両方を取りあげる．

授業計画

2018年の講義から，python を使用しています： パターン認識と python   （octave版）
google colab （PYTHON3の新しいノートブック▼をクリック）

あくまで予定であって，変更の可能性があります．
教科書の該当ページをあらかじめ読んでおき，講義開始時に質問してください．
講義では一貫して x は観測データ（ベクトル），y を観測できない隠れ変数（スカラー），θをモデルのパラメータ（ベクトル）とします．

• 第1回. 10/2（水）講義の概要
  • 生成モデルに基づくパターン認識：
  • y（観測できない） → x （観測データ） → y（これを当てるのが目的）．
  • p(y) とか p(x|y) をあらかじめ推定して使えるようにしておく （与えられている場合が多い）．
  • 認識にはベイズの公式を使って計算した事後確率 p(y|x) を利用する．
  • 講義資料 その1
• 第2回. 10/9 （水） ：パターン認識の基礎（教科書 第1章）
• 第3回. 10/16 （水） 確率・統計の基礎 （教科書 第2章 2.1）
  • 確率変数，確率密度関数，同時確率，周辺確率，条件付き確率，ベイズの定理，事前確率、事後確率，分散共分散行列，相関係数，独立，無相間，正規分布（ガウス分布），行列式，正定値行列，対称行列，期待値
  • 講義資料 その2
  • 一様乱数 rand，標準正規分布にしたがう乱数 randn，平均 mean，標準偏差 std，分散 var，逆行列 inv，ヒストグラム hist，2次元正規分布，固有ベクトル・固有値 [x, lambda] = eig(A)
  • 講義資料 その3
• 第4回. 10/23 準備： python の使い方 （教科書 第2章 2.2，ノートパソコン持参）
  • introduction_to_python.ipynb

• 第5回. 10/30 （水） 教師あり学習．識別関数 （教科書 第3章 3.1） PCA 課題説明．最大事後確率則，最小誤識別則，ベイズ決定則 （教科書 第3章 3.2〜3.5）
  • 識別関数，訓練標本（training sample, サンプルデータ），カテゴリ，決定境界，独立同一分布（i.i.d.）， 主成分分析（PCA），分散共分散行列，固有値，長さ1に正規化，正射影，データの可視化，未知のパターン， 汎化能力
  • 講義資料 その4
  • 課題1 （締切 12/3 火）
  • 演習 PCA
  • Overleaf （LaTeX を使ってレポートを書く）
  • 3.3： 最大値を与える引数 argmax
  • 3.5 生成モデル（generative model），確率密度関数の推定（パラメトリック法，ノンパラメトリック法）
• 第6回. 11/13 （水）識別関数の学習 （教科書 第3章 3.1 PCA）
  • p42.py
  • show_digits.py
• 第7回. 11/20 （水）最大事後確率則，最小誤識別率則，ベイズ決定即，生成モデルに基づくパターン認識（教科書 3.2〜3.5）
• 第8回. 11/27 （水）最大事後確率則，最小誤識別率則，ベイズ決定即，生成モデルに基づくパターン認識（教科書 3.2〜3.5）
• 第9回. 12/4（水）最尤推定法． 4.1 定義，4.2 ガウスモデル，4.3 カテゴリ事後確率の計算
  • パラメトリックモデル，尤度（ゆうど，likelihood），ML (maximum likelihood)，尤度方程式，対数尤度，ガウスモデル
  • 演習 2次元正規分布
  • 黒板 1
• 第10回. 12/11（水）4.4 線形判別分析
  • 演習 最尤推定
  • 条件付き確率が正規分布で与えられる場合，対数事後確率は二次形式．マハラノビス距離
  • （線形代数の知識が必要！）
  • フィッシャーの線形判別分析
  • 黒板 1, 2, 3, 4
• 第11回 12/18（水） 線形判別分析により手書き文字認識 （教科書 第6章）
  • 演習 線形判別分析による手書き文字認識 pattern20191218ch6.ipynb （これをダウンロードして，Google Colab で開く）
• 第12回 1/8（水） 混合ガウスモデルの最尤推定 1 （教科書 第8章 8.1，8.2）
  • ガウス混合モデル（Gaussian mixture model），単峰，多峰，勾配法
  • 課題2 （締切 1/28 火）
• 第13回. 1/15 （水） 混合ガウスモデルの最尤推定 2 （教科書 第8章 8.3）
  • EM アルゴリズム，不完全データ，ジェンセンの不等式（Jensen's inequality）
  • 演習 混合ガウスモデルの最尤推定
  • p118a.ipynb
• 第14回. 1/22 （水）
  • ガウス混合モデル（Gaussian mixture model），単峰，多峰，勾配法
  • 黒板 1, 2,
• 第15回. 1/29 （水） 総まとめ

  教科書・参考書など

  • 教科書： 統計的機械学習―生成モデルに基づくパターン認識， 杉山将 著， オーム社 (2009)
    • 時間の関係上，教科書 第5章「最尤推定法の理論的性質」，第7章「最尤推定法におけるモデル選択」， 第9〜11章はスキップする予定．
      

  • Pattern Classification and Scene Analysis, R.O. Duda & P.E. Hart 著， John Wiley & Sons, Inc. (1973)

  • 手書きデータ（digit.mat）
  • ドットインストール: python, C,

  ---

  成績の評価基準

  小テスト 30%，レポート 70%
  

  ---

  • 伊達のHPへ