模式識別與機器學習

第1章 緒論 1
1.1 引言 1
1.2 模式識別的基本概念 3
1.2.1 模式和模式識別 3
1.2.2 模式空間、特征空間和類空間 5
1.2.3 預處理 7
1.2.4 特征提取/選擇 7
1.2.5 分類 7
1.3 模式識別系統(tǒng) 8
1.4 機器學習的主要方法 9
1.4.1 監(jiān)督學習 9
1.4.2 無監(jiān)督學習 10
1.4.3 半監(jiān)督學習 11
1.4.4 集成學習 11
1.4.5 強化學習 12
1.5 概率分布 12
1.5.1 隨機變量及分布 13
1.5.2 隨機向量及分布 16
1.5.3 邊際分布 18
1.5.4 條件概率分布 18
1.6 習題 19
第2章 貝葉斯統(tǒng)計決策 20
2.1 引言 20
2.2 小錯誤率判別規(guī)則 22
2.3 小風險判別規(guī)則 24
2.4 似然比判別規(guī)則 27
2.5 Neyman-Pearson判別規(guī)則 30
2.6 小判別規(guī)則 33
2.7 分類器設計 37
2.8 正態(tài)分布中的貝葉斯分類方法 41
2.9 小結(jié) 50
習題 50
第3章 概率密度函數(shù)的估計 52
3.1 引言 52
3.2 似然估計 52
3.2.1 似然估計基礎 52
3.2.2 正態(tài)分布下的似然估計 54
3.3 貝葉斯估計與貝葉斯學習 56
3.3.1 貝葉斯估計 56
3.3.2 正態(tài)分布下的貝葉斯估計 57
3.3.3 貝葉斯學習 59
3.4 EM估計方法 61
3.4.1 EM算法 61
3.4.2 混合正態(tài)分布的EM估計 63
3.5 非參數(shù)估計方法 65
3.5.1 非參數(shù)估計的基本方法與限制條件 65
3.5.2 Parzen窗法 67
3.5.3 kN近鄰估計方法 72
3.6 小結(jié) 74
習題 74
第4章 線性分類與回歸模型 75
4.1 引言 75
4.2 線性判別函數(shù)和決策面 75
4.2.1 兩類情況 76
4.2.2 多類問題中的線性判別函數(shù) 76
4.2.3 設計線性分類器的主要步驟 81
4.3 廣義線性判別函數(shù) 83
4.4 小均方誤差判別 86
4.4.1 小均方和準則 86
4.4.2 H-K算法 88
4.4.3 H-K算法的多類推廣 90
4.5 線性回歸模型 91
4.6 正則化線性回歸 92
4.7 小結(jié) 94
習題 94
第5章 其他分類方法 96
5.1 近鄰法 96
5.1.1 近鄰法 96
5.1.2 k近鄰法 96
5.2 邏輯斯蒂回歸 99
5.3 決策樹與隨機森林 102
5.3.1 非數(shù)值特征 102
5.3.2 決策樹 102
5.3.3 屬性選擇方法 104
5.3.4 過學習與決策樹的剪枝 107
5.3.5 隨機森林 108
5.4 小結(jié) 109
習題 109
第6章 無監(jiān)督學習和聚類 110
6.1 引言 110
6.2 混合模型的估計 110
6.2.1 無監(jiān)督似然估計 111
6.2.2 正態(tài)分布下的無監(jiān)督參數(shù)估計 112
6.3 動態(tài)聚類算法 115
6.3.1 均值聚類算法 116
6.3.2 ISODATA聚類算法 121
6.4 層次聚類算法 127
6.4.1 凝聚的層次聚類算法 127
6.4.2 分裂的層次聚類算法 128
6.5 譜聚類 130
6.6 模糊聚類方法 134
6.6.1 模糊集基本知識 134
6.6.2 模糊c均值算法 135
6.7 相似性傳播聚類 136
6.8 小結(jié) 138
習題 138
第7章 核方法和支持向量機 139
7.1 引言 139
7.2 核學習機 139
7.3 支持向量機 140
7.3.1 線性可分支持向量機 141
7.3.2 軟間隔線性支持向量機 144
7.3.3 非線性支持向量機 146
7.4 支持向量回歸機 147
7.5 小結(jié) 151
習題 151
第8章 神經(jīng)網(wǎng)絡和深度學習 152
8.1 引言 152
8.2 感知器 153
8.2.1 感知器的概念 153
8.2.2 感知器訓練算法及其收斂性 154
8.2.3 感知器準則函數(shù)及梯度法 158
8.3 多層前向神經(jīng)網(wǎng)絡 162
8.3.1 多層前向神經(jīng)網(wǎng)絡 163
8.3.2 BP神經(jīng)網(wǎng)絡 165
8.3.3 RBF神經(jīng)網(wǎng)絡 170
8.4 自組織特征映射神經(jīng)網(wǎng)絡 176
8.4.1 SOM神經(jīng)網(wǎng)絡結(jié)構(gòu) 176
8.4.2 SOM神經(jīng)網(wǎng)絡算法 177
8.5 深度學習 179
8.5.1 堆棧式自編碼網(wǎng)絡（SAE） 179
8.5.2 深度置信網(wǎng)絡（DBN） 182
8.5.3 卷積神經(jīng)網(wǎng)絡（CNN） 185
8.5.4 循環(huán)神經(jīng)網(wǎng)絡（RNN） 191
8.5.5 生成對抗網(wǎng)絡（GAN） 194
8.5.6 擴散模型 196
8.5.7 Transformer模型 197
8.6 小結(jié) 201
習題 204
第9章 特征選擇與提取 205
9.1 引言 205
9.2 特征選擇的一般流程 205
9.2.1 生成特征子集 205
9.2.2 評價準則 207
9.2.3 停止條件和結(jié)果驗證 209
9.3 特征選擇方法 209
9.3.1 過濾式特征選擇方法 210
9.3.2 封裝式特征選擇方法 214
9.3.3 嵌入式特征選擇方法 215
9.3.4 集成式特征選擇方法 215
9.4 線性特征提取方法 216
9.4.1 線性判別分析 216
9.4.2 主成分分析方法 217
9.5 非線性特征提取方法 219
9.5.1 核線性判別分析 219
9.5.2 核主成分分析 221
9.5.3 流形學習 222
9.6 小結(jié) 224
習題 225
參考文獻 226