人工智能：原理與實(shí)踐

目　　錄
推薦序一
推薦序二
譯者序
前言
第1章　人工智能導(dǎo)論　1
1.1　引言　1
1.2　兩大流派　1
1.3　通用人工智能　9
1.4　代理的概念　10
1.5　人工智能中的演繹推理　12
1.5.1　實(shí)例　13
1.5.2　演繹推理的經(jīng)典方法　17
1.5.3　演繹推理的優(yōu)勢(shì)和局限　19
1.6　人工智能中的歸納學(xué)習(xí)　19
1.6.1　學(xué)習(xí)的類型　20
1.6.2　無(wú)監(jiān)督學(xué)習(xí)任務(wù)　21
1.6.3　監(jiān)督學(xué)習(xí)任務(wù)　23
1.7　人工智能中的生物進(jìn)化　24
1.8　總結(jié)　25
1.9　拓展閱讀　26
1.10　練習(xí)　26
第2章　搜索狀態(tài)空間　27
2.1　引言　27
2.2　不知情搜索算法　30
2.2.1　案例研究：八個(gè)拼圖問題　35
2.2.2　案例研究：在線迷宮搜索　36
2.2.3　通過(guò)雙向搜索提高效率　36
2.3　知情搜索：佳優(yōu)先搜索　37
2.3.1　貪婪佳優(yōu)先搜索　39
2.3.2　A*-搜索算法　40
2.4　具有特定于狀態(tài)的損失函數(shù)
的局部搜索　41
2.4.1　爬山　43
2.4.2　禁忌搜索　45
2.4.3　模擬退火　47
2.5　遺傳算法　48
2.6　約束滿足問題　50
2.6.1　作為約束滿足的旅行
推銷員問題　50
2.6.2　作為約束滿足的圖著色　51
2.6.3　數(shù)獨(dú)作為約束滿足　51
2.6.4　約束滿足的搜索算法　52
2.6.5　利用特定于狀態(tài)的
損失值　53
2.7　總結(jié)　53
2.8　拓展閱讀　53
2.9　練習(xí)　53
第3章　多代理搜索　55
3.1　引言　55
3.2　不知情搜索：AND-OR
搜索樹　56
3.2.1　處理兩個(gè)以上的代理　59
3.2.2　處理非確定性環(huán)境　59
3.3　具有特定于狀態(tài)的損失函數(shù)
的知情搜索樹　60
3.3.1　啟發(fā)式變化　63
3.3.2　適應(yīng)對(duì)抗環(huán)境　63
3.3.3　預(yù)存儲(chǔ)子樹　65
3.3.4　設(shè)計(jì)評(píng)估函數(shù)面臨的挑戰(zhàn)　66
3.3.5　極小極大樹的缺點(diǎn)　67
3.4　alpha-beta剪枝　69
3.5　蒙特卡羅樹搜索：歸納視圖　71
3.5.1　對(duì)預(yù)期結(jié)果模型的改進(jìn)　74
3.5.2　演繹與歸納：小值
和蒙特卡羅樹　77
3.5.3　應(yīng)用于非確定性和部分
可觀測(cè)游戲　78
3.6　總結(jié)　79
3.7　拓展閱讀　79
3.8　練習(xí)　80
第4章　命題邏輯　81
4.1　引言　81
4.2　命題邏輯：基礎(chǔ)　82
4.3　命題邏輯定律　86
4.3.1　蘊(yùn)涵和等價(jià)的有用性質(zhì)　88
4.3.2　重言式和可滿足性　89
4.3.3　子句和規(guī)范形式　90
4.4　命題邏輯作為專家系統(tǒng)的
先驅(qū)　91
4.5　命題邏輯中表達(dá)式的等價(jià)性　92
4.6　知識(shí)庫(kù)中的證明基礎(chǔ)　94
4.7　矛盾證明法　96
4.8　具有明確子句的有效蘊(yùn)涵　100
4.8.1　正向鏈接　100
4.8.2　反向鏈接　102
4.8.3　比較正向鏈接和
反向鏈接　103
4.9　總結(jié)　103
4.10　拓展閱讀　104
4.11　練習(xí)　104
第5章　一階邏輯　106
5.1　引言　106
5.2　一階邏輯的基礎(chǔ)　108
5.2.1　量詞的使用　109
5.2.2　一階邏輯中的函數(shù)　112
5.2.3　一階邏輯如何建立在
命題邏輯上　113
5.2.4　標(biāo)準(zhǔn)化問題和范圍擴(kuò)展　115
5.2.5　否定與量詞的相互作用　116
5.2.6　置換和斯科倫化　117
5.2.7　為什么一階邏輯更具
表現(xiàn)力　119
5.3　填充知識(shí)庫(kù)　120
5.4　一階邏輯專家系統(tǒng)示例　122
5.5　系統(tǒng)推斷程序　123
5.5.1　矛盾證明法　123
5.5.2　正向鏈接　125
5.5.3　反向鏈接　126
5.6　總結(jié)　126
5.7　拓展閱讀　127
5.8　練習(xí)　127
第6章　機(jī)器學(xué)習(xí)：歸納觀點(diǎn)　129
6.1　引言　129
6.2　線性回歸　131
6.2.1　隨機(jī)梯度下降　132
6.2.2　基于矩陣的解決方案　133
6.2.3　偏差的使用　134
6.2.4　為什么正則化很重要　134
6.3　小二乘分類　135
6.4　支持向量機(jī)　138
6.5　邏輯回歸　140
6.5.1　計(jì)算梯度　140
6.5.2　比較支持向量機(jī)和
邏輯回歸　140
6.5.3　邏輯回歸作為概率
分類器　142
6.6　多類設(shè)置　143
6.6.1　一對(duì)其余，一票反對(duì)
一票　143
6.6.2　多項(xiàng)式邏輯回歸　144
6.7　Na?ve Bayes模型　145
6.8　近鄰分類器　147
6.9　決策樹　148
6.9.1　決策樹構(gòu)建的訓(xùn)練階段　148
6.9.2　拆分節(jié)點(diǎn)　151
6.9.3　將決策樹推廣到隨機(jī)
森林　152
6.10　基于規(guī)則的分類器　153
6.10.1　順序覆蓋算法　154
6.10.2　將基于規(guī)則的分類器與
專家系統(tǒng)中的邏輯規(guī)則
進(jìn)行比較　155
6.11　分類的評(píng)估　155
6.11.1　分為訓(xùn)練和測(cè)試部分　157
6.11.2　絕對(duì)準(zhǔn)確度測(cè)量　158
6.11.3　排名措施　159
6.12　總結(jié)　162
6.13　拓展閱讀　163
6.14　練習(xí)　163
第7章　神經(jīng)網(wǎng)絡(luò)　164
7.1　引言　164
7.2　計(jì)算圖簡(jiǎn)介　165
7.2.1　神經(jīng)網(wǎng)絡(luò)作為定向
計(jì)算圖　168
7.2.2　softmax激活函數(shù)　169
7.2.3　常見損失函數(shù)　170
7.2.4　非線性如何增加
表達(dá)能力　170
7.3　有向無(wú)環(huán)圖的優(yōu)化　172
7.3.1　計(jì)算圖的挑戰(zhàn)　172
7.3.2　坡度計(jì)算的廣泛框架　173
7.3.3　使用暴力計(jì)算節(jié)點(diǎn)到
節(jié)點(diǎn)的導(dǎo)數(shù)　174
7.3.4　計(jì)算節(jié)點(diǎn)到節(jié)點(diǎn)導(dǎo)數(shù)
的動(dòng)態(tài)規(guī)劃　177
7.3.5　將節(jié)點(diǎn)到節(jié)點(diǎn)導(dǎo)數(shù)轉(zhuǎn)換
為損失到權(quán)重導(dǎo)數(shù)　181
7.3.6　帶有向量變量的計(jì)算圖　183
7.4　應(yīng)用：神經(jīng)網(wǎng)絡(luò)中的反向傳播　185
7.4.1　常用激活函數(shù)的導(dǎo)數(shù)　187
7.4.2　softmax的特殊情況　187
7.4.3　以向量為中心的反向
傳播　188
7.4.4　以向量為中心的反向
傳播示例　190
7.5　計(jì)算圖的一般視圖　192
7.6　總結(jié)　194
7.7　拓展閱讀　194
7.8　練習(xí)　194
第8章　特定領(lǐng)域的神經(jīng)架構(gòu)　198
8.1　引言　198
8.2　卷積神經(jīng)網(wǎng)絡(luò)的基本原理　198
8.3　卷積神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)　200
8.3.1　填充　204
8.3.2　步幅　205
8.3.3　典型的設(shè)置　205
8.3.4　ReLU層　206
8.3.5　池化　206
8.3.6　完全連接層　208
8.3.7　層之間的交錯(cuò)　208
8.3.8　分層特性工程　210
8.4　卷積架構(gòu)的案例研究　211
8.4.1　AlexNet　212
8.4.2　VGG　214
8.4.3　ResNet　216
8.5　遞歸神經(jīng)網(wǎng)絡(luò)的基本原理　218
8.6　遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)　220
8.6.1　RNN語(yǔ)言建模實(shí)例　222
8.6.2　通過(guò)時(shí)間反向傳播　224
8.6.3　多層迭代網(wǎng)絡(luò)　226
8.7　長(zhǎng)短期記憶　227
8.8　特定于領(lǐng)域的架構(gòu)的應(yīng)用　231
8.8.1　自動(dòng)圖像字幕的應(yīng)用　231
8.8.2　序列到序列學(xué)習(xí)和機(jī)器
翻譯　232
8.9　總結(jié)　233
8.10　拓展閱讀　234
8.11　練習(xí)　234
第9章　無(wú)監(jiān)督學(xué)習(xí)　235
9.1　引言　235
9.2　降維和矩陣分解　236
9.2.1　對(duì)稱矩陣分解　237
9.2.2　奇異值分解　237
9.2.3　非負(fù)矩陣分解　242
9.2.4　神經(jīng)網(wǎng)絡(luò)降維　246
9.3　聚類　250
9.3.1　基于代表的算法　250
9.3.2　自底向上的凝聚方法　252
9.3.3　自頂向下的方法　255
9.3.4　基于概率模型的算法　256
9.3.5　科赫侖自組織映射　259
9.3.6　譜聚類　261
9.4　為什么無(wú)監(jiān)督學(xué)習(xí)很重要　262
9.4.1　機(jī)器學(xué)習(xí)的特征工程　262
9.4.2　特征工程的徑向基函數(shù)
網(wǎng)絡(luò)　264
9.4.3　半監(jiān)督學(xué)習(xí)　265
9.5　總結(jié)　269
9.6　拓展閱讀　269
9.7　練習(xí)　269
第10章　強(qiáng)化學(xué)習(xí)　271
10.1　引言　271
10.2　無(wú)狀態(tài)算法：多臂老虎機(jī)　272
10.2.1　Na?ve算法　273
10.2.2　?-?貪心算法　273
10.2.3　上界方法　273
10.3　強(qiáng)化學(xué)習(xí)框架　274
10.4　蒙特卡羅抽樣　276
10.4.1　蒙特卡羅抽樣算法　276
10.4.2　用函數(shù)近似器進(jìn)行
蒙特卡羅rollout　278
10.4.3　連接到蒙特卡羅樹搜索　279
10.5　自舉法與時(shí)間差異學(xué)習(xí)　280
10.5.1　Q-學(xué)習(xí)　280
10.5.2　使用函數(shù)近似器　282
10.5.3　例子：用于電子游戲
設(shè)置的神經(jīng)網(wǎng)絡(luò)細(xì)節(jié)　284
10.5.4　策略上與非策略的
方法：SARSA　284
10.5.5　建模狀態(tài)與狀態(tài)–
動(dòng)作對(duì)　286
10.6　策略梯度方法　288
10.6.1　似然比原則　289
10.6.2　將監(jiān)督學(xué)習(xí)與策略梯度
相結(jié)合　290
10.6.3　玩家–評(píng)委算法　290
10.6.4　持續(xù)的動(dòng)作空間　292
10.6.5　策略梯度的利與弊　292
10.7　重溫蒙特卡羅樹搜索　292
10.8　案例研究　294
10.8.1　AlphaGo：圍棋的
冠軍級(jí)對(duì)弈　294
10.8.2　自學(xué)習(xí)機(jī)器人　297
10.8.3　自動(dòng)駕駛汽車　300
10.9　強(qiáng)化學(xué)習(xí)的弱點(diǎn)　301
10.10　總結(jié)　302
10.11　拓展閱讀　302
10.12　練習(xí)　303
第11章　概率圖模型　304
11.1　引言　304
11.2　貝葉斯網(wǎng)絡(luò)　305
11.3　機(jī)器學(xué)習(xí)中的基本概率模型　307
11.4　玻爾茲曼機(jī)　309
11.4.1　玻爾茲曼機(jī)如何產(chǎn)生
數(shù)據(jù)　311
11.4.2　學(xué)習(xí)玻爾茲曼機(jī)的
權(quán)重　311
11.5　受限玻爾茲曼機(jī)　312
11.5.1　訓(xùn)練RBM　314
11.5.2　對(duì)比發(fā)散算法　315
11.5.3　實(shí)際問題和即興　316
11.6　受限玻爾茲曼機(jī)的應(yīng)用　317
11.6.1　降維與數(shù)據(jù)重構(gòu)　317
11.6.2　協(xié)同過(guò)濾的RBM　319
11.6.3　條件因子分解：一個(gè)
簡(jiǎn)潔的正則化技巧　321
11.7　總結(jié)　321
11.8　拓展閱讀　322
11.9　練習(xí)　322
第12章　知識(shí)圖譜　323
12.1　引言　323
12.2　知識(shí)圖譜概述　326
12.2.1　例子：詞網(wǎng)　330
12.2.2　例子：雅虎　331
12.2.3　例子：數(shù)據(jù)庫(kù)百科
全書　332
12.2.4　例子：自由基　332
12.2.5　例子：維基數(shù)據(jù)　333
12.2.6　例子：基因本體　333
12.3　如何構(gòu)建知識(shí)圖譜　334
12.3.1　知識(shí)圖譜的一階邏輯　335
12.3.2　從非結(jié)構(gòu)化數(shù)據(jù)中提取　336
12.3.3　處理不完全性　336
12.4　知識(shí)圖譜的應(yīng)用　337
12.4.1　搜索中的知識(shí)圖譜　338
12.4.2　聚類知識(shí)圖譜　339
12.4.3　實(shí)體分類　340
12.4.4　鏈接預(yù)測(cè)和關(guān)系分類　341
12.4.5　推薦系統(tǒng)　342
12.5　總結(jié)　342
12.6　拓展閱讀　343
12.7　練習(xí)　343
第13章　綜合推理與學(xué)習(xí)　344
13.1　引言　344
13.2　偏差–方差權(quán)衡　348
13.3　一個(gè)泛型演繹–歸納集合　351
13.4　遷移學(xué)習(xí)　354
13.4.1　圖像數(shù)據(jù)　355
13.4.2　文本數(shù)據(jù)　356
13.4.3　跨域遷移學(xué)習(xí)　357
13.5　終身機(jī)器學(xué)習(xí)　359
13.6　神經(jīng)符號(hào)人工智能　363
13.7　總結(jié)　366
13.8　拓展閱讀　366
13.9　練習(xí)　366
參考文獻(xiàn)　367