Python大數(shù)據(jù)與機(jī)器學(xué)習(xí)實(shí)戰(zhàn)

目 錄
第1章 Python大數(shù)據(jù)開(kāi)發(fā)入門(mén) 1
1．1 大數(shù)據(jù)工程師必備技能 1
1．2 Python開(kāi)發(fā)環(huán)境 5
1．2．1 Windows環(huán)境 5
1．2．2 Linux環(huán)境 7
1．2．3 Docker環(huán)境 10
1．3 Python開(kāi)發(fā)工具 16
1．3．1 Python命令行環(huán)境 16
1．3．2 Jupyter環(huán)境 18
1．4 Python數(shù)據(jù)類(lèi)型 23
1．4．1 數(shù)值 24
1．4．2 字符串 24
1．4．3 列表 25
1．4．4 元組 26
1．4．5 集合 26
1．4．6 字典 27
1．5 Python函數(shù)和類(lèi) 27
1．5．1 定義和使用函數(shù) 28
1．5．2 lambda匿名函數(shù) 28
1．5．3 類(lèi)和繼承 28
1．6 Python常用庫(kù) 29
1．6．1 Python內(nèi)置庫(kù) 29
1．6．2 Python圖形圖像處理 30
1．6．3 Python自然語(yǔ)言處理 31
1．6．4 Python數(shù)據(jù)分析和
處理 32
1．6．5 Python機(jī)器學(xué)習(xí) 33
1．7 Python技巧 34
1．7．1 Python程序調(diào)試 34
1．7．2 去掉警告信息 35
1．7．3 制作和導(dǎo)入模塊 36
1．7．4 異常處理 37
1．8 Python常見(jiàn)問(wèn)題 38
第2章 科學(xué)計(jì)算Numpy 40
2．1 多維數(shù)組 40
2．1．1 創(chuàng)建數(shù)組 40
2．1．2 訪(fǎng)問(wèn)數(shù)組 42
2．1．3 修改數(shù)組 43
2．2 數(shù)組元素運(yùn)算 44
2．2．1 一元函數(shù) 44
2．2．2 二元函數(shù) 45
2．2．3 廣播 46
2．2．4 自定義ufunc函數(shù) 47
2．3 常用函數(shù) 48
2．3．1 分段函數(shù) 48
2．3．2 統(tǒng)計(jì)函數(shù) 49
2．3．3 組合與分割 51
2．3．4 矩陣與二維數(shù)組 52
2．3．5 其他常用函數(shù) 54
第3章 數(shù)據(jù)操作Pandas 55
3．1 數(shù)據(jù)對(duì)象 55
3．1．1 Series對(duì)象 55
3．1．2 DataFrame對(duì)象 57
3．1．3 Index對(duì)象 60
3．2 數(shù)據(jù)存取 63
3．2．1 訪(fǎng)問(wèn)數(shù)據(jù)表元素 63
3．2．2 修改數(shù)據(jù)表元素 66
3．3 分組運(yùn)算 68
3．3．1 分組 69
3．3．2 聚合 70
3．3．3 轉(zhuǎn)換 71
3．3．4 過(guò)濾 72
3．3．5 應(yīng)用 72
3．4 日期時(shí)間處理 73
3．4．1 Python日期時(shí)間處理 73
3．4．2 Pandas日期時(shí)間處理 75
3．4．3 時(shí)間序列操作 76
3．4．4 數(shù)據(jù)重排 84
第4章 數(shù)據(jù)可視化 86
4．1 Matplotlib繪圖庫(kù) 87
4．1．1 準(zhǔn)備工作 87
4．1．2 散點(diǎn)圖與氣泡圖 88
4．1．3 線(xiàn)圖 90
4．1．4 柱圖 92
4．1．5 餅圖 95
4．1．6 箱線(xiàn)圖和小提琴圖 96
4．1．7 三維圖 97
4．1．8 Matplotlib繪圖區(qū)域 100
4．1．9 文字顯示問(wèn)題 103
4．1．10 導(dǎo)出圖表 104
4．1．11 Matplotlib技巧 105
4．2 Seaborn高級(jí)數(shù)據(jù)可視化 107
4．2．1 準(zhǔn)備工作 107
4．2．2 連續(xù)變量相關(guān)圖 108
4．2．3 分類(lèi)變量圖 109
4．2．4 回歸圖 113
4．2．5 多圖組合 115
4．2．6 熱力圖 118
4．2．7 印刷品作圖 119
4．3 PyEcharts交互圖 119
4．3．1 ECharts 119
4．3．2 準(zhǔn)備工作 120
4．3．3 繪制交互圖 120
4．3．4 在網(wǎng)頁(yè)中顯示圖 123
第5章 獲取數(shù)據(jù) 125
5．1 讀寫(xiě)文件 126
5．1．1 讀寫(xiě)文本文件 126
5．1．2 寫(xiě)日志文件 127
5．1．3 讀寫(xiě)XML文件 128
5．1．4 讀寫(xiě)Json文件 130
5．1．5 讀寫(xiě)CSV文件 131
5．1．6 讀寫(xiě)PKL文件 132
5．1．7 讀寫(xiě)HDF5文件 133
5．1．8 讀寫(xiě)Excel文件 134
5．2 讀寫(xiě)數(shù)據(jù)庫(kù) 135
5．2．1 數(shù)據(jù)庫(kù)基本操作 136
5．2．2 Python存取MySQL
數(shù)據(jù)庫(kù) 138
5．2．3 Python存取SQL Server
數(shù)據(jù)庫(kù) 140
5．2．4 Python存取Sqlite
數(shù)據(jù)庫(kù) 143
5．2．5 Python存取Dbase
數(shù)據(jù)庫(kù) 143
5．3 讀寫(xiě)數(shù)據(jù)倉(cāng)庫(kù) 144
5．3．1 讀取ElasticSearch
數(shù)據(jù) 144
5．3．2 讀取S3云存儲(chǔ)數(shù)據(jù) 146
5．3．3 讀取Hive數(shù)據(jù) 148
5．4 獲取網(wǎng)絡(luò)數(shù)據(jù) 151
5．4．1 從網(wǎng)絡(luò)接口讀取
數(shù)據(jù) 151
5．4．2 抓取網(wǎng)站數(shù)據(jù) 152
5．4．3 使用POST方法抓取
數(shù)據(jù) 153
5．4．4 轉(zhuǎn)換HTML文件 153
5．5 選擇數(shù)據(jù)存儲(chǔ)方式 154
第6章 數(shù)據(jù)預(yù)處理 155
6．1 數(shù)據(jù)類(lèi)型識(shí)別與轉(zhuǎn)換 155
6．1．1 基本類(lèi)型轉(zhuǎn)換 156
6．1．2 數(shù)據(jù)類(lèi)型識(shí)別 157
6．2 數(shù)據(jù)清洗 158
6．2．1 缺失值處理 158
6．2．2 異常值處理 160
6．2．3 去重處理 162
6．3 數(shù)據(jù)歸約 163
6．3．1 經(jīng)驗(yàn)篩選特征 163
6．3．2 統(tǒng)計(jì)學(xué)方法篩選
特征 163
6．3．3 模型篩選特征 164
6．3．4 數(shù)學(xué)方法降維 165
6．4 數(shù)據(jù)抽樣 166
6．4．1 簡(jiǎn)單隨機(jī)抽樣 167
6．4．2 系統(tǒng)抽樣 168
6．4．3 分層抽樣 168
6．4．4 整群抽樣 168
6．5 數(shù)據(jù)組合 169
6．5．1 merge函數(shù) 169
6．5．2 concat函數(shù) 170
6．6 特征提取 171
6．6．1 數(shù)值型特征 171
6．6．2 分類(lèi)型特征 171
6．6．3 字符型特征 172
第7章 數(shù)據(jù)分析 175
7．1 入門(mén)實(shí)例 175
7．2 假設(shè)檢驗(yàn) 177
7．2．1 基本概念 177
7．2．2 假設(shè)檢驗(yàn)的步驟 178
7．2．3 統(tǒng)計(jì)分析工具 178
7．3 參數(shù)檢驗(yàn)與非參數(shù)檢驗(yàn) 179
7．3．1 正態(tài)性檢驗(yàn) 179
7．3．2 方差齊性檢驗(yàn) 181
7．3．3 分析檢驗(yàn)結(jié)果 182
7．4 T檢驗(yàn) 182
7．4．1 單樣本T檢驗(yàn) 182
7．4．2 獨(dú)立樣本T檢驗(yàn) 183
7．4．3 配對(duì)樣本T檢驗(yàn) 183
7．5 方差分析 184
7．6 秩和檢驗(yàn) 185
7．7 卡方檢驗(yàn) 186
7．8 相關(guān)性分析 187
7．8．1 圖形描述相關(guān)性 188
7．8．2 正態(tài)資料的相關(guān)
分析 189
7．8．3 非正態(tài)資料的相關(guān)
分析 190
7．9 變量分析 190
7．9．1 單變量分析 190
7．9．2 多變量分析 191
7．10 TableOne工具 193
7．11 統(tǒng)計(jì)方法總結(jié) 194
第8章 機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí) 196
8．1 基本概念 196
8．1．1 深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、
人工智能 197
8．1．2 有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督
學(xué)習(xí)、半監(jiān)督學(xué)習(xí) 197
8．1．3 訓(xùn)練集、驗(yàn)證集、
測(cè)試集 198
8．1．4 過(guò)擬合與欠擬合 198
8．1．5 常用術(shù)語(yǔ) 199
8．2 評(píng)價(jià)模型 199
8．2．1 方差、協(xié)方差、協(xié)
方差矩陣 200
8．2．2 距離與范數(shù) 204
8．2．3 回歸效果評(píng)估 207
8．2．4 分類(lèi)效果評(píng)估 210
第9章 機(jī)器學(xué)習(xí)模型與工具 216
9．1 基于距離的算法 217
9．1．1 K近鄰算法 217
9．1．2 聚類(lèi)算法 219
9．2 線(xiàn)性回歸與邏輯回歸 221
9．2．1 線(xiàn)性回歸 222
9．2．2 邏輯回歸 225
9．3 支持向量機(jī) 226
9．4 信息熵和決策樹(shù) 230
9．4．1 信息量和熵 231
9．4．2 決策樹(shù) 234
9．5 關(guān)聯(lián)規(guī)則 236
9．5．1 Apriori關(guān)聯(lián)規(guī)則 237
9．5．2 FP-Growth關(guān)聯(lián)
分析 240
9．6 貝葉斯模型 242
9．6．1 貝葉斯公式 242
9．6．2 樸素貝葉斯算法 244
9．6．3 貝葉斯網(wǎng)絡(luò) 248
9．7 隱馬爾可夫模型 250
9．8 集成算法 254
第10章 模型選擇與相關(guān)技術(shù) 259
10．1 數(shù)據(jù)準(zhǔn)備與模型選擇 259
10．1．1 預(yù)處理 259
10．1．2 選擇模型 260
10．2 自動(dòng)機(jī)器學(xué)習(xí)框架 263
10．2．1 框架原理 263
10．2．2 Auto-Sklearn 264
10．2．3 Auto-ML 266
10．2．4 Auto-Keras 267
10．3 自然語(yǔ)言處理 269
10．3．1 分詞工具 269
10．3．2 TF-IDF 271
10．4 建模相關(guān)技術(shù) 274
10．4．1 切分?jǐn)?shù)據(jù)集與交叉
驗(yàn)證 274
10．4．2 模型調(diào)參 276
10．4．3 學(xué)習(xí)曲線(xiàn)和驗(yàn)證
曲線(xiàn) 279
10．4．4 保存模型 282
第11章 大數(shù)據(jù)競(jìng)賽平臺(tái) 283
11．1 定義問(wèn)題 283
11．1．1 強(qiáng)人工智能與弱
人工智能 284
11．1．2 Datathon競(jìng)賽 285
11．2 算法競(jìng)賽 286
11．2．1 大數(shù)據(jù)競(jìng)賽平臺(tái)
優(yōu)勢(shì) 287
11．2．2 Kaggle大數(shù)據(jù)
平臺(tái) 288
11．2．3 實(shí)戰(zhàn)泰坦尼克號(hào)
幸存問(wèn)題 288
11．2．4 國(guó)內(nèi)大數(shù)據(jù)平臺(tái) 294
11．2．5 賽題選擇 294
11．2．6 比賽注意事項(xiàng) 295
第12章 決策問(wèn)題：幸福感挖掘 296
12．1 賽題解讀 296
12．2 模型初探 297
12．3 模型調(diào)優(yōu) 299
12．3．1 模型粗調(diào) 299
12．3．2 模型精調(diào) 300
12．4 模型輸出 305
12．4．1 顯示決策樹(shù) 305
12．4．2 特征重要性 306
12．5 XGBoost模型 307
12．5．1 XGBoost參數(shù)分析 307
12．5．2 XGBoost原理解析 308
12．5．3 XGBoost源碼分析 312
第13章 遷移學(xué)習(xí)：貓狗圖片分類(lèi) 317
13．1 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 317
13．1．1 深度學(xué)習(xí) 318
13．1．2 卷積神經(jīng)網(wǎng)絡(luò) 319
13．1．3 卷積神經(jīng)網(wǎng)絡(luò)
發(fā)展史 321
13．2 使用現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型 321
13．3 遷移學(xué)習(xí) 322
13．4 解決貓狗分類(lèi)問(wèn)題 323
13．4．1 數(shù)據(jù)及代碼結(jié)構(gòu) 323
13．4．2 提取特征 324
13．4．3 訓(xùn)練模型和預(yù)測(cè) 325
13．4．4 訓(xùn)練結(jié)果分析 326
13．4．5 代碼下載 327
第14章 圖像分割：識(shí)別圖中物體 328
14．1 Mask R-CNN算法 329
14．1．1 R-CNN 329
14．1．2 SPP Net 330
14．1．3 Fast R-CNN 330
14．1．4 Faster R-CNN 331
14．1．5 Mask R-CNN 332
14．2 Mask R-CNN源碼解析 332
14．2．1 安裝工具 332
14．2．2 源碼結(jié)構(gòu) 333
14．3 訓(xùn)練模型與預(yù)測(cè) 334
14．3．1 制作訓(xùn)練數(shù)據(jù) 335
14．3．2 訓(xùn)練模型和預(yù)測(cè) 338
14．3．3 建模相關(guān)問(wèn)題 344
第15章 時(shí)間序列分析 346
15．1 時(shí)序問(wèn)題處理流程 346
15．1．1 分析問(wèn)題 346
15．1．2 解決思路 347
15．2 趨勢(shì)分析工具ARIMA 349
15．2．1 相關(guān)概念 349
15．2．2 模型示例 353
15．3 傅里葉和小波變換 357
15．3．1 傅里葉變換 358
15．3．2 小波變換 360
15．4 Prophet時(shí)序模型 361
15．4．1 模型介紹 362
15．4．2 獲取數(shù)據(jù) 362
15．4．3 模型示例 363
第16章 自然語(yǔ)言處理：微博互動(dòng)
預(yù)測(cè) 367
16．1 賽題分析 367
16．1．1 數(shù)據(jù)分析 368
16．1．2 評(píng)價(jià)函數(shù) 369
16．1．3 目標(biāo)變量分布 370
16．1．4 發(fā)博用戶(hù)統(tǒng)計(jì) 371
16．1．5 特殊用戶(hù)分析 371
16．1．6 整體分析 372
16．2 中文分析 372
16．2．1 正則表達(dá)式 373
16．2．2 自動(dòng)提取關(guān)鍵詞 376