大數(shù)據(jù)技術(shù)原理與應(yīng)用：概念、存儲、處理、分析與應(yīng)用

第一篇大數(shù)據(jù)基礎(chǔ)第1章大數(shù)據(jù)概述1．1大數(shù)據(jù)時代1．1．1第三次信息化浪潮1．1．2信息科技為大數(shù)據(jù)時代提供技術(shù)支撐1．1．3數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時代的來臨1．1．4大數(shù)據(jù)的發(fā)展歷程1．2大數(shù)據(jù)的概念1．2．1數(shù)據(jù)量大1．2．2數(shù)據(jù)類型繁多1．2．3處理速度快1．2．4價(jià)值密度低1．3大數(shù)據(jù)的影響1．3．1大數(shù)據(jù)對科學(xué)研究的影響1．3．2大數(shù)據(jù)對思維方式的影響1．3．3大數(shù)據(jù)對社會發(fā)展的影響1．3．4大數(shù)據(jù)對就業(yè)市場的影響1．3．5大數(shù)據(jù)對人才培養(yǎng)的影響1．4大數(shù)據(jù)的應(yīng)用1．5大數(shù)據(jù)關(guān)鍵技術(shù)1．6大數(shù)據(jù)計(jì)算模式1．6．1批處理計(jì)算1．6．2流計(jì)算1．6．3圖計(jì)算1．6．4查詢分析計(jì)算1．7大數(shù)據(jù)產(chǎn)業(yè)1．8大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)1．8．1云計(jì)算1．8．2物聯(lián)網(wǎng)1．8．3大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系1．9本章小結(jié)1．10習(xí)題第2章大數(shù)據(jù)處理架構(gòu)Hadoop2．1概述2．1．1Hadoop簡介2．1．2Hadoop的發(fā)展簡史2．1．3Hadoop的特性2．1．4Hadoop的應(yīng)用現(xiàn)狀2．2Hadoop的項(xiàng)目結(jié)構(gòu)2．2．1Common2．2．2Avro2．2．3HDFS2．2．4HBase2．2．5MapReduce2．2．6Zookeeper2．2．7Hive2．2．8Pig2．2．9Sqoop2．2．10Chukwa2．3Hadoop的安裝與使用2．3．1創(chuàng)建Hadoop用戶2．3．2Java的安裝2．3．3SSH登錄權(quán)限設(shè)置2．3．4安裝單機(jī)Hadoop2．3．5Hadoop偽分布式安裝2．4本章小結(jié)2．5習(xí)題第二篇大數(shù)據(jù)存儲第3章Hadoop分布式文件系統(tǒng)3．1分布式文件系統(tǒng)3．1．1計(jì)算機(jī)集群結(jié)構(gòu)3．1．2分布式文件系統(tǒng)的結(jié)構(gòu)3．1．3分布式文件系統(tǒng)的設(shè)計(jì)需求3．2HDFS簡介3．3HDFS的相關(guān)概念3．3．1塊3．3．2名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)3．4HDFS體系結(jié)構(gòu)3．4．1概述3．4．2HDFS命名空間管理3．4．3通信協(xié)議3．4．4客戶端3．4．5HDFS體系結(jié)構(gòu)的局限性3．5HDFS的存儲原理3．5．1冗余數(shù)據(jù)的保存3．5．2數(shù)據(jù)存取策略3．5．3數(shù)據(jù)錯誤與恢復(fù)3．6HDFS的數(shù)據(jù)讀寫過程3．6．1讀數(shù)據(jù)的過程3．6．2寫數(shù)據(jù)的過程3．7HDFS編程實(shí)踐3．7．1HDFS常用命令3．7．2HDFS的Web界面3．7．3HDFS常用JavaAPI及應(yīng)用實(shí)例3．8本章小結(jié)3．9習(xí)題第4章分布式數(shù)據(jù)庫HBase4．1概述4．1．1從BigTable說起4．1．2HBase簡介4．1．3HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對比分析4．2HBase訪問接口4．3HBase數(shù)據(jù)模型4．3．1數(shù)據(jù)模型概述4．3．2數(shù)據(jù)模型的相關(guān)概念4．3．3數(shù)據(jù)坐標(biāo)4．3．4概念視圖4．3．5物理視圖4．3．6面向列的存儲4．4HBase的實(shí)現(xiàn)原理4．4．1HBase的功能組件4．4．2表和Region4．4．3Region的定位4．5HBase運(yùn)行機(jī)制4．5．1HBase系統(tǒng)架構(gòu)4．5．2Region服務(wù)器的工作原理4．5．3Store的工作原理4．5．4HLog的工作原理4．6HBase編程實(shí)踐4．6．1HBase常用的Shell命令4．6．2HBase常用的JavaAPI及應(yīng)用實(shí)例4．7本章小結(jié)4．8習(xí)題第5章NoSQL數(shù)據(jù)庫5．1NoSQL簡介5．2NoSQL興起的原因5．2．1關(guān)系數(shù)據(jù)庫法滿足Web2．0的需求5．2．2關(guān)系數(shù)據(jù)庫的關(guān)鍵特性在Web2．時代成為雞肋5．3NoSQL與關(guān)系數(shù)據(jù)庫的比較5．4NoSQL的四大類型5．4．1鍵值數(shù)據(jù)庫5．4．2列族數(shù)據(jù)庫5．4．3文檔數(shù)據(jù)庫5．4．4圖形數(shù)據(jù)庫5．5NoSQL的三大基石5．5．1CAP5．5．2BASE5．5．3最終一致性5．6從NoSQL到NewSQL數(shù)據(jù)庫5．7本章小結(jié)5．8習(xí)題第6章云數(shù)據(jù)庫6．1云數(shù)據(jù)庫概述6．1．1云計(jì)算是云數(shù)據(jù)庫興起的基礎(chǔ)6．1．2云數(shù)據(jù)庫的概念6．1．3云數(shù)據(jù)庫的特性6．1．4云數(shù)據(jù)庫是個性化數(shù)據(jù)存儲需求的理想選擇6．1．5云數(shù)據(jù)庫與其他數(shù)據(jù)庫的關(guān)系6．2云數(shù)據(jù)庫產(chǎn)品6．2．1云數(shù)據(jù)庫廠商概述6．2．2Amazon的云數(shù)據(jù)庫產(chǎn)品6．2．3Google的云數(shù)據(jù)庫產(chǎn)品6．2．4微軟的云數(shù)據(jù)庫產(chǎn)品6．2．5其他云數(shù)據(jù)庫產(chǎn)品6．3云數(shù)據(jù)庫系統(tǒng)架構(gòu)6．3．1UMP系統(tǒng)概述6．3．2UMP系統(tǒng)架構(gòu)6．3．3UMP系統(tǒng)功能6．4云數(shù)據(jù)庫實(shí)踐6．4．1阿里云RDS簡介6．4．2RDS中的概念6．4．3購買和使用RDS數(shù)據(jù)庫6．4．4將本地?cái)?shù)據(jù)庫遷移到云端RDS數(shù)據(jù)庫6．5本章小結(jié)6．6習(xí)題第三篇大數(shù)據(jù)處理與分析第7章MapReduce7．1概述7．1．1分布式并行編程7．1．2MapReduce模型簡介7．1．3Map和Reduce函數(shù)7．2MapReduce的工作流程7．2．1工作流程概述7．2．2MapReduce的各個執(zhí)行階段7．2．3Shuffle過程詳解7．3實(shí)例分析：WordCount7．3．1WordCount的程序任務(wù)7．3．2WordCount的設(shè)計(jì)思路7．3．3MapReduce的具體執(zhí)行過程7．3．4一個WordCount執(zhí)行過程的實(shí)例7．4MapReduce的具體應(yīng)用7．4．1MapReduce在關(guān)系代數(shù)運(yùn)算中的應(yīng)用7．4．2分組與聚合運(yùn)算7．4．3矩陣-向量乘法7．4．4矩陣乘法7．5MapReduce編程實(shí)踐7．5．1任務(wù)要求7．5．2編寫Map處理邏輯7．5．3編寫Reduce處理邏輯7．5．4編寫main方法7．5．5編譯打包代碼以及運(yùn)行程序7．6本章小結(jié)7．7習(xí)題第8章流計(jì)算8．1流計(jì)算概述8．1．1靜態(tài)數(shù)據(jù)和流數(shù)據(jù)8．1．2批量計(jì)算和實(shí)時計(jì)算8．1．3流計(jì)算的概念8．1．4流計(jì)算與Hadoop8．1．5流計(jì)算框架8．2流計(jì)算的處理流程8．2．1概述8．2．2數(shù)據(jù)實(shí)時采集8．2．3數(shù)據(jù)實(shí)時計(jì)算8．2．4實(shí)時查詢服務(wù)8．3流計(jì)算的應(yīng)用8．3．1應(yīng)用場景1：實(shí)時分析8．3．2應(yīng)用場景2：實(shí)時交通8．4開源流計(jì)算框架Storm8．4．1Storm簡介