大數(shù)據(jù)背后的核心技術(shù)

目 錄
第一部分 大數(shù)據(jù)基礎(chǔ)理論分析\t（1）
第1章 大數(shù)據(jù)基本概念\t（2）
1．1 大數(shù)據(jù)定義\t（2）
1．2 大數(shù)據(jù)度量\t（3）
1．2．1 大數(shù)據(jù)能耗度量\t（3）
1．2．2 大數(shù)據(jù)計(jì)算能力度量\t（4）
1．2．3 大數(shù)據(jù)的數(shù)據(jù)中心服務(wù)能力度量\t（4）
1．2．4 大數(shù)據(jù)商業(yè)與社會(huì)價(jià)值度量\t（4）
1．2．5 大數(shù)據(jù)冷熱度度量\t（5）
1．3 語意計(jì)算的發(fā)展過程\t（5）
1．3．1 語義計(jì)算（Semantic Computing）\t（5）
1．3．2 語意計(jì)算（Semantic+ Computing）\t（5）
1．3．3 語意計(jì)算（Semantic++ Computing）\t（6）
1．3．4 語意計(jì)算和大數(shù)據(jù)\t（7）
1．4 大數(shù)據(jù)的語意理解\t（8）
1．4．1 大數(shù)據(jù)資源語意存儲(chǔ)\t（9）
1．4．2 大數(shù)據(jù)資源語意信息獲取\t（9）
1．4．3 語意資源管理\t（9）
1．4．4 大數(shù)據(jù)語意處理\t（10）
1．4．5 大數(shù)據(jù)語意服務(wù)（語意分析/語意合成等）\t（10）
1．4．6 大數(shù)據(jù)語意安全與隱私\t（10）
1．4．7 語意接口\t（10）
1．4．8 基于語意的大數(shù)據(jù)應(yīng)用\t（10）
1．5 大數(shù)據(jù)和云計(jì)算\t（11）
1．5．1 云計(jì)算\t（11）
1．5．2 大數(shù)據(jù)和云計(jì)算的關(guān)系\t（11）
本章小結(jié)\t（12）
第2章 可編程數(shù)據(jù)中心\t（13）
2．1 可編程數(shù)據(jù)中心體系架構(gòu)\t（13）
2．2 數(shù)據(jù)分配管理\t（14）
2．2．1 數(shù)據(jù)分配管理原理\t（14）
2．2．2 數(shù)據(jù)分配管理案例\t（17）
2．3 異構(gòu)數(shù)據(jù)節(jié)點(diǎn)分配管理\t（19）
2．3．1 異構(gòu)數(shù)據(jù)節(jié)點(diǎn)分配管理方法\t（20）
2．3．2 異構(gòu)數(shù)據(jù)節(jié)點(diǎn)服務(wù)能力計(jì)算方法\t（22）
2．4 規(guī)則管理\t（23）
2．4．1 規(guī)則\t（23）
2．4．2 語意規(guī)則\t（24）
2．4．3 海量語意規(guī)則管理架構(gòu)\t（24）
2．5 數(shù)據(jù)放置策略\t（25）
2．5．1 谷歌的數(shù)據(jù)放置策略\t（25）
2．5．2 Hadoop的數(shù)據(jù)放置策略\t（26）
2．5．3 其他常用的數(shù)據(jù)放置策略\t（26）
2．5．4 語意數(shù)據(jù)放置策略\t（26）
2．6 可編程數(shù)據(jù)中心機(jī)房架構(gòu)\t（30）
本章小結(jié)\t（30）
第3章 云文件系統(tǒng)\t（32）
3．1 常用云文件系統(tǒng)綜述\t（32）
3．2 語意云文件系統(tǒng)SCFS\t（34）
3．2．1 SCFS系統(tǒng)架構(gòu)\t（34）
3．2．2 SCFS大小文件處理機(jī)制\t（36）
3．2．3 數(shù)據(jù)一致性保障\t（40）
3．2．4 元數(shù)據(jù)集群管理技術(shù)\t（40）
3．2．5 副本管理策略（負(fù)載均衡機(jī)制）\t（41）
本章小結(jié)\t（44）
第4章 云數(shù)據(jù)庫系統(tǒng)\t（45）
4．1 常用云數(shù)據(jù)庫系統(tǒng)綜述\t（45）
4．2 語意云數(shù)據(jù)庫系統(tǒng)SCloudDB\t（47）
4．2．1 SCloudDB系統(tǒng)架構(gòu)\t（47）
4．2．2 SCloudDB設(shè)計(jì)思路\t（48）
4．2．3 SCloudDB的SRegion定位機(jī)制\t（50）
4．2．4 多維及海量隨機(jī)查詢機(jī)制\t（51）
4．2．5 支持多維及海量隨機(jī)查詢的語意搜索機(jī)制\t（52）
4．2．6 大表劃分方法\t（54）
4．2．7 基于列族存儲(chǔ)及語意的大表劃分機(jī)制\t（56）
4．2．8 分布式同步關(guān)鍵技術(shù)\t（57）
本章小結(jié)\t（59）
第5章 大數(shù)據(jù)并行編程與分析模型\t（60）
5．1 大數(shù)據(jù)并行編程與分析模型綜述\t（60）
5．2 大數(shù)據(jù)并行編程與分析模型SemanMR\t（63）
5．2．1 SemanMR體系架構(gòu)\t（63）
5．2．2 SemanMR技術(shù)思路\t（64）
5．3 SemanMR關(guān)鍵技術(shù)\t（66）
5．3．1 基于語意的調(diào)度器關(guān)鍵技術(shù)\t（66）
5．3．2 SemanMR的作業(yè)/任務(wù)狀態(tài)交互新規(guī)則\t（68）
5．3．3 語意映射器關(guān)鍵技術(shù)\t（69）
5．3．4 基于語意的作業(yè)調(diào)度器關(guān)鍵技術(shù)\t（70）
5．3．5 基于語意的任務(wù)調(diào)度器關(guān)鍵技術(shù)\t（73）
5．3．6 任務(wù)跟蹤器關(guān)鍵技術(shù)\t（76）
5．4 SemanMR計(jì)算部分框架\t（78）
5．5 SemanMR原理分析\t（82）
5．5．1 SemanMR原理實(shí)現(xiàn)分析\t（82）
5．5．2 SemanMR實(shí)現(xiàn)原理特點(diǎn)分析\t（84）
5．6 基于SemanMR的大數(shù)據(jù)實(shí)時(shí)處理與分析實(shí)現(xiàn)技術(shù)\t（88）
5．6．1 SemanMR實(shí)時(shí)架構(gòu)\t（88）
5．6．2 SemanMR的MapReduce網(wǎng)絡(luò)優(yōu)化技術(shù)\t（89）
本章小結(jié)\t（94）
第6章 大數(shù)據(jù)智能計(jì)算算法\t（95）
6．1 大數(shù)據(jù)智能計(jì)算算法架構(gòu)\t（95）
6．2 數(shù)據(jù)采集算法\t（95）
6．2．1 管理信息系統(tǒng)數(shù)據(jù)采集\t（96）
6．2．2 網(wǎng)絡(luò)信息數(shù)據(jù)采集\t（96）
6．2．3 物理信息數(shù)據(jù)采集\t（96）
6．3 數(shù)據(jù)預(yù)處理算法\t（97）
6．4 數(shù)據(jù)挖掘算法\t（99）
6．4．1 分類算法\t（99）
6．4．2 聚類算法\t（100）
6．4．3 關(guān)聯(lián)挖掘算法\t（101）
6．4．4 推薦算法\t（101）
6．5 復(fù)雜智能算法\t（103）
6．5．1 大數(shù)據(jù)溯源算法\t（103）
6．5．2 大數(shù)據(jù)的相關(guān)推薦算法\t（105）
6．5．3 基于大數(shù)據(jù)的決策管理算法\t（105）
6．5．4 基于模型的推理及預(yù)測算法\t（106）
6．5．5 基于數(shù)據(jù)的推理及預(yù)測算法\t（107）
6．5．6 基于規(guī)則的推理及預(yù)測算法\t（109）
6．5．7 混合推理及預(yù)測算法\t（109）
本章小結(jié)\t（109）
第7章 基于大數(shù)據(jù)的數(shù)據(jù)倉庫技術(shù)\t（110）
7．1 Facebook中Hive采用的技術(shù)思路與存在問題分析\t（110）
7．1．1 Hive采用的技術(shù)思路分析\t（110）
7．1．2 Hive存在的問題分析\t（111）
7．2 Yahoo!中Pig采用的技術(shù)思路與存在問題分析\t（111）
7．2．1 Pig采用的技術(shù)思路分析\t（111）
7．2．2 Pig存在的問題分析\t（112）
7．3 未來數(shù)據(jù)倉庫架構(gòu)需求分析\t（113）
7．4 一種基于大數(shù)據(jù)的數(shù)據(jù)倉庫SemanDW\t（114）
本章小結(jié)\t（114）
第8章 大數(shù)據(jù)安全與隱私保護(hù)\t（115）
8．1 大數(shù)據(jù)安全模型BigData-PKI\t（115）
8．1．1 大數(shù)據(jù)安全體系結(jié)構(gòu)\t（115）
8．1．2 大數(shù)據(jù)安全模型BigData-PKI\t（116）
8．2 大數(shù)據(jù)安全協(xié)議BigData-Protocol\t（118）
8．3 大數(shù)據(jù)隱私\t（120）
8．4 大數(shù)據(jù)的隱私提取方法\t（121）
8．4．1 大數(shù)據(jù)的直接隱私提取方法\t（121）
8．4．2 大數(shù)據(jù)的間接隱私提取方法\t（121）
8．5 大數(shù)據(jù)隱私保護(hù)模型BigData-Privacy\t（122）
8．6 大數(shù)據(jù)共享信息與隱私信息融合技術(shù)\t（122）
8．6．1 大數(shù)據(jù)的共享信息與隱私信息融合機(jī)制\t（123）
8．6．2 大數(shù)據(jù)的共享信息與隱私信息融合算法\t（123）
8．6．3 大數(shù)據(jù)的共享信息與隱私信息融合質(zhì)量評價(jià)模型\t（123）
8．7 云環(huán)境下醫(yī)療大數(shù)據(jù)安全和隱私保護(hù)示范\t（125）
8．7．1 云環(huán)境下大數(shù)據(jù)安全和隱私保護(hù)架構(gòu)\t（125）
8．7．2 數(shù)據(jù)分割及安全機(jī)制\t（127）
8．7．3 數(shù)據(jù)融合及安全機(jī)制\t（129）
8．7．4 基于隱私數(shù)據(jù)的查詢機(jī)制\t（130）
8．7．5 數(shù)據(jù)完整性保障機(jī)制\t（131）
8．8 海量電子病歷安全保護(hù)應(yīng)用\t（133）
本章小結(jié)\t（134）
第9章 基于大數(shù)據(jù)的語意軟件工程方法\t（135）
9．1 基于大數(shù)據(jù)的語意軟件工程體系架構(gòu)\t（136）
9．2 基于大數(shù)據(jù)的語意軟件編制\t（136）
9．2．1 基于大數(shù)據(jù)的語意軟件編制方法\t（136）
9．2．2 基于大數(shù)據(jù)的語意軟件編制方法設(shè)計(jì)思路\t（137）
9．2．3 復(fù)雜的SemanPL程序編程實(shí)現(xiàn)原理分析\t（138）
9．2．4 基于大數(shù)據(jù)的語意編程語言SemanPL\t（139）
9．2．5 SemanPL編譯器原理分析\t（141）
9．3 基于大數(shù)據(jù)的語意軟件測試\t（143）
9．4 基于大數(shù)據(jù)的語意軟件驗(yàn)證\t（143）
9．5 基于大數(shù)據(jù)的語意軟件工程方法的語意軟件系統(tǒng)應(yīng)用\t（144）
本章小結(jié)\t（144）
第二部分 基于海量語意規(guī)則的大數(shù)據(jù)流處理技術(shù)\t（145）
第10章 基于規(guī)則的大數(shù)據(jù)流處理介紹\t（147）
10．1 基于規(guī)則的大數(shù)據(jù)流\t（147）
10．1．1 基于規(guī)則的大數(shù)據(jù)流應(yīng)用背景\t（147）
10．1．2 基于規(guī)則的大數(shù)據(jù)流應(yīng)用意義\t（148）
10．2 大數(shù)據(jù)流的規(guī)則處理技術(shù)國內(nèi)外研究現(xiàn)狀\t（149）
10．3 存在的問題總結(jié)與分析\t（153）
本章小結(jié)\t（154）
第11章 語意規(guī)則描述模型\t（155）
11．1 規(guī)則表示方法\t（155）
11．2 規(guī)則節(jié)點(diǎn)圖形化符號表示模型\t（155）
11．2．1 非計(jì)算規(guī)則節(jié)點(diǎn)\t（156）
11．2．2 計(jì)算規(guī)則節(jié)點(diǎn)\t（156）
11．3 規(guī)則粒度\t（158）
11．4 規(guī)則節(jié)點(diǎn)流量分析\t（159）
11．5 計(jì)算規(guī)則節(jié)點(diǎn)計(jì)算代價(jià)分析\t（163）
本章小結(jié)\t（167）
第12章 海量語意規(guī)則網(wǎng)及優(yōu)化\t（168）
12．1 海量語意規(guī)則網(wǎng)概述\t（168）
12．2 海量語意規(guī)則網(wǎng)維護(hù)\t（169）
12．2．1 海量語意規(guī)則網(wǎng)增量集成\t（169）
12．2．2 刪除規(guī)則節(jié)點(diǎn)時(shí)的規(guī)則網(wǎng)維護(hù)\t（170）
12．3 海量語意規(guī)則網(wǎng)優(yōu)化方法\t（171）
12．3．1 基于規(guī)則合并的優(yōu)化方法\t（171）
12．3．2 規(guī)則模塊等價(jià)變換的優(yōu)化方法\t（173）
本章小結(jié)\t（183）
第13章 海量語意規(guī)則處理算法\t（184）
13．1 傳統(tǒng)規(guī)則處理算法存在的問題\t（184）
13．2 海量語意規(guī)則模式匹配模型\t（185）
13．2．1 海量語意規(guī)則模式匹配模型體系結(jié)構(gòu)\t（185）
13．2．2 概念與介紹\t（186）
13．2．3 模式網(wǎng)絡(luò)存儲(chǔ)組織\t（186）
13．2．4 海量語意規(guī)則模式匹配算法\t（188）
13．3 海量語意規(guī)則模式匹配算法特點(diǎn)\t（192）
13．4 海量語意規(guī)則網(wǎng)運(yùn)行處理機(jī)制\t（195）
本章小結(jié)\t（198）
第14章 海量語意規(guī)則并行處理\t（199）
14．1 海量語意規(guī)則并行處理面臨的問題\t（199）
14．2 海量語意規(guī)則并行處理機(jī)制\t（200）
14．2．1 海量語意規(guī)則并行處理機(jī)制GAPCM概述\t（200）
14．2．2 海量語意規(guī)則子網(wǎng)生成\t（201）
14．2．3 海量語意規(guī)則網(wǎng)計(jì)算代價(jià)預(yù)分配\t（202）
14．2．4 海量語意規(guī)則網(wǎng)通信\t（219）
14．2．5 映射分配\t（220）
本章小結(jié)\t（221）
第三部分 大數(shù)據(jù)應(yīng)用\t（223）
第15章 文化大數(shù)據(jù)\t（224）
15．1 文化大數(shù)據(jù)的意義\t（224）
15．2 文化大數(shù)據(jù)關(guān)鍵技術(shù)平臺(tái)架構(gòu)\t（225）
15．3 文化大數(shù)據(jù)資源層\t（226）
15．4 文化大數(shù)據(jù)綜合平臺(tái)層\t（227）
15．5 基于文化大數(shù)據(jù)的應(yīng)用\t（228）
15．6 文化大數(shù)據(jù)云管理系統(tǒng)\t（232）
本章小結(jié)\t（234）
第16章 醫(yī)療健康大數(shù)據(jù)\t（235）
16．1 醫(yī)療健康大數(shù)據(jù)\t（235）
16．2 醫(yī)療健康大數(shù)據(jù)平臺(tái)架構(gòu)\t（235）
16．3 醫(yī)療健康大數(shù)據(jù)共享平臺(tái)\t（237）
16．3．1 集中式醫(yī)療健康大數(shù)據(jù)共享平臺(tái)\t（237）
16．3．2 分散式醫(yī)療健康大數(shù)據(jù)共享平臺(tái)\t（238）
16．4 醫(yī)療健康大數(shù)據(jù)分散式架構(gòu)資源集成方法\t（239）
16．5 醫(yī)療健康大數(shù)據(jù)數(shù)據(jù)安全保護(hù)機(jī)制\t（241）
16．6 醫(yī)療健康大數(shù)據(jù)隱私保護(hù)機(jī)制\t（241）
16．7 醫(yī)療健康大數(shù)據(jù)挖掘與分析\t（242）
16．8 基于可穿戴設(shè)備的居家醫(yī)療養(yǎng)老大數(shù)據(jù)分析系統(tǒng)\t（243）
16．9 醫(yī)療健康大數(shù)據(jù)其他典型應(yīng)用\t（244）
本章小結(jié)\t（245）
第17章 互聯(lián)網(wǎng)金融大數(shù)據(jù)\t（246）
17．1 互聯(lián)網(wǎng)金融\t（246）
17．1．1 互聯(lián)網(wǎng)金融的概念\t（246）
17．1．2 互聯(lián)網(wǎng)金融的產(chǎn)生\t（246）
17．1．3 互聯(lián)網(wǎng)金融分類\t（247）
17．1．4 互聯(lián)網(wǎng)金融發(fā)展歷程\t（248）
17．1．5 互聯(lián)網(wǎng)金融發(fā)展階段\t（251）
17．1．6 互聯(lián)網(wǎng)金融發(fā)展趨勢\t（252）
17．2 大數(shù)據(jù)金融\t（253）
17．3 金融大數(shù)據(jù)架構(gòu)\t（254）
17．3．1 金融大數(shù)據(jù)數(shù)據(jù)源\t（255）
17．3．2 數(shù)據(jù)采集/清洗/轉(zhuǎn)換\t（255）
17．3．3 金融大數(shù)據(jù)存儲(chǔ)\t（255）
17．3．4 各種金融模型\t（256）
17．3．5 各種大數(shù)據(jù)挖掘分析算法\t（257）
17．3．6 各種大數(shù)據(jù)并行編程模型\t（257）
17．3．7 各種大數(shù)據(jù)金融應(yīng)用\t（257）
17．4 大數(shù)據(jù)金融案例\t（257）
本章小結(jié)\t（258）
第18章 其他典型大數(shù)據(jù)\t（259）
18．1 教育大數(shù)據(jù)\t（259）
18．1．1 教育大數(shù)據(jù)平臺(tái)架構(gòu)\t（259）
18．1．2 基于大數(shù)據(jù)的教育社區(qū)學(xué)生/教師個(gè)性化服務(wù)\t（261）
18．1．3 基于大數(shù)據(jù)的教育社區(qū)學(xué)生行為建模與分析\t（262）
18．1．4 基于大數(shù)據(jù)的教育社區(qū)教學(xué)規(guī)律分析\t（262）
18．1．5 基于大數(shù)據(jù)的教育社區(qū)個(gè)性化教學(xué)\t（262）
18．1．6 基于教育大數(shù)據(jù)的語意問答系統(tǒng)\t（262）
18．2 電子商務(wù)大數(shù)據(jù)\t（263）
18．2．1 電子商務(wù)大數(shù)據(jù)平臺(tái)架構(gòu)\t（263）
18．2．2 電子商務(wù)虛假圖片監(jiān)測\t（265）
18．2．3 電子商務(wù)產(chǎn)品個(gè)性化推薦\t（265）
18．2．4 基于電子商務(wù)大數(shù)據(jù)的消費(fèi)者行為分析\t（266）
18．2．5 基于電子商務(wù)大數(shù)據(jù)的物流\t（266）
18．2．6 電子商務(wù)實(shí)時(shí)大數(shù)據(jù)流規(guī)則處理\t（266）
18．2．7 電子商務(wù)評估管理系統(tǒng)\t（267）
18．3 互聯(lián)網(wǎng)大數(shù)據(jù)\t（267）
18．3．1 互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)架構(gòu)\t（267）
18．3．2 互聯(lián)網(wǎng)熱點(diǎn)計(jì)算\t（268）
18．3．3 互聯(lián)網(wǎng)熱點(diǎn)個(gè)性化推薦\t（268）
18．3．4 互聯(lián)網(wǎng)輿情監(jiān)測\t（268）
18．3．5 互聯(lián)網(wǎng)熱點(diǎn)趨勢分析預(yù)測\t（269）
18．3．6 互聯(lián)網(wǎng)輿情預(yù)警應(yīng)用\t（269）
18．3．7 大型網(wǎng)絡(luò)軟件平臺(tái)的數(shù)據(jù)采集與分析方案\t（269）
18．4 能源大數(shù)據(jù)\t（272）
18．4．1 石油大數(shù)據(jù)\t（272）
18．4．2 智能電網(wǎng)大數(shù)據(jù)\t（275）
18．5 交通大數(shù)據(jù)\t（276）
18．6 宏觀經(jīng)濟(jì)大數(shù)據(jù)\t（278）
18．7 進(jìn)出口食品安全監(jiān)管大數(shù)據(jù)\t（280）
18．7．1 基于大數(shù)據(jù)的進(jìn)出口食品安全監(jiān)管系統(tǒng)總體架構(gòu)\t（280）
18．7．2 基于大數(shù)據(jù)的進(jìn)出口食品安全監(jiān)測分析\t（280）
18．7．3 基于海量語意規(guī)則的進(jìn)出口食品社會(huì)應(yīng)急分析\t（281）
18．7．4 基于大數(shù)據(jù)的進(jìn)出口食品溯源分析\t（282）
18．7．5 基于大數(shù)據(jù)的進(jìn)出口食品安全決策\(yùn)t（283）
本章小結(jié)\t（283）
第19章 基于大數(shù)據(jù)的語意計(jì)算及典型應(yīng)用\t（284）
19．1 基于大數(shù)據(jù)的應(yīng)用領(lǐng)域分析\t（284）
19．1．1 基于大數(shù)據(jù)的社交網(wǎng)絡(luò)領(lǐng)域應(yīng)用分析\t（284）
19．1．2 基于大數(shù)據(jù)的醫(yī)療領(lǐng)域應(yīng)用分析\t（285）
19．1．3 基于大數(shù)據(jù)的政府領(lǐng)域應(yīng)用分析\t（287）
19．1．4 基于大數(shù)據(jù)的金融領(lǐng)域應(yīng)用分析\t（289）
19．1．5 基于大數(shù)據(jù)的企業(yè)計(jì)算應(yīng)用分析\t（290）
19．2 語意搜索引擎\t（291）
19．2．1 傳統(tǒng)搜索引擎\t（292）
19．2．2 語義搜索引擎（Semantic Search Engine）\t（293）
19．2．3 語意搜索引擎（Semantic+ Search Engine）\t（293）
19．2．4 語意搜索引擎（Semantic++ Search Engine）\t（295）
19．3 語意金融\t（296）
19．4 語意旅游\t（296）
19．5 語意電子商務(wù)\t（297）
19．5．1 案例概述\t（297）
19．5．2 校園社區(qū)網(wǎng)規(guī)則舉例\t（298）
19．5．3 優(yōu)化的帶流量的規(guī)則網(wǎng)\t（302）
19．5．4 未經(jīng)優(yōu)化的帶流量的規(guī)則網(wǎng)優(yōu)化\t（302）
19．5．5 規(guī)則網(wǎng)絡(luò)代價(jià)計(jì)算\t（305）
19．5．6 規(guī)則網(wǎng)絡(luò)任務(wù)劃分\t（306）
19．5．7 規(guī)則子網(wǎng)劃分\t（308）
本章小結(jié)\t（310）
第20章 大數(shù)據(jù)未來研究方向\t（311）
參考文獻(xiàn)\t（316）