大數(shù)據(jù)導(dǎo)論

項(xiàng)目1 大數(shù)據(jù)與大數(shù)據(jù)時(shí)代
任務(wù)1．1 進(jìn)入大數(shù)據(jù)時(shí)代
【導(dǎo)讀案例】 準(zhǔn)確預(yù)測(cè)地震
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 進(jìn)入大數(shù)據(jù)時(shí)代
1．1．1 天文學(xué)――信息爆炸的起源
1．1．2 大數(shù)據(jù)的發(fā)展
1．1．3 重新認(rèn)識(shí)數(shù)據(jù)
1．1．4 數(shù)據(jù)集與數(shù)據(jù)分析
【作 業(yè)】
【實(shí)訓(xùn)操作】 ETI公司的背景信息
任務(wù)1．2 熟悉大數(shù)據(jù)的定義
【導(dǎo)讀案例】 得數(shù)據(jù)者得天下
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 定義大數(shù)據(jù)
1．2．1 大數(shù)據(jù)的定義
1．2．2 大數(shù)據(jù)的3V和5V特征
1．2．3 廣義的大數(shù)據(jù)
1．2．4 大數(shù)據(jù)的結(jié)構(gòu)類型
【作 業(yè)】
【實(shí)訓(xùn)操作】 為ETI公司確定數(shù)據(jù)特征與類型
項(xiàng)目2 大數(shù)據(jù)時(shí)代思維變革
任務(wù)2．1 理解思維轉(zhuǎn)變之一：樣本=總體
【導(dǎo)讀案例】 亞馬遜推薦系統(tǒng)
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 分析更多數(shù)據(jù)而不再是只依賴于隨機(jī)采樣
2．1．1 小數(shù)據(jù)時(shí)代的隨機(jī)采樣
2．1．2 大數(shù)據(jù)與喬布斯的癌癥治療
2．1．3 全數(shù)據(jù)模式：樣本=總體
【作 業(yè)】
【實(shí)訓(xùn)操作】 搜索與分析，體驗(yàn)“樣本=總體”
任務(wù)2．2 理解思維轉(zhuǎn)變之二：接受數(shù)據(jù)的混雜性
【導(dǎo)讀案例】 數(shù)據(jù)驅(qū)動(dòng)≠大數(shù)據(jù)
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 不再熱衷于追求精確度
2．2．1 允許不精確
2．2．2 大數(shù)據(jù)的簡(jiǎn)單算法與小數(shù)據(jù)的復(fù)雜算法
2．2．3 紛繁的數(shù)據(jù)越多越好
2．2．4 混雜性是標(biāo)準(zhǔn)途徑
2．2．5 新的數(shù)據(jù)庫設(shè)計(jì)
2．2．6 5%的數(shù)字?jǐn)?shù)據(jù)與95%的非結(jié)構(gòu)化數(shù)據(jù)
【作 業(yè)】
【實(shí)訓(xùn)操作】 搜索與分析，體驗(yàn)“接受數(shù)據(jù)的混雜性”
任務(wù)2．3 理解思維轉(zhuǎn)變之三：數(shù)據(jù)的相關(guān)關(guān)系
【導(dǎo)讀案例】 美國百億美元望遠(yuǎn)鏡主鏡安裝完畢
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 不再熱衷于尋找因果關(guān)系
2．3．1 關(guān)聯(lián)物，預(yù)測(cè)的關(guān)鍵
2．3．2 “是什么”，而不是“為什么”
2．3．3 通過因果關(guān)系了解世界
2．3．4 通過相關(guān)關(guān)系了解世界
【作 業(yè)】
【實(shí)訓(xùn)操作】 搜索與分析，體驗(yàn)“數(shù)據(jù)的相關(guān)關(guān)系”
項(xiàng)目3 大數(shù)據(jù)促進(jìn)行業(yè)發(fā)展
任務(wù)3．1 理解大數(shù)據(jù)促進(jìn)醫(yī)療與健康
【導(dǎo)讀案例】 大數(shù)據(jù)變革公共衛(wèi)生
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)促進(jìn)醫(yī)療與健康
3．1．1 大數(shù)據(jù)促進(jìn)循證醫(yī)學(xué)發(fā)展
3．1．2 大數(shù)據(jù)帶來醫(yī)療保健新突破
3．1．3 醫(yī)療信息數(shù)字化
3．1．4 超級(jí)大數(shù)據(jù)的最佳伙伴――搜索
3．1．5 數(shù)據(jù)決策的成功崛起
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉大數(shù)據(jù)在醫(yī)療健康領(lǐng)域的應(yīng)用
任務(wù)3．2 理解大數(shù)據(jù)激發(fā)創(chuàng)造力
【導(dǎo)讀案例】 臉書的設(shè)計(jì)決策
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)激發(fā)創(chuàng)造力
3．2．1 大數(shù)據(jù)幫助改善設(shè)計(jì)
3．2．2 大數(shù)據(jù)操作回路
3．2．3 大數(shù)據(jù)資產(chǎn)的崛起
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉大數(shù)據(jù)如何激發(fā)創(chuàng)造力
項(xiàng)目4 大數(shù)據(jù)方法的驅(qū)動(dòng)力
任務(wù)4．1 理解采用大數(shù)據(jù)的商業(yè)動(dòng)機(jī)
【導(dǎo)讀案例】 大數(shù)據(jù)企業(yè)的縮影――谷歌（Google）
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 將數(shù)據(jù)變成競(jìng)爭(zhēng)優(yōu)勢(shì)
4．1．1 大數(shù)據(jù)的跨界年度
4．1．2 谷歌的大數(shù)據(jù)行動(dòng)
4．1．3 亞馬遜的大數(shù)據(jù)行動(dòng)
4．1．4 將信息變成一種競(jìng)爭(zhēng)優(yōu)勢(shì)
4．1．5 市場(chǎng)動(dòng)態(tài)
4．1．6 業(yè)務(wù)架構(gòu)
4．1．7 業(yè)務(wù)流程管理
【作 業(yè)】
【實(shí)訓(xùn)操作】 理解采用大數(shù)據(jù)的商業(yè)動(dòng)機(jī)
任務(wù)4．2 理解大數(shù)據(jù)規(guī)劃考慮
【導(dǎo)讀案例】 Google搜索算法告訴你，如何將一個(gè)人變成“傻瓜”
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)的規(guī)劃考慮
4．2．1 信息與通信技術(shù)
4．2．2 萬物互聯(lián)網(wǎng)
4．2．3 數(shù)據(jù)獲取與數(shù)據(jù)來源
4．2．4 不同的性能挑戰(zhàn)
4．2．5 不同的管理需求
【作 業(yè)】
【實(shí)訓(xùn)操作】 ETI公司掌握大數(shù)據(jù)規(guī)劃方法
任務(wù)4．3 熟悉大數(shù)據(jù)商務(wù)智能
【導(dǎo)讀案例】 微信支付新廣告，講了一個(gè)支付之外的故事
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)的商務(wù)智能
4．3．1 OLTP與OLAP
4．3．2 抽取、轉(zhuǎn)換和加載技術(shù)
4．3．3 數(shù)據(jù)倉庫與數(shù)據(jù)集市
4．3．4 傳統(tǒng)商務(wù)智能
4．3．5 大數(shù)據(jù)商務(wù)智能
4．3．6 大數(shù)據(jù)營銷
【作 業(yè)】
【實(shí)訓(xùn)操作】 學(xué)習(xí)“五力模型”，熟悉大數(shù)據(jù)商務(wù)智能
項(xiàng)目5 大數(shù)據(jù)存儲(chǔ)技術(shù)
任務(wù)5．1 熟悉大數(shù)據(jù)存儲(chǔ)概念
【導(dǎo)讀案例】 2018未來交通峰會(huì)召開，高德地圖升級(jí)易行平臺(tái)
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)存儲(chǔ)概念
5．1．1 數(shù)據(jù)清理
5．1．2 集群
5．1．3 文件系統(tǒng)和分布式文件系統(tǒng)
5．1．4 分片與復(fù)制
5．1．5 CAP定理
5．1．6 ACID設(shè)計(jì)原則
5．1．7 BASE設(shè)計(jì)原理
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉大數(shù)據(jù)存儲(chǔ)的概念
任務(wù)5．2 了解大數(shù)據(jù)存儲(chǔ)技術(shù)
【導(dǎo)讀案例】 基礎(chǔ)領(lǐng)域突破非一日之功，是數(shù)十年的耕耘
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)存儲(chǔ)技術(shù)
5．2．1 RDBMS數(shù)據(jù)庫
5．2．2 NoSQL數(shù)據(jù)庫
5．2．3 NewSQL數(shù)據(jù)庫
5．2．4 內(nèi)存存儲(chǔ)設(shè)備
5．2．5 內(nèi)存數(shù)據(jù)網(wǎng)格
5．2．6 內(nèi)存數(shù)據(jù)庫
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉大數(shù)據(jù)存儲(chǔ)技術(shù)
項(xiàng)目6 大數(shù)據(jù)處理技術(shù)
任務(wù)6．1 熟悉大數(shù)據(jù)處理技術(shù)
【導(dǎo)讀案例】 Cloudera領(lǐng)銜大數(shù)據(jù)基礎(chǔ)設(shè)施
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)技術(shù)架構(gòu)及處理技術(shù)
6．1．1 開源技術(shù)的商業(yè)支援
6．1．2 大數(shù)據(jù)的技術(shù)架構(gòu)
6．1．3 Hadoop數(shù)據(jù)處理基礎(chǔ)
6．1．4 處理工作量
6．1．5 批處理模式
6．1．6 SCV原則
6．1．7 實(shí)時(shí)處理模式
【作 業(yè)】
【實(shí)訓(xùn)操作】 理解和熟悉大數(shù)據(jù)處理技術(shù)
項(xiàng)目7 大數(shù)據(jù)分析技術(shù)
任務(wù)7．1 了解大數(shù)據(jù)預(yù)測(cè)分析
【導(dǎo)讀案例】 葡萄酒的品質(zhì)
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)預(yù)測(cè)分析的內(nèi)容與技術(shù)
7．1．1 什么是預(yù)測(cè)分析
7．1．2 數(shù)據(jù)具有內(nèi)在預(yù)測(cè)性
7．1．3 定量分析與定性分析
7．1．4 數(shù)據(jù)挖掘
7．1．5 統(tǒng)計(jì)分析
【作 業(yè)】
【實(shí)訓(xùn)操作】 大數(shù)據(jù)準(zhǔn)備度自我評(píng)分表
任務(wù)7．2 數(shù)據(jù)的內(nèi)在預(yù)測(cè)性
【導(dǎo)讀案例】 Google AI：機(jī)器學(xué)習(xí)預(yù)測(cè)場(chǎng)景深度圖，模擬人眼更進(jìn)一步
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 數(shù)據(jù)的內(nèi)在預(yù)測(cè)能力
7．2．1 機(jī)器學(xué)習(xí)
7．2．2 語義分析
7．2．3 視覺分析
7．2．4 情感分析
7．2．5 人工神經(jīng)網(wǎng)絡(luò)
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉ETI企業(yè)IT團(tuán)隊(duì)采用的大數(shù)據(jù)分析技術(shù)
任務(wù)7．3 熟悉大數(shù)據(jù)分析的生命周期
【導(dǎo)讀案例】 百度大數(shù)據(jù)為新冠病毒社會(huì)影響“畫像”：解讀疫情發(fā)展，量化經(jīng)濟(jì)擊，助力政府決策
導(dǎo)讀案例
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)分析的生命周期
7．3．1 商業(yè)案例評(píng)估
7．3．2 數(shù)據(jù)標(biāo)識(shí)
7．3．3 數(shù)據(jù)獲取與過濾
7．3．4 數(shù)據(jù)提取
7．3．5 數(shù)據(jù)驗(yàn)證與清理
7．3．6 數(shù)據(jù)聚合與表示
7．3．7 數(shù)據(jù)分析
7．3．8 數(shù)據(jù)可視化
7．3．9 分析結(jié)果的使用
【作 業(yè)】
【實(shí)訓(xùn)操作】 ETI企業(yè)所經(jīng)歷的大數(shù)據(jù)分析生命周期
項(xiàng)目8 大數(shù)據(jù)在云端
任務(wù)8．1 熟悉云時(shí)代背景下的大數(shù)據(jù)
【導(dǎo)讀案例】 亞馬遜，數(shù)據(jù)在云端
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 云端大數(shù)據(jù)的基礎(chǔ)設(shè)施
8．1．1 云端大數(shù)據(jù)
8．1．2 計(jì)算虛擬化
8．1．3 存儲(chǔ)虛擬化
8．1．4 網(wǎng)絡(luò)虛擬化
8．1．5 數(shù)據(jù)即服務(wù)
8．1．6 云的挑戰(zhàn)
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉云端大數(shù)據(jù)的基礎(chǔ)設(shè)施
任務(wù)8．2 把握大數(shù)據(jù)發(fā)展的未來
【導(dǎo)讀案例】 智能大數(shù)據(jù)分析成熱點(diǎn)
【任務(wù)描述】
【知識(shí)準(zhǔn)備】 數(shù)據(jù)科學(xué)和大數(shù)據(jù)人才
8．2．1 數(shù)據(jù)科學(xué)
8．2．2 數(shù)據(jù)科學(xué)家與數(shù)據(jù)工作者
8．2．3 隱私權(quán)與安全性
8．2．4 連接開放數(shù)據(jù)
8．2．5 數(shù)據(jù)市場(chǎng)的興起
8．2．6 將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)
8．2．7 大數(shù)據(jù)未來展望
【作 業(yè)】
【實(shí)訓(xùn)操作】 ETI企業(yè)的大數(shù)據(jù)之旅
【課程學(xué)習(xí)與實(shí)訓(xùn)總結(jié)】
附錄A 課程作業(yè)參考答案
附錄B 課程學(xué)習(xí)能力測(cè)評(píng)
參考文獻(xiàn)