Doris實時數(shù)據(jù)倉庫理論與實戰(zhàn)

定　價：￥109.00

作　者：	吳百豹
出版社：	清華大學(xué)出版社
叢編項：
標(biāo)　簽：	暫缺

購買這本書可以去

當(dāng)當(dāng)網(wǎng) (￥103.60)

ISBN：	9787302662686	出版時間：	2024-06-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字?jǐn)?shù)：

內(nèi)容簡介

　　《Doris實時數(shù)據(jù)倉庫理論與實戰(zhàn)》系統(tǒng)地介紹了Doris的核心概念、架構(gòu)原理和各項功能。全書共7章。第1章對Doris做了初步介紹。第2章重點介紹了Doris的數(shù)據(jù)表設(shè)計。第3章聚焦于Doris的數(shù)據(jù)導(dǎo)入。第4章介紹了Doris的數(shù)據(jù)導(dǎo)出和數(shù)據(jù)管理。第5章討論了Doris中的數(shù)據(jù)更新和刪除操作。第6章將讀者帶入Doris的進階使用領(lǐng)域。第7章展示了Doris的生態(tài)擴展。通過《Doris實時數(shù)據(jù)倉庫理論與實戰(zhàn)》的學(xué)習(xí)，讀者可以全面而深入地了解運用Doris構(gòu)建高效、可擴展、實時數(shù)據(jù)倉庫系統(tǒng)的方法，從理論到實踐，從基礎(chǔ)到進階?！禗oris實時數(shù)據(jù)倉庫理論與實戰(zhàn)》適用于Doris開發(fā)人員和數(shù)據(jù)工程師，或有志從事數(shù)據(jù)倉庫開發(fā)的技術(shù)人員。

作者簡介

　　吳百豹，從事大數(shù)據(jù)研發(fā)多年，負(fù)責(zé)項目需求分析，平臺搭建，業(yè)務(wù)開發(fā)流程設(shè)計，項目整體管理把控等工作。精通Hadoop、Spark、Flink等大數(shù)據(jù)技術(shù)棧各類技術(shù)實戰(zhàn)應(yīng)用，精通大數(shù)據(jù)離線、實時數(shù)倉架構(gòu)、中臺方法論及實戰(zhàn)設(shè)計，對分布式集群技術(shù)選型、離線、實時處理場景架構(gòu)設(shè)計、機器學(xué)習(xí)算法有深入研究。主導(dǎo)開發(fā)國家水資源大數(shù)據(jù)平臺、中國銀行風(fēng)控數(shù)據(jù)中心等大型國家級項目。

圖書目錄

第 1 章初識 Doris
1.1 Doris 概述
1.2 Doris 的應(yīng)用場景
1.2.1 報表分析
1.2.2 即席查詢(Ad-Hoc Query)
1.2.3 統(tǒng)一數(shù)倉構(gòu)建
1.2.4 數(shù)據(jù)湖聯(lián)邦查詢
1.3 Doris 的架構(gòu)原理
1.4 Doris 的特點
1.4.1 支持標(biāo)準(zhǔn) SQL 接口
1.4.2 列式存儲引擎
1.4.3 支持豐富的索引結(jié)構(gòu)
1.4.4 支持多種存儲模型
1.4.5 支持物化視圖
1.4.6 MPP 架構(gòu)設(shè)計
1.4.7 支持向量化查詢引擎
1.4.8 動態(tài)調(diào)整執(zhí)行計劃
1.4.9 采用CBO 和 RBO 查詢優(yōu)化器
1.5 Doris 部署
1.5.1 開發(fā)測試環(huán)境/生產(chǎn)配置建議
1.5.2 Broker 部署介紹
1.5.3 操作系統(tǒng)安裝要求
1.5.4 網(wǎng)絡(luò)需求
1.6 Doris 分布式部署
1.6.1 Doris 下載
1.6.2 節(jié)點劃分
1.6.3 節(jié)點配置
1.6.4 FE部署及啟動
1.6.5 FE擴縮容
1.6.6 BE部署及啟動
1.6.7 BE擴縮容
1.6.8 Broker 部署(可選)
1.6.9 Doris 集群啟停腳本
第 2 章 Doris 數(shù)據(jù)表設(shè)計
2.1 Doris 簡單使用
2.1.1 創(chuàng)建用戶
2.1.2 創(chuàng)建數(shù)據(jù)庫
2.1.3 賬戶賦權(quán)
2.1.4 創(chuàng)建數(shù)據(jù)表
2.1.5 查詢數(shù)據(jù)表
2.2 Doris 基礎(chǔ)
2.2.1 建表語法及參數(shù)解釋
2.2.2 數(shù)據(jù)類型
2.3 數(shù)據(jù)存儲模型基礎(chǔ)
2.3.1 Aggregate 數(shù)據(jù)存儲模型
2.3.2 Unique 數(shù)據(jù)存儲模型
2.3.3 Duplicate 數(shù)據(jù)存儲模型
2.3.4 聚合模型的局限性
2.3.5 數(shù)據(jù)模型的選擇建議
2.4 列定義建議
2.5 分區(qū)和分桶基礎(chǔ)
2.5.1 分區(qū)
2.5.2 分桶
2.5.3 復(fù)合分區(qū)使用場景
2.6 Properties 配置項
2.7 關(guān)于 ENGINE
2.8 Doris 索引
2.8.1 前綴索引
2.8.2 Bitmap 索引
2.8.3 Bloom Filter 索引
2.9 Rollup 物化索引
2.9.1 Rollup 物化索引的創(chuàng)建與操作
2.9.2 Rollup 物化索引的作用
第 3 章 Doris 數(shù)據(jù)導(dǎo)入
3.1 Insert Into
3.1.1 語法及參數(shù)
3.1.2 案例
3.2 Binlog Load
3.2.1 基本原理
3.2.2 canal 原理及配置
3.2.3 Doris 同步MySQL 數(shù)據(jù)案例
3.2.4 注意事項
3.3 Broker Load
3.3.1 基本原理
3.3.2 Broker Load 語法
3.3.3 案例
3.3.4 注意事項
3.4 HDFS Load
3.5 Spark Load
3.5.1 基本原理
3.5.2 Spark 集群搭建
3.5.3 Doris 配置 Spark 與 Yarn
3.5.4 Doris 創(chuàng)建 Spark Resource
3.5.5 Spark Load 語法和結(jié)果
3.5.6 Spark Load 導(dǎo)入 HDFS 數(shù)據(jù)
3.5.7 使用 Spark Load 導(dǎo)入Hive 數(shù)據(jù)
3.5.8 注意事項
3.6 Routine Load
3.6.1 Routine Load 語法
3.6.2 嚴(yán)格模式
3.6.3 案例
3.6.4 注意事項
3.7 Stream Load
3.7.1 基本原理
3.7.2 語法與結(jié)果
3.7.3 開啟 Steam Load 記錄
3.7.4 案例
3.7.5 注意事項
3.8 通過外部表同步數(shù)據(jù)到 Doris
3.9 總結(jié)
第 4 章 Doris 數(shù)據(jù)導(dǎo)出及數(shù)據(jù)管理
4.1 Export 導(dǎo)出
4.1.1 導(dǎo)出原理
4.1.2 Export 語法和結(jié)果
4.1.3 Doris 數(shù)據(jù)導(dǎo)出到 HDFS 案例
4.1.4 注意事項
4.2 Select into outfile 導(dǎo)出
4.2.1 Select into outfile 語法和結(jié)果
4.2.2 Doris 數(shù)據(jù)導(dǎo)出到HDFS 案例
4.2.3 Doris 數(shù)據(jù)導(dǎo)出到本地案例
4.2.4 注意事項
4.3 MySQL dump 導(dǎo)出
4.3.1 dump 導(dǎo)出案例
4.3.2 注意事項
4.4 BACKUP 數(shù)據(jù)備份
4.4.1 BACKUP 原理
4.4.2 BACKUP 語法
4.4.3 BACKUP 數(shù)據(jù)備份案例
4.4.4 注意事項
4.5 RESTORE 數(shù)據(jù)恢復(fù)
4.5.1 RESTORE 數(shù)據(jù)恢復(fù)原理
4.5.2 RESTORE 數(shù)據(jù)恢復(fù)語法
4.5.3 RESTORE 數(shù)據(jù)恢復(fù)案例
4.5.4 注意事項
4.6 RECOVER 數(shù)據(jù)刪除恢復(fù)
4.6.1 RECOVER 語法
4.6.2 數(shù)據(jù)恢復(fù)案例
第 5 章 Doris 數(shù)據(jù)更新與刪除
5.1 Update 數(shù)據(jù)更新
5.1.1 Update 原理
5.1.2 Update 數(shù)據(jù)更新案例
5.1.3 Update 使用注意事項
5.2 Delete 數(shù)據(jù)刪除
5.2.1 Delete 語法
5.2.2 Delete 刪除返回結(jié)果
5.2.3 Delete 刪除案例
5.2.4 Delete 相關(guān)配置
5.3 Sequence 列
5.3.1 基本原理
5.3.2 使用語法
5.3.3 Sequence 列使用案例
5.4 批量刪除
5.4.1 批量刪除原理
5.4.2 批量刪除案例
第 6 章 Doris 進階
6.1 表結(jié)構(gòu)變更
6.1.1 Schema Change
6.1.2 替換表
6.2 動態(tài)分區(qū)
6.2.1 動態(tài)分區(qū)使用及參數(shù)
6.2.2 創(chuàng)建歷史分區(qū)規(guī)則
6.2.3 動態(tài)分區(qū)案例
6.2.4 查看動態(tài)分區(qū)表調(diào)度情況
6.2.5 動態(tài)分區(qū)注意點
6.3 數(shù)據(jù)緩存
6.3.1 SQLCache
6.3.2 PartitionCache
6.3.3 緩存使用方式
6.3.4 優(yōu)化參數(shù)
6.3.5 目前不足
6.4 Doris Join 類型
6.4.1 Broadcast Join
6.4.2 Shuffle Join
6.4.3 Bucket Shuffle Join
6.4.4 Colocation Join
6.4.5 4種 Join 對比
6.5 Runtime Filter
6.5.1 Runtime Filter 原理
6.5.2 使用方式
6.5.3 Runtime Filter 案例操作
6.6 Join 優(yōu)化原理
6.6.1 Runtime Filter Join 優(yōu)化
6.6.2 Join Reorder
6.6.3 Doris Join 調(diào)優(yōu)方法
6.6.4 Doris Join 調(diào)優(yōu)建議
6.7 BITMAP 精準(zhǔn)去重
6.8 物化視圖
6.8.1 物化視圖使用場景及優(yōu)勢
6.8.2 物化視圖&Rollup 對比
6.8.3 物化視圖語法
6.8.4 物化視圖使用案例
6.8.5 物化視圖刪除
6.8.6 物化視圖局限性
第 7 章 Doris 生態(tài)擴展
7.1 Spark Doris Connector
7.1.1 Spark 與 Doris 版本兼容
7.1.2 Spark Doris Connector 源碼編譯
7.1.3 Spark Doris Connector 使用
7.1.4 Spark 操作 Doris 配置
7.1.5 Spark 和 Doris 列類型映射關(guān)系
7.2 Flink Doris Connector
7.2.1 Flink Doris Connector 源碼編譯
7.2.2 Flink Doris Connector 使用
7.2.3 Flink 操作 Doris 配置
7.2.4 Flink 和 Doris 列類型映射關(guān)系
7.3 DataX DorisWriter
7.3.1 DorisWriter 插件集成 DataX 編譯
7.3.2 DataX 安裝
7.3.3 DorisWriter 參數(shù)
7.3.4 DataX 同步 MySQL 數(shù)據(jù)到 Doris
7.4 JDBC Catalog
7.4.1 創(chuàng)建 Catalog
7.4.2 數(shù)據(jù)查詢
7.4.3 列類型映射
7.4.4 Doris JDBC 方式操作 MySQL 數(shù)據(jù)
7.5 Doris 優(yōu)化