搜索引擎：原理、技術與系統(tǒng)（第二版）

第二版 前言
第一版 前言
第一章 引論
第一節(jié) 搜索引擎的概念
第二節(jié) 搜索引擎的發(fā)展歷史
第三節(jié) 一些著名的搜索引擎
第四節(jié) 小結
上篇 web搜索引擎基本原理和技術
第二章 Web搜索引擎工作原理和體系結構
第一節(jié) 基本要求
第二節(jié) 網(wǎng)頁搜集
第三節(jié) 預處理
第四節(jié) 查詢服務
第五節(jié) 體系結構
第六節(jié) 小結
第三章 web信息的搜集
第一節(jié) 概述
一、超文本傳輸協(xié)議
二、一個小型搜索引擎系統(tǒng)
第二節(jié) 網(wǎng)頁搜集
一、定義URL類和Page類
二、與服務器建立連接
三、發(fā)送請求和接收數(shù)據(jù)
四、網(wǎng)頁信息存儲的天網(wǎng)格式
第三節(jié) 多道搜集程序并行工作
一、多線程并發(fā)工作
二、控制對一個站點并發(fā)搜集線程的數(shù)目
第四節(jié) 如何避免網(wǎng)頁的重復搜集
一、記錄未訪問、已訪問URL和網(wǎng)頁內(nèi)容摘要信息
二、域名與IP的對應問題
第五節(jié) 搜集信息的類型
第六節(jié) 小結
第四章 對搜集信息的預處理
第一節(jié) 索引網(wǎng)頁庫
第二節(jié) 網(wǎng)頁編碼識別
一、基本而重要的概念
二、常用字符編碼
三、常用字符編碼算法
四、字符的輸入和顯示
五、編碼識別
第三節(jié) 中文自動分詞
第四節(jié) 分析網(wǎng)頁和建立倒排文件
第五節(jié) 小結
第五章 信息查詢服務
第一節(jié) 檢索的定義
第二節(jié) 查詢服務的實現(xiàn)
一、結果集合的形成
二、查詢結果顯示
第三節(jié) 小結
中篇對質(zhì)量和性能的追求
第六章 可擴展搜集子系統(tǒng)
第一節(jié) 天網(wǎng)系統(tǒng)概述和集中式搜集系統(tǒng)結構
一、天網(wǎng)系統(tǒng)結構
二、集中式搜集系統(tǒng)
第二節(jié) 利用并行處理技術高效搜集網(wǎng)頁的一種方案
一、節(jié) 點間15RI。的劃分策略
二、關于性能的討論
三、性能測試和評價
四、系統(tǒng)的動態(tài)可配置性設計
第三節(jié) 天網(wǎng)分布式搜集系統(tǒng)
第四節(jié) 對Deep Web的認識
一、Deep Web的成因
二、搜索Deep Web的方法
第五節(jié) 小結
第七章 網(wǎng)頁凈化與消重
第一節(jié) 網(wǎng)頁凈化與元數(shù)據(jù)提取
一、DocView模型
二、網(wǎng)頁的表示
三、提取DocView模型要素的方法
四、模型應用及實驗研究
第二節(jié) 網(wǎng)頁消重算法
一、消重算法
二、算法評測
第三節(jié) 小結
第八章 高性能檢索子系統(tǒng)
第一節(jié) 檢索系統(tǒng)基本技術
一、系統(tǒng)設計與結構
二、索引創(chuàng)建
三、檢索過程
第二節(jié) 適于查詢的網(wǎng)頁索引結構
一、倒排索引結構
二、平面位置索引
第三節(jié) 倒排索引壓縮
一、倒排索引壓縮技術
二、詞典與倒排表的壓縮
第四節(jié) 索引剪枝
一、靜態(tài)索引剪枝方法
二、動態(tài)索引剪枝方法
第五節(jié) 混合索引技術
一、混合索引的原理
二、混合索引的實現(xiàn)
第六節(jié) 倒排文件緩存機制
一、倒排文件緩存
二、負載特性
三、緩存策略的選擇
第七節(jié) 小結
第九章 相關排序與系統(tǒng)質(zhì)量評估
第一節(jié) 傳統(tǒng)IR的相關排序技術
第二節(jié) 鏈接分析與相關排序
一、鏈接分析
二、Web查詢模式下的新信息
第三節(jié) 相關排序的一種實現(xiàn)方案
一、形成網(wǎng)頁中詞項的基本權重
二、利用鏈接的結構
三、收集用戶反饋信息
四、計算最終的權重
第四節(jié) 信息檢索技術評估
一、信息檢索技術評估指標
二、TREC和CWlRF信息檢索評估
三、搜索引擎技術評估
第五節(jié) 小結
下篇 web信息資源的組織與應用服務
第十章 大規(guī)模web歷史網(wǎng)頁倉儲系統(tǒng)的構建
第一節(jié) 國外web歷史網(wǎng)頁保存現(xiàn)狀
一、Intemet Archive
二、PANDORA
三、其他相關Web保存項目
第二節(jié) 中國web信息博物館的系統(tǒng)設計
一、Web InfoMall的設計目標
二、’Web InfoMall的體系結構
第三節(jié) 歷史網(wǎng)頁的存儲
一、數(shù)據(jù)的組織
二、存儲結構
三、數(shù)據(jù)管理與壓縮
四、存儲性能
第四節(jié) 數(shù)據(jù)訪問
一、PageID的索引
二、URL的索引
三、數(shù)據(jù)服務
四、性能與優(yōu)化
第五節(jié) 網(wǎng)頁的格式保存
第六節(jié) 小結
第十一章 大規(guī)模web非網(wǎng)頁信息倉儲系統(tǒng)的構建
第一節(jié) 網(wǎng)絡資源庫藏相關工作
一、Ibiblio
二、Internet Archive
二、W1kimedia
四、中國互聯(lián)網(wǎng)數(shù)字資源財富庫藏
第二節(jié) CDAL系統(tǒng)概況
第三節(jié) CDAL系統(tǒng)設計
一、系統(tǒng)體系結構
二、可擴展的存儲組織方案
第四節(jié) 網(wǎng)絡資源描述信息獲取
一、0ntology概述
二、描述信息獲取機制
三、改進查詢的方法
四、改進排序的方法
第五節(jié) 基于局部聚類思想的共現(xiàn)詞匯算法
一、基本定義
二、H）C共現(xiàn)詞匯算法
第六節(jié) 小結
第十二章 中文網(wǎng)頁自動分類與聚類
第一節(jié) 文檔自動分類算法的類型
第二節(jié) 實現(xiàn)中文網(wǎng)頁自動分類的一般過程
第三節(jié) 影響分類器性能的關鍵因素分析
一、實驗設置
二、訓練樣本
三、特征選取
四、分類算法
五、截尾算法
六、中文網(wǎng)頁分類器的設計方案
第四節(jié) 天網(wǎng)目錄導航服務
一、問題的提出
二、天網(wǎng)目錄導航服務的體系結構
三、天網(wǎng)目錄的運行實例
第五節(jié) 文本聚類方法
一、文本聚類的一般過程
二、文本間相似性的度量
三、常用聚類算法
四、聚類結果的評估
五、搜索引擎返回結果的聚類
第六節(jié) 小結
第十三章 開放域問答系統(tǒng)
第一節(jié) 概述
一、問答系統(tǒng)的歷史
二、著名開放域問答系統(tǒng)介紹
三、開放域問答系統(tǒng)的通用體系結構
第二節(jié) 問句的分析
一、問句中的指代消解
二、問句分類
三、問句主題提取
第三節(jié) 文檔和段落檢索
一、檢索模型的選用
二、查詢生成
三、查詢結果排序
四、增強索引的功能
第四節(jié) 答案提取和驗證模塊
一、生成候選答案集合
二、答案提取
第五節(jié) 問答系統(tǒng)的改進方法
一、問答系統(tǒng)中外部資源的利用
二、尋找特殊類問題的解決方案
三、通過系綜方法構建問答系統(tǒng)
第六節(jié) 問答系統(tǒng)的評測
一、TREC問答系統(tǒng)評測
二、問答系統(tǒng)評測指標
第七節(jié) 實例：天網(wǎng)開放域問答系統(tǒng)
第八節(jié) 小結
參考文獻
附錄術語