數(shù)據(jù)驅動的機器翻譯技術

●第1章 緒論1
1.1 研究背景及意義1
1.2 機器翻譯發(fā)展簡史2
1.3 研究內容及全書總覽4
參考文獻8
第2章 基礎理論9
2.1 基于規(guī)則的機器翻譯9
2.2 基于實例的機器翻譯10
2.3 統(tǒng)計機器翻譯11
2.3.1 噪聲信道模型11
2.3.2 對數(shù)線性模型12
2.3.3 基于短語的統(tǒng)計機器翻譯模型12
2.3.4 基于句法的統(tǒng)計機器翻譯模型14
2.3.5 語言模型16
2.3.6 統(tǒng)計機器翻譯存在的問題20
2.4 神經(jīng)機器翻譯20
2.4.1 基于循環(huán)神經(jīng)網(wǎng)絡的神經(jīng)機器翻譯模型21
2.4.2 基于卷積神經(jīng)網(wǎng)絡的神經(jīng)機器翻譯模型24
2.4.3 基于注意力網(wǎng)絡的神經(jīng)機器翻譯模型27
2.4.4 束搜索30
2.4.5 神經(jīng)機器翻譯存在的問題及發(fā)展趨勢31
參考文獻34
第3章 基于句法語義知識的統(tǒng)計機器翻譯44
3.1 引言44
3.2 基于句法和語義的統(tǒng)計機器翻譯基礎方法45
3.2.1 基于句法的統(tǒng)計機器翻譯模型46
3.2.2 語義角色標注47
3.2.3 語義角色標注在統(tǒng)計機器翻譯中的應用48
3.2.4 串到樹模型49
3.3 基于淺層語義結構的統(tǒng)計機器翻譯52
3.3.1 謂詞-論元增強型句法樹52
3.3.2 句法補充的謂詞-論元樹54
3.3.3 翻譯規(guī)則的學習55
3.3.4 實驗與分析56
3.4 基于句法語言模型的統(tǒng)計機器翻譯62
3.4.1 句法語言建模的基礎方法62
3.4.2 融合淺層句法特征的循環(huán)神經(jīng)網(wǎng)絡語言模型63
3.5 本章小結70
參考文獻71
第4章 句法知識與神經(jīng)機器翻譯聯(lián)合學習模型82
4.1 引言82
4.2 樹結構學習的基礎方法83
4.2.1 樹結構的神經(jīng)網(wǎng)絡編碼器84
4.2.2 樹結構的神經(jīng)網(wǎng)絡解碼器85
4.2.3 無監(jiān)督樹學習85
4.2.4 利用統(tǒng)計機器翻譯短語表87
4.2.5 在神經(jīng)機器翻譯中學習短語87
4.2.6 基于句法的神經(jīng)機器翻譯88
4.2.7 對齊學習89
4.3 源端句法信息與神經(jīng)機器翻譯聯(lián)合學習模型89
4.3.1 無監(jiān)督樹編碼器90
4.3.2 無監(jiān)督樹與神經(jīng)機器翻譯聯(lián)合學習92
4.3.3 實驗分析97
4.3.4 實例分析101
4.4 雙語句法成分對齊與神經(jīng)機器翻譯聯(lián)合學習模型105
4.4.1 概述105
4.4.2 無監(jiān)督樹編碼器107
4.4.3 對齊樣本構建107
4.4.4 深度度量損失108
4.4.5 實驗分析109
4.5 基于跨語言句法互信息的機器翻譯114
4.5.1 概述114
4.5.2 雙語句法對齊117
4.5.3 優(yōu)選化雙語句法相互依存120
4.5.4 實驗分析121
4.6 本章小結126
參考文獻126
第5章 基于句子對齊信息的機器翻譯訓練138
5.1 引言138
5.2 問題分析141
5.3 基于自注意力機制的對齊判別器143
5.3.1 基于門控自注意力網(wǎng)絡的句子編碼器144
5.3.2 句子對齊得分計算與判別器損失函數(shù)145
5.3.3 判別器訓練數(shù)據(jù)構建與預訓練146
5.4 基于對齊信息的神經(jīng)機器翻譯對抗訓練147
5.4.1 判別損失函數(shù)147
5.4.2 Gumbel-Softmax 采樣148
5.4.3 教師強制步驟149
5.4.4 固定的判別器與對抗的判別器149
5.5 基于對齊感知的神經(jīng)機器翻譯解碼方法150
5.5.1 融合判別器得分的解碼得分151
5.5.2 融合基于對齊的價值網(wǎng)絡解碼151
5.6 本章小結152
參考文獻157
第6章 融合翻譯記憶的神經(jīng)機器翻譯方法163
6.1 引言163
6.2 問題分析163
6.3 融合翻譯記憶相似度的文本預處理方法165
6.3.1 模板165
6.3.2 相關工作166
6.3.3 基于多維相似度的機器翻譯測試集預處理策略167
6.4 融合翻譯記憶的機器翻譯訓練方法170
6.4.1 引言170
6.4.2 相關工作171
6.4.3 基于多維相似度的機器翻譯訓練方法172
6.4.4 實驗分析174
6.5 融合模板翻譯記憶的神經(jīng)機器翻譯方法178
6.5.1 概述178
6.5.2 相關工作179
6.5.3 翻譯模板的定義與構建180
6.5.4 融合模板翻譯記憶的神經(jīng)機器翻譯187
6.5.5 實驗分析191
6.6 本章小結197
參考文獻198
第7章 詞形預測與神經(jīng)機器翻譯聯(lián)合模型202
7.1 引言202
7.2 問題分析204
7.2.1 拉丁字符大小寫對神經(jīng)機器翻譯的影響204
7.2.2 單詞陰陽性對機器翻譯的影響206
7.3 大小寫敏感的神經(jīng)機器翻譯207
7.3.1 神經(jīng)機器翻譯模型207
7.3.2 引入大寫標注的神經(jīng)機器翻譯208
7.3.3 神經(jīng)機器翻譯與大寫預測聯(lián)合學習209
7.4 性別敏感的神經(jīng)機器翻譯212
7.4.1 性別平衡偽數(shù)據(jù)構建方法213
7.4.2 插入性別標注214
7.4.3 性別預測與機器翻譯聯(lián)合建模214
7.5 本章小結215
參考文獻218
第8章 融合零代詞信息的機器翻譯方法225
8.1 引言225
8.2 零代詞推斷的基礎方法227
8.2.1 基于規(guī)則的方法227
8.2.2 序列標注法228
8.2.3 融入語義特征的方法229
8.3 基于特征的零代詞推斷方法232
8.3.1 融入雙語信息的語料重構232
8.3.2 零代詞處理方法235
8.4 基于CRF和SVM的零代詞信息構建方法236
8.4.1 基于CRF的零代詞位置標注236
8.4.2 基于SVM的零代詞分類238
8.5 基于深度學習的零代詞信息構建方法242
8.5.1 基于LSTM的零代詞位置標注243
8.5.2 基于LSTM的零代詞分類245
8.5.3 基于編碼器-解碼器架構的零代詞重構模型245
8.6 融合零代詞信息的統(tǒng)計機器翻譯247
8.6.1 概述247
8.6.2 語料預處理方法247
8.6.3 概率特征方法248
8.6.4 譯文重排序方法250
8.6.5 實驗分析251
8.6.6 實驗結果及分析254
8.7 基于無監(jiān)督樹學習和零代詞重構的神經(jīng)機器翻譯258
8.7.1 概述258
8.7.2 基于零代詞重構的口語機器翻譯模型259
8.7.3 實驗及分析263
8.8 本章小結271
參考文獻271
第9章 基于因果推斷的譯文評分去噪聲方法274
9.1 引言274
9.2 相關工作和背景知識278
9.2.1 NMT譯文長度偏置問題278
9.2.2 句子級譯文質量直接估計任務281
9.3 基于HSR的譯文評分降噪方法283
9.3.1 基于HSR的NMT解碼長度偏置修正283
9.3.2 討論285
9.3.3 譯文質量估計系統(tǒng)輸出降噪方法287
9.4 NMT長度偏置消除實驗290
9.4.1 回歸模型的選擇292
9.4.2 方法自適應性294
9.5 譯文質量估計系統(tǒng)去噪聲實驗296
9.6 本章小結299
參考文獻299
第10章 機器翻譯評價及相關評測會議306
10.1 機器翻譯評價指標307
10.1.1 準確率和召回率307
10.1.2 BLEU評價指標308
10.1.3 詞錯誤率WER308
10.1.4 翻譯編輯率TER309
10.1.5 NIST評價指標309
10.1.6 METEOR評價指標310
10.2 機器翻譯大會WMT310
10.3 全國機器翻譯大會CCMT312
10.4 國際口語翻譯大會IWSLT313
10.5 NIST機器翻譯公開評測314
10.6 亞洲語言機器翻譯研討會WAT315
參考文獻316
第11章 總結與展望319
11.1 本書總結319
11.2 未來研究方向展望320