Diffusion AI繪圖模型構造與訓練實戰(zhàn)

第1章介紹Diffusion模型的發(fā)展歷程，以及本書中相關任務的訓練方法。
第2章介紹開發(fā)環(huán)境的配置，并且快速上手Diffusion模型的使用。
第3章介紹不定圖像的生成任務。
第4章介紹文本訓練方法。
第5章介紹Dream Booth訓練方法。
第6章介紹圖文結(jié)合的訓練方法。
第7章介紹使用LoRA技巧加速訓練。
第8章介紹AE模型。
第9章介紹VAE模型。
第10章介紹DCGAN模型。
第11章介紹WGANGP模型。
第12章手動構造一個沒有文本輸入的Diffusion模型。
第13章介紹ControlNet組件。
第14章介紹Instruct Pix2Pix訓練方法。
第15章介紹正負樣本混合訓練方法。
第16章介紹Pix2Pix模型。
第17章介紹CycleGAN模型。
第18章介紹風格遷移任務。
第19章手動構建一個完整的Diffusion模型。
閱讀建議
本書是一本對Diffusion模型進行綜合性講解的書籍，既有基礎知識，也有實戰(zhàn)示例，也包括底層原理的講解。
本書盡量以簡潔的語言書寫，每個章節(jié)之間的內(nèi)容盡量獨立，使讀者可以跳躍閱讀而沒有障礙。
作為一本實戰(zhàn)型書籍，讀者要掌握本書的知識，務必要結(jié)合代碼調(diào)試，本書的代碼也盡量以簡潔的形式書寫，使讀者閱讀時不感吃力。每個代碼塊即是一個測試單元，讀者可以對每個程序的每個代碼塊按從上到下的順序進行測試，從一個個小知識點聚沙成塔，融會貫通。
資源下載提示
素材（源碼）等資源: 掃描封底的文泉云盤防盜碼，再掃描目錄上方的二維碼下載。
致謝
感謝HuggingFace社區(qū)無私的奉獻，因為有了你們的工作成果，本書才得以以簡潔、標準化的API面世。
在書寫本書的過程中，我竭盡所能為讀者呈現(xiàn)最好的內(nèi)容，錯漏難免會存在，敬請讀者批評指正。
李福林2023年11月
本書源碼
快速上手篇
第1章Diffusion模型3
1.1Diffusion模型介紹3
1.1.1Diffusion模型的演化之路4
1.1.2圖像以外的應用6
1.1.3其他的繪圖模型6
1.2微調(diào)預訓練模型6
1.2.1預訓練模型6
1.2.2微調(diào)模型以適應新數(shù)據(jù)7
1.2.3微調(diào)相比重新訓練的優(yōu)勢7
1.3小結(jié)8
第2章快速上手9
2.1部署開發(fā)環(huán)境9
2.2HuggingFace簡介和快速上手11
2.2.1快速上手11
2.2.2加速技巧12
2.3Diffusion模型相關組件介紹13
2.3.1tokenizer13
2.3.2scheduler15
2.3.3Encoder16
2.3.4VAE17
2.3.5UNet18
2.4小結(jié)20
訓練方法篇
第3章不定圖像的生成23
3.1任務簡介23
3.2數(shù)據(jù)集介紹23
3.3測試部分24
3.3.1測試函數(shù)24
3.3.2未訓練模型的測試結(jié)果25
3.3.3訓練后模型的測試結(jié)果27
3.4訓練部分28
3.4.1全局常量28
3.4.2定義數(shù)據(jù)集28
3.4.3定義模型30
3.4.4初始化工具類31
3.4.5計算loss32
3.4.6訓練34
3.5小結(jié)35
第4章文本訓練36
4.1任務簡介36
4.2數(shù)據(jù)集介紹36
4.3測試部分37
4.3.1測試函數(shù)37
4.3.2未訓練模型的測試結(jié)果38
4.3.3訓練后模型的測試結(jié)果39
4.4訓練部分39
4.4.1全局常量39
4.4.2定義數(shù)據(jù)集39
4.4.3定義模型44
4.4.4初始化工具類47
4.4.5計算loss47
4.4.6訓練50
4.5小結(jié)51
第5章Dream Booth53
5.1任務簡介53
5.2數(shù)據(jù)集介紹53
5.3測試部分54
5.3.1測試函數(shù)54
5.3.2未訓練模型的測試結(jié)果55
5.3.3訓練后模型的測試結(jié)果55
5.4訓練部分56
5.4.1全局常量56
5.4.2定義數(shù)據(jù)集56
5.4.3定義模型60
5.4.4初始化工具類61
5.4.5計算loss61
5.4.6訓練62
5.5小結(jié)64
第6章圖文結(jié)合的訓練65
6.1任務簡介65
6.2數(shù)據(jù)集介紹65
6.3測試部分66
6.3.1測試函數(shù)67
6.3.2未訓練模型的測試結(jié)果68
6.3.3訓練后模型的測試結(jié)果68
6.4訓練部分69
6.4.1全局常量69
6.4.2定義數(shù)據(jù)集69
6.4.3定義模型73
6.4.4初始化工具類73
6.4.5計算loss74
6.4.6訓練75
6.5小結(jié)77
第7章LoRA Dream Booth78
7.1任務簡介78
7.2數(shù)據(jù)集介紹79
7.3測試部分79
7.3.1測試函數(shù)79
7.3.2未訓練模型的測試結(jié)果80
7.3.3訓練后模型的測試結(jié)果80
7.4訓練部分81
7.4.1全局常量81
7.4.2定義數(shù)據(jù)集81
7.4.3定義模型84
7.4.4初始化工具類87
7.4.5計算loss87
7.4.6訓練88
7.5小結(jié)89
圖像生成模型的歷史發(fā)展篇
第8章AE模型93
8.1模型原理介紹93
8.2鮮花數(shù)據(jù)集介紹94
8.3定義數(shù)據(jù)集95
8.4定義神經(jīng)網(wǎng)絡模型98
8.4.1定義Block工具層98
8.4.2定義Encoder和Decoder100
8.5訓練101
8.5.1訓練前的準備工作101
8.5.2執(zhí)行訓練102
8.6測試104
8.6.1測試本地訓練的模型104
8.6.2使用訓練好的模型測試105
8.7小結(jié)105
第9章VAE模型106
9.1AE模型的缺陷106
9.2定義神經(jīng)網(wǎng)絡模型107
9.3訓練108
9.3.1訓練前的準備工作108
9.3.2執(zhí)行訓練109
9.4測試111
9.4.1測試本地訓練的模型111
9.4.2使用訓練好的模型測試111
9.5小結(jié)113
第10章DCGAN模型114
10.1模型原理介紹114
10.2定義神經(jīng)網(wǎng)絡模型115
10.2.1定義CLS模型115
10.2.2定義GEN模型116
10.3訓練117
10.3.1訓練前的準備工作117
10.3.2訓練CLS模型的函數(shù)118
10.3.3訓練GEN模型的函數(shù)119
10.3.4執(zhí)行訓練120
10.4測試122
10.4.1測試本地訓練的模型122
10.4.2使用訓練好的模型測試122
10.5小結(jié)123
第11章WGANGP模型124
11.1模型原理介紹124
11.2定義神經(jīng)網(wǎng)絡模型125
11.3訓練126
11.3.1訓練前的準備工作126
11.3.2訓練CLS模型的函數(shù)127
11.3.3執(zhí)行訓練128
11.4測試130
11.4.1測試本地訓練的模型130
11.4.2使用訓練好的模型測試130
11.5小結(jié)131
第12章Diffusion模型132
12.1模型原理介紹132
12.2定義神經(jīng)網(wǎng)絡模型134
12.3定義圖像生成函數(shù)142
12.4訓練144
12.5測試146
12.6小結(jié)147
訓練方法篇
第13章ControlNet以圖生圖151
13.1任務簡介151
13.2數(shù)據(jù)集介紹153
13.3測試部分154
13.3.1測試函數(shù)155
13.3.2未訓練模型的測試結(jié)果156
13.3.3訓練后模型的測試結(jié)果158
13.4訓練部分159
13.4.1全局常量159
13.4.2定義數(shù)據(jù)集159
13.4.3定義ControlNet模型162
13.4.4定義模型168
13.4.5初始化工具類169
13.4.6計算loss169
13.4.7訓練171
13.5小結(jié)172
第14章Instruct Pix2Pix圖像調(diào)整173
14.1任務簡介173
14.2數(shù)據(jù)集介紹174
14.3測試部分175
14.3.1加載數(shù)據(jù)集175
14.3.2測試函數(shù)176
14.4訓練部分179
14.4.1全局常量179
14.4.2定義數(shù)據(jù)集180
14.4.3定義模型181
14.4.4初始化工具類182
14.4.5計算loss183
14.4.6訓練186
14.5小結(jié)187
第15章正、負樣本混合訓練188
15.1任務簡介188
15.2數(shù)據(jù)集介紹188
15.3測試部分190
15.3.1配置環(huán)境190
15.3.2測試函數(shù)191
15.3.3未訓練模型的測試結(jié)果191
15.3.4訓練后模型的測試結(jié)果192
15.4訓練部分193
15.4.1全局常量193
15.4.2定義數(shù)據(jù)集193
15.4.3定義模型200
15.4.4初始化工具類203
15.4.5計算loss203
15.4.6訓練206
15.5小結(jié)207
以圖生圖模型的歷史發(fā)展篇
第16章Pix2Pix模型211
16.1任務介紹211
16.2數(shù)據(jù)集介紹212
16.3定義數(shù)據(jù)集213
16.4定義神經(jīng)網(wǎng)絡模型216
16.4.1定義CLS模型217
16.4.2定義殘差連接層217
16.4.3定義GEN模型218
16.5訓練220
16.5.1訓練前的準備工作220
16.5.2訓練CLS的函數(shù)221
16.5.3訓練GEN的函數(shù)222
16.5.4執(zhí)行訓練223
16.6測試226
16.6.1測試本地訓練的模型226
16.6.2使用訓練好的模型測試228
16.7小結(jié)228
第17章CycleGAN模型230
17.1模型原理介紹230
17.2數(shù)據(jù)集介紹231
17.3定義數(shù)據(jù)集232
17.4定義神經(jīng)網(wǎng)絡模型234
17.4.1定義CLS模型234
17.4.2定義GEN模型235
17.5訓練237
17.5.1訓練前的準備工作237
17.5.2訓練CLS的函數(shù)238
17.5.3訓練GEN的函數(shù)239
17.5.4執(zhí)行訓練242
17.6測試243
17.6.1測試本地訓練的模型243
17.6.2使用訓練好的模型測試244
17.7小結(jié)245
Diffusion模型篇
第18章風格遷移249
18.1模型原理介紹249
18.1.1針對單張圖片的風格遷移249
18.1.2基于神經(jīng)網(wǎng)絡模型的風格遷移250
18.1.3風格遷移模型的訓練方法250
18.1.4數(shù)據(jù)部分251
18.2定義神經(jīng)網(wǎng)絡模型252
18.2.1定義CLS模型254
18.2.2定義抽取內(nèi)容特征的函數(shù)254
18.2.3定義抽取風格特征的函數(shù)255
18.2.4加載風格圖片特征256
18.3訓練257
18.3.1訓練前的準備工作257
18.3.2執(zhí)行訓練257
18.4測試259
18.4.1測試本地訓練的模型259
18.4.2使用訓練好的模型測試260
18.5小結(jié)260
第19章手動構建Diffusion模型261
19.1模型原理介紹261
19.2Encoder模型263
19.2.1編碼層263
19.2.2注意力層264
19.2.3編碼器層266
19.2.4Encoder模型268
19.2.5載入?yún)?shù)268
19.2.6試算270
19.3VAE模型270
19.3.1殘差連接層270
19.3.2注意力層272
19.3.3Pad工具層274
19.3.4VAE模型275
19.3.5載入?yún)?shù)278
19.3.6試算280
19.4UNet模型281
19.4.1模型結(jié)構281
19.4.2殘差連接層282
19.4.3注意力層284
19.4.4Transformers層286
19.4.5down層289
19.4.6up層290
19.4.7UNet模型291
19.4.8載入?yún)?shù)296
19.4.9試算298
19.5訓練299
19.5.1加載工具類299
19.5.2定義數(shù)據(jù)集300
19.5.3定義模型303
19.5.4計算loss304
19.5.5執(zhí)行訓練305
19.6測試306
19.6.1定義生成函數(shù)306
19.6.2定義測試函數(shù)308
19.6.3測試未訓練的模型309
19.6.4測試訓練好的模型310
19.7小結(jié)311