【第一步：用真實(shí)樣本訓(xùn)練判別器，令它判別出1】

大家思考一下，如果我們不考慮第二步和第三步，只考慮第一步，實(shí)際上這個(gè)結(jié)構(gòu)是有很大問(wèn)題的。因?yàn)椴还茌斎氲臉颖臼鞘裁矗胱屗敵鍪?，這樣單種類的分類，沒(méi)有任何意義。一般意義上的分類器，起碼分兩類。如果不管判別器的輸入層、隱藏層、中間層是什么樣，只要最后一層保證輸出是標(biāo)量1，這個(gè)很容易做到。所以這個(gè)模型，只在我們接下來(lái)的所有步驟中有意義，單獨(dú)看沒(méi)有意義，這個(gè)大家要能看出來(lái)。

【第二步，由隨機(jī)向量經(jīng)過(guò)生成器，輸出生成樣本，然后把生成樣本輸入到判別器，令它能輸出0】

與第一步聯(lián)系，就會(huì)有兩個(gè)分類，一個(gè)是1，一個(gè)是0。有了兩個(gè)分類，判別器就可以得到優(yōu)化。這是我們?cè)O(shè)計(jì)這個(gè)網(wǎng)絡(luò)模型的結(jié)構(gòu)時(shí)一定要注意的地方。在第二步，我們期望結(jié)果是0，但可能不是，就會(huì)產(chǎn)生誤差，從而產(chǎn)生梯度，產(chǎn)生梯度后我們沿著箭頭的反方向走，這就是反向傳播。在反向傳播過(guò)程中，可以把遇到的任何一個(gè)參數(shù)進(jìn)行優(yōu)化。優(yōu)化過(guò)程中，有一個(gè)小技巧，在生成器的地方，把梯度截?cái)啵粌?yōu)化生成器。因?yàn)閷?duì)生成器優(yōu)化，最終的結(jié)果不過(guò)是輸出一個(gè)0，這不是生成器的目標(biāo)。生成器的目標(biāo)是生成一個(gè)很像真實(shí)樣本的假樣本。所以需要在這里截?cái)嗵荻取５诙剿M(jìn)行的優(yōu)化，是對(duì)判別器進(jìn)行的優(yōu)化。結(jié)合第一步，兩步可以合成一步。 

【第三步，輸入隨機(jī)向量，經(jīng)過(guò)生成器輸出生成樣本，再經(jīng)過(guò)判別器，輸出判別系數(shù)，這時(shí)我們期望輸出是1】

前面輸出0，我們希望用梯度優(yōu)化判別器，現(xiàn)在用一個(gè)不同的期望輸出，來(lái)優(yōu)化生成器。梯度在跑的過(guò)程中，雖然的確先經(jīng)過(guò)判別器，但是因?yàn)榕袆e器前面只對(duì)輸出樣本，期望輸出是0，現(xiàn)在期望輸出是1，所以梯度會(huì)路過(guò)判別器，只對(duì)生成器進(jìn)行優(yōu)化。所以最優(yōu)化的結(jié)果，就是判別器對(duì)真實(shí)樣本總是匯報(bào)1，對(duì)生成的假樣本總是匯報(bào)0，同時(shí)我們生成器輸出的生成樣本，總是能通過(guò)判別器的判別。

但是這里有一個(gè)矛盾的地方，生成樣本經(jīng)過(guò)判別器，如果判別結(jié)果是1，會(huì)被當(dāng)成真實(shí)樣本，這意味判別器的判別是錯(cuò)誤的；如果判別結(jié)果趨近于0，說(shuō)明判別器的判別是正確的，但是這又意味著生成器生成的結(jié)果是不理想的。這個(gè)矛盾的對(duì)抗結(jié)果，使得整個(gè)GAN的訓(xùn)練非常麻煩。

二、GAN的損失函數(shù)

對(duì)判別器的訓(xùn)練：

data指真實(shí)樣本，D指判別器，G指生成器。我們期望D(X)趨近于1，整個(gè)趨近于0。D(G(z))是生成器對(duì)輸入向量Z生成的樣本，作為判別器的輸入，我們期望這部分的輸入趨近于0。

對(duì)生成器的訓(xùn)練：

這里D(G(z))與上面相反，我們期望輸出結(jié)果是1。

（本文來(lái)源于：Boolan首席AI咨詢師—方林老師）