機器學習中的貝氏定理:生成模型(Generative Model) 與判別 ... | 貝氏定理ai
GAN(GenerativeAdversarialNetworks)是這幾年來很紅的議題,在GAN的兩階段訓練架構下,我們可以很好的逼近生成資料的機率分配,也就是訓練出一個很好的生成模型(generativemodel)。這種手法特殊的地方在於,他透過兩層的神經網路(明確一點,是multi-layerperceptron),一層訓練生成模型(generativemodel),一層訓練判別模型(discriminativemodel),讓這兩層在訓練的過程中進行對抗,使得訓練過程中能夠同時更新生成模型與判別模型中的參數。 講了一大段像天書一般的話,其實要了解當紅的GAN,我們必須先了解生成模型與判別模型的差異...
GAN (Generative Adversarial Networks) 是這幾年來很紅的議題,在 GAN 的兩階段訓練架構下,我們可以很好的逼近生成資料的機率分配,也就是訓練出一個很好的生成模型 (generative model)。這種手法特殊的地方在於,他透過兩層的神經網路(明確一點,是multi-layer perceptron),一層訓練生成模型 (generative model),一層訓練判別模型 (discriminative model),讓這兩層在訓練的過程中進行對抗,使得訓練過程中能夠同時更新生成模型與判別模型中的參數。
講了一大段像天書一般的話,其實要了解當紅的GAN,我們必須先了解生成模型與判別模型的差異,以及他們在訓練上的結果有何不同。所以,這篇文章就用兩個常見的演算法跟大家解釋生成模型與判別模型的差別是什麼,生成模型選擇的是naive Bayes,判別模型選擇的是logistic regression。為什麼選這兩個呢?因為這是Andrew Ng 的paper中選的,有興趣的話可以看看這篇有點難懂的paper[1]。
在這篇文章,我們主要針對「二元分類」(binary classification),假設我們要透過特徵向量 ,來預測二元的目標變數 。在 Andrew Ng 的論文中,為了簡化證明,假設特徵向量全部都用one-hot encoding編碼,也就是假設個體的特徵來自 維的input space ,而目標變數則屬於 ,因此,對於特定的個體 ,他的資料則會落於 data space 。
貝氏精神決定建模邏輯
在監督式學習中,目標常常逼近的是整個資料的機率分配,而生成模型與判別模型的差別,其實是在於他們想要逼近不同的機率分配,而其中的箇中奧妙其實是來自貝氏定理。在貝氏統計中,有三個重要的機率分配:
先驗分配 (prior distribution):目標變數的機率分配 聯合分配 (joint distribution):特徵向量與目標變數的機率分配 後驗分配 (posterior distribution):目標變數在給定特徵向量時的條件機率(註:在這裡我懶的解釋 likelihoo...