[機器學習首部曲] 貝氏分類器Bayesian Classifier | 貝 氏 定理 機器學習
貝氏分類器為一基於機率的分類器,並假設各個特徵間相互獨立。要了解貝氏分類器,我們要先來認識赫赫有名的「貝氏定理」。貝氏定理Bayes’Theorem貝氏定理描述在一些已知的條件下,某件事情發生的機率。比方說,如果我們已經知道房價與房子的區域位置有關,那麼使用貝氏定理則可以透過得知房子的位置,更準確地推估房子的價格。$$P(A|B)=frac{P(B|A)P(A)}{P(B)}$$上式意思為若我們想要得知在已知B事件發生下,A事件發生的機率為何?我們可以這樣理解。首先,在事件B發生之前,我們對事件A會有一個基本的機率判斷,因此我們稱$P(A)$為”事...
貝氏分類器為一基於機率的分類器,並假設各個特徵間相互獨立。要了解貝氏分類器,我們要先來認識赫赫有名的「貝氏定理」。
貝氏定理 Bayes’ Theorem貝氏定理描述在一些已知的條件下,某件事情發生的機率。比方說,如果我們已經知道房價與房子的區域位置有關,那麼使用貝氏定理則可以透過得知房子的位置,更準確地推估房子的價格。
$$ P(A|B)=frac{P(B|A)P(A)}{P(B)} $$
上式意思為若我們想要得知在已知B事件發生下,A事件發生的機率為何?
我們可以這樣理解。首先,在事件B發生之前,我們對事件A會有一個基本的機率判斷,因此我們稱$P(A)$為”事前機率”。而在事件B發生之後,我們會對事件A發生的機率重新評估,因此我們稱$P(A|B)$為事件A的事後機率。另一方面,在事件A發生之前,我們也會對事件B有一個基本的機率判斷,我們稱$P(B)$為”事前機率”。同樣的,在事件A發生之後,我們亦會對事件B的發生機率從新評估,因此我們稱$P(B|A)$為事件B的事後機率。
綜合以上,在機去學習裡面我們可以把此方程式看成:
$$ P(假設|資料) = frac{P(資料|假設) imes P(假設)}{P(資料)}$$
在貝氏學習裡,我們想要得到的是,究竟是怎麼樣的假設,比較符合我們觀察到的資料,也就是要找到一個讓$P(假設|資料)$最高的”假設”。
很顯然的,$P(假設|資料)$會隨著$P(資料|假設)$及$P(假設)$上升而上升,但會因$P(資料)$的上升而下降。
到了這邊,可能還是覺得有點似懂非懂,讓我們一起來看個小例子,可能會更為明白!
如果有一天你出差回家,在家裡發現了不是自己的內衣褲,究竟伴侶欺騙你的機率有多少?
讓我們一起對照著上述公式。在這個例子中,資料的部分為”發現家裡有非自己內衣褲的事實”,而假設的部分則為”伴侶欺騙了自己”。(另一個假設則是”伴侶沒有欺騙自己”,我們最後可以用貝氏定理來推估哪一個假設的機率高,在此先只關注其一假設)很顯然...