機(jī)器學(xué)習(xí)強(qiáng)基計(jì)劃聚焦深度和廣度，加深對機(jī)器學(xué)習(xí)模型的理解與應(yīng)用。“深”在詳細(xì)推導(dǎo)算法模型背后的數(shù)學(xué)原理；“廣”在分析多個機(jī)器學(xué)習(xí)模型：決策樹、支持向量機(jī)、貝葉斯與馬爾科夫決策、強(qiáng)化學(xué)習(xí)等。

本期目標(biāo)：實(shí)現(xiàn)這樣一個效果

1.什么是線性模型

線性模型的假設(shè)形式是屬性權(quán)重、偏置與屬性的線性組合，即

稱為廣義線性模型(generalized linear model)，其中g(shù)(⋅)稱為聯(lián)系函數(shù)(link function)。

廣義線性模型本質(zhì)上仍是線性的，但通過g(⋅)進(jìn)行非線性映射，使之具有更強(qiáng)的擬合能力，類似神經(jīng)元的激活函數(shù)。例如對數(shù)線性回歸(log-linear regression)是g(⋅)=ln(⋅)時的情形，此時模型擁有了指數(shù)逼近的性質(zhì)。

線性模型的優(yōu)點(diǎn)是形式簡單、易于建模、可解釋性強(qiáng)，是更復(fù)雜非線性模型的基礎(chǔ)。

2.感知機(jī)概述

感知機(jī)(Perceptron)是最簡單的二分類線性模型，也是神經(jīng)網(wǎng)絡(luò)的起源算法，如圖所示。

y=w^Tx^是 R^d空間的一條直線，因此感知機(jī)實(shí)質(zhì)上是通過訓(xùn)練參數(shù)w^改變直線位置，直至將訓(xùn)練集分類完全，如圖所示，或者參考文章開頭的動圖。

3.手推感知機(jī)原理

機(jī)器學(xué)習(xí)強(qiáng)基計(jì)劃的初衷就是搞清楚每個算法、每個模型的數(shù)學(xué)原理，讓我們開始吧！

感知機(jī)的損失函數(shù)定義為全體誤分類點(diǎn)到感知機(jī)切割超平面的距離之和：

對于二分類問題y∈{−1,1}，則誤分類點(diǎn)的判斷方法為

這在二分類問題中是個很常用的技巧，后面還會遇到這種等效形式。

從而損失函數(shù)也可簡化為下面的形式以便于求導(dǎo)：

方程兩邊同時乘以系數(shù)都成立，所以直線系數(shù) w^可以隨意縮放，這里可令|w^|=1

若采用梯度下降法進(jìn)行優(yōu)化(梯度法可參考圖文詳解梯度下降算法的原理及Python實(shí)現(xiàn))，則算法流程為：

4.Python實(shí)現(xiàn)

4.1 創(chuàng)建感知機(jī)類

class Perceptron:
    def __init__(self):
        self.w = np.mat([0,0])                                    # 初始化權(quán)重
        self.b = 0                                                  # 初始化偏置
        self.delta = 1                                              # 設(shè)置學(xué)習(xí)率為1
        self.train_set =  [[np.mat([3, 3]), 1], [np.mat([4, 3]), 1], [np.mat([1, 1]), -1]]  # 設(shè)置訓(xùn)練集
        self.history = []                                           # 訓(xùn)練歷史

4.2 更新權(quán)重與偏置

def update(self,error_point):
        self.w += self.delta*error_point[1]*error_point[0]
        self.b += self.delta*error_point[1]
        self.history.append([self.w.tolist()[0],self.b])

4.3 判斷誤分類點(diǎn)

def judge(self,point):
        return point[1]*(self.w*point[0].T+self.b)

4.4 訓(xùn)練感知機(jī)

def train(self):       
     flag = True
     while(flag):
         count = 0
         for point in self.train_set:
             if(self.judge(point)<=0):
                 self.update(point)
             else:
                 count += 1
         if(count == len(self.train_set)):
             flag = False

4.5 動圖可視化

def show():
        print("參數(shù)w,b更新過程：",perceptron.history)
        anim = animation.FuncAnimation(fig, animate, init_func=init, frames=len(perceptron.history), 
                                        interval=1000, repeat=False,blit=True)
        plt.show()