Python中使用支持向量機(jī)SVM實(shí)踐
在機(jī)器學(xué)習(xí)領(lǐng)域,支持向量機(jī)SVM(Support Vector Machine)是一個(gè)有監(jiān)督的學(xué)習(xí)模型,通常用來(lái)進(jìn)行模式識(shí)別、分類(異常值檢測(cè))以及回歸分析。
其具有以下特征:
(1)SVM可以表示為凸優(yōu)化問(wèn)題,因此可以利用已知的有效算法發(fā)現(xiàn)目標(biāo)函數(shù)的全局最小值。而其他分類方法都采用一種基于貪心學(xué)習(xí)的策略來(lái)搜索假設(shè)空間,這種方法一般只能獲得局部最優(yōu)解。
(2) SVM通過(guò)最大化決策邊界的邊緣來(lái)實(shí)現(xiàn)控制模型的能力。盡管如此,用戶必須提供其他參數(shù),如使用核函數(shù)類型和引入松弛變量等。
(3)SVM一般只能用在二類問(wèn)題,對(duì)于多類問(wèn)題效果不好。
代碼及詳細(xì)解釋(基于sklearn包):
from sklearn import svm import numpy as np import matplotlib.pyplot as plt #準(zhǔn)備訓(xùn)練樣本 x=[[1,8],[3,20],[1,15],[3,35],[5,35],[4,40],[7,80],[6,49]] y=[1,1,-1,-1,1,-1,-1,1] ##開(kāi)始訓(xùn)練 clf=svm.SVC() ##默認(rèn)參數(shù):kernel='rbf' clf.fit(x,y) ##根據(jù)訓(xùn)練出的模型繪制樣本點(diǎn) for i in x: res=clf.predict(np.array(i).reshape(1, -1)) if res > 0: plt.scatter(i[0],i[1],c='r',marker='*') else : plt.scatter(i[0],i[1],c='g',marker='*') ##生成隨機(jī)實(shí)驗(yàn)數(shù)據(jù)(15行2列) rdm_arr=np.random.randint(1, 15, size=(15,2)) ##回執(zhí)實(shí)驗(yàn)數(shù)據(jù)點(diǎn) for i in rdm_arr: res=clf.predict(np.array(i).reshape(1, -1)) if res > 0: plt.scatter(i[0],i[1],c='r',marker='.') else : plt.scatter(i[0],i[1],c='g',marker='.') ##顯示繪圖結(jié)果 plt.show()
從圖上可以看出,數(shù)據(jù)明顯被藍(lán)色分割線分成了兩類。但是紅色箭頭標(biāo)示的點(diǎn)例外,所以這也起到了檢測(cè)異常值的作用。
上面的代碼中提到了kernel='rbf',這個(gè)參數(shù)是SVM的核心:核函數(shù)
重新整理后的代碼如下:
from sklearn import svm import numpy as np import matplotlib.pyplot as plt ##設(shè)置子圖數(shù)量 fig, axes = plt.subplots(nrows=2, ncols=2,figsize=(7,7)) ax0, ax1, ax2, ax3 = axes.flatten() #準(zhǔn)備訓(xùn)練樣本 x=[[1,8],[3,20],[1,15],[3,35],[5,35],[4,40],[7,80],[6,49]] y=[1,1,-1,-1,1,-1,-1,1] ''' 說(shuō)明1: 核函數(shù)(這里簡(jiǎn)單介紹了sklearn中svm的四個(gè)核函數(shù),還有precomputed及自定義的) LinearSVC:主要用于線性可分的情形。參數(shù)少,速度快,對(duì)于一般數(shù)據(jù),分類效果已經(jīng)很理想 RBF:主要用于線性不可分的情形。參數(shù)多,分類結(jié)果非常依賴于參數(shù) polynomial:多項(xiàng)式函數(shù),degree 表示多項(xiàng)式的程度-----支持非線性分類 Sigmoid:在生物學(xué)中常見(jiàn)的S型的函數(shù),也稱為S型生長(zhǎng)曲線 說(shuō)明2:根據(jù)設(shè)置的參數(shù)不同,得出的分類結(jié)果及顯示結(jié)果也會(huì)不同 ''' ##設(shè)置子圖的標(biāo)題 titles = ['LinearSVC (linear kernel)', 'SVC with polynomial (degree 3) kernel', 'SVC with RBF kernel', ##這個(gè)是默認(rèn)的 'SVC with Sigmoid kernel'] ##生成隨機(jī)試驗(yàn)數(shù)據(jù)(15行2列) rdm_arr=np.random.randint(1, 15, size=(15,2)) def drawPoint(ax,clf,tn): ##繪制樣本點(diǎn) for i in x: ax.set_title(titles[tn]) res=clf.predict(np.array(i).reshape(1, -1)) if res > 0: ax.scatter(i[0],i[1],c='r',marker='*') else : ax.scatter(i[0],i[1],c='g',marker='*') ##繪制實(shí)驗(yàn)點(diǎn) for i in rdm_arr: res=clf.predict(np.array(i).reshape(1, -1)) if res > 0: ax.scatter(i[0],i[1],c='r',marker='.') else : ax.scatter(i[0],i[1],c='g',marker='.') if __name__=="__main__": ##選擇核函數(shù) for n in range(0,4): if n==0: clf = svm.SVC(kernel='linear').fit(x, y) drawPoint(ax0,clf,0) elif n==1: clf = svm.SVC(kernel='poly', degree=3).fit(x, y) drawPoint(ax1,clf,1) elif n==2: clf= svm.SVC(kernel='rbf').fit(x, y) drawPoint(ax2,clf,2) else : clf= svm.SVC(kernel='sigmoid').fit(x, y) drawPoint(ax3,clf,3) plt.show()
由于樣本數(shù)據(jù)的關(guān)系,四個(gè)核函數(shù)得出的結(jié)果一致。在實(shí)際操作中,應(yīng)該選擇效果最好的核函數(shù)分析。
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python開(kāi)啟線程,在函數(shù)中開(kāi)線程的實(shí)例
今天小編就為大家分享一篇Python開(kāi)啟線程,在函數(shù)中開(kāi)線程的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-02-02python 求某條線上特定x值或y值的點(diǎn)坐標(biāo)方法
今天小編就為大家分享一篇python 求某條線上特定x值或y值的點(diǎn)坐標(biāo)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07python繪制雙Y軸折線圖以及單Y軸雙變量柱狀圖的實(shí)例
今天小編就為大家分享一篇python繪制雙Y軸折線圖以及單Y軸雙變量柱狀圖的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07基于 Django 的手機(jī)管理系統(tǒng)實(shí)現(xiàn)過(guò)程詳解
這篇文章主要介紹了基于 Django 的手機(jī)管理系統(tǒng)過(guò)程詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08淺談Python類里的__init__方法函數(shù),Python類的構(gòu)造函數(shù)
下面小編就為大家?guī)?lái)一篇淺談Python類里的__init__方法函數(shù),Python類的構(gòu)造函數(shù)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2016-12-12Django數(shù)據(jù)庫(kù)操作的實(shí)例(增刪改查)
下面小編就為大家?guī)?lái)一篇Django數(shù)據(jù)庫(kù)操作的實(shí)例(增刪改查)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-09-09