一、概述

機器學習算法在近幾年大數(shù)據(jù)點燃的熱火熏陶下已經(jīng)變得被人所“熟知”，就算不懂得其中各算法理論，叫你喊上一兩個著名算法的名字，你也能昂首挺胸脫口而出。當然了，算法之林雖大，但能者還是有限，能適應某些環(huán)境并取得較好效果的算法會脫穎而出，而表現(xiàn)平平者則被歷史所淡忘。隨著機器學習社區(qū)的發(fā)展和實踐驗證，這群脫穎而出者也逐漸被人所認可和青睞，同時獲得了更多社區(qū)力量的支持、改進和推廣。

以最廣泛的分類算法為例，大致可以分為線性和非線性兩大派別。線性算法有著名的邏輯回歸、樸素貝葉斯、最大熵等，非線性算法有隨機森林、決策樹、神經(jīng)網(wǎng)絡、核機器等等。線性算法舉的大旗是訓練和預測的效率比較高，但最終效果對特征的依賴程度較高，需要數(shù)據(jù)在特征層面上是線性可分的。因此，使用線性算法需要在特征工程上下不少功夫，盡量對特征進行選擇、變換或者組合等使得特征具有區(qū)分性。而非線性算法則牛逼點，可以建模復雜的分類面，從而能更好的擬合數(shù)據(jù)。

那在我們選擇了特征的基礎上，哪個機器學習算法能取得更好的效果呢？誰也不知道。實踐是檢驗哪個好的不二標準。那難道要苦逼到寫五六個機器學習的代碼嗎？No，機器學習社區(qū)的力量是強大的，碼農(nóng)界的共識是不重復造輪子！因此，對某些較為成熟的算法，總有某些優(yōu)秀的庫可以直接使用，省去了大伙調(diào)研的大部分時間。

基于目前使用python較多，而python界中遠近聞名的機器學習庫要數(shù)scikit-learn莫屬了。這個庫優(yōu)點很多。簡單易用，接口抽象得非常好，而且文檔支持實在感人。本文中，我們可以封裝其中的很多機器學習算法，然后進行一次性測試，從而便于分析取優(yōu)。當然了，針對具體算法，超參調(diào)優(yōu)也非常重要。

二、Scikit-learn的python實踐

本篇文章利用線性回歸算法預測波士頓的房價。波士頓房價數(shù)據(jù)集包含波士頓郊區(qū)住房價值的信息。

第一步：Python庫導入

%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import sklearn

第二步：數(shù)據(jù)獲取和理解

波士頓數(shù)據(jù)集是scikit-learn的內(nèi)置數(shù)據(jù)集，可以直接拿來使用。

from sklearn.datasets import load_boston
boston = load_boston()

print(boston.keys())

dict_keys([‘data', ‘target', ‘feature_names', ‘DESCR'])

print(boston.data.shape)

(506, 13)

print(boston.feature_names)

[‘CRIM' ‘ZN' ‘INDUS' ‘CHAS' ‘NOX' ‘RM' ‘AGE' ‘DIS' ‘RAD' ‘TAX' ‘PTRATIO''B' ‘LSTAT']

結論：波士頓數(shù)據(jù)集506個樣本，14個特征。

print(boston.DESCR)

bos = pd.DataFrame(boston.data)
print(bos.head())

    0   1   2  3   4   5   6    7  8   9   10 \
0 0.00632 18.0 2.31 0.0 0.538 6.575 65.2 4.0900 1.0 296.0 15.3  
1 0.02731  0.0 7.07 0.0 0.469 6.421 78.9 4.9671 2.0 242.0 17.8  
2 0.02729  0.0 7.07 0.0 0.469 7.185 61.1 4.9671 2.0 242.0 17.8  
3 0.03237  0.0 2.18 0.0 0.458 6.998 45.8 6.0622 3.0 222.0 18.7  
4 0.06905  0.0 2.18 0.0 0.458 7.147 54.2 6.0622 3.0 222.0 18.7  
    11  12 
0 396.90 4.98 
1 396.90 9.14 
2 392.83 4.03 
3 394.63 2.94 
4 396.90 5.33 

bos.columns = boston.feature_names
print(bos.head())

print(boston.target[:5])

bos['PRICE'] = boston.target

bos.head()

第三步：數(shù)據(jù)模型構建——線性回歸

from sklearn.linear_model import LinearRegression
X = bos.drop('PRICE', axis=1)
lm = LinearRegression()
lm

lm.fit(X, bos.PRICE)

print('線性回歸算法w值：', lm.coef_)
print('線性回歸算法b值: ', lm.intercept_)

import matplotlib.font_manager as fm
myfont = fm.FontProperties(fname='C:/Windows/Fonts/msyh.ttc')
plt.scatter(bos.RM, bos.PRICE)
plt.xlabel(u'住宅平均房間數(shù)', fontproperties=myfont)
plt.ylabel(u'房屋價格', fontproperties=myfont)
plt.title(u'RM與PRICE的關系', fontproperties=myfont)
plt.show()

第四步：數(shù)據(jù)模型應用——預測房價

lm.predict(X)[0:5]

array([ 30.00821269, 25.0298606 , 30.5702317 , 28.60814055, 27.94288232])

mse = np.mean((bos.PRICE - lm.predict(X)) ** 2)
print(mse)

21.897779217687486

總結

1 使用.DESCR探索波士頓數(shù)據(jù)集，業(yè)務目標是預測波士頓郊區(qū)住房的房價；

2 使用scikit-learn針對整個數(shù)據(jù)集擬合線性回歸模型，并計算均方誤差。

思考環(huán)節(jié)

1 對數(shù)據(jù)集分割成訓練數(shù)據(jù)集和測試數(shù)據(jù)集

2 訓練數(shù)據(jù)集訓練線性回歸模型，利用線性回歸模型對測試數(shù)據(jù)集進行預測

3 計算訓練模型的MSE和測試數(shù)據(jù)集預測結果的MSE

4 繪制測試數(shù)據(jù)集的殘差圖

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

最新評論