Python機器學習庫scikit-learn入門開發(fā)示例
1.數(shù)據(jù)采集和標記
先采集數(shù)據(jù),再對數(shù)據(jù)進行標記。其中采集數(shù)據(jù)要就有代表性,以確保最終訓練出來模型的準確性。
2.特征選擇
選擇特征的直觀方法:直接使用圖片的每個像素點作為一個特征。
數(shù)據(jù)保存為樣本個數(shù)×特征個數(shù)格式的array對象。scikit-learn使用Numpy的array對象來表示數(shù)據(jù),所有的圖片數(shù)據(jù)保存在digits.images里,每個元素都為一個8×8尺寸的灰階圖片。
3.數(shù)據(jù)清洗
把采集到的、不合適用來做機器學習訓練的數(shù)據(jù)進行預處理,從而轉(zhuǎn)換為合適機器學習的數(shù)據(jù)。
目的:減少計算量,確保模型穩(wěn)定性。
4.模型選擇
對于不同的數(shù)據(jù)集,選擇不同的模型有不同的效率。因此在選擇模型要考慮很多的因素,來提高最終選擇模型的契合度。
5.模型訓練
在進行模型訓練之前,要將數(shù)據(jù)集劃分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集,再利用劃分好的數(shù)據(jù)集進行模型訓練,最后得到我們訓練出來的模型參數(shù)。
6.模型測試
模型測試的直觀方法:用訓練出來的模型預測測試數(shù)據(jù)集,然后將預測出來的結果與真正的結果進行比較,最后比較出來的結果即為模型的準確度。
scikit-learn提供的完成這項工作的方法:
clf . score ( Xtest , Ytest)
除此之外,還可以直接把測試數(shù)據(jù)集里的部分圖片顯示出來,并且在圖片的左下角顯示預測值,右下角顯示真實值。
7.模型保存與加載
當我們訓練出一個滿意的模型后即可將模型保存下來,這樣當下次需要預測時,可以直接利用此模型進行預測,不用再一次進行模型訓練。
8.實例
數(shù)據(jù)采集和標記
#導入庫 %matplotlib inline import matplotlib.pyplot as plt import numpy as np """ sk-learn庫中自帶了一些數(shù)據(jù)集 此處使用的就是手寫數(shù)字識別圖片的數(shù)據(jù) """ # 導入sklearn庫中datasets模塊 from sklearn import datasets # 利用datasets模塊中的函數(shù)load_digits()進行數(shù)據(jù)加載 digits = datasets.load_digits() # 把數(shù)據(jù)所代表的圖片顯示出來 images_and_labels = list(zip(digits.images, digits.target)) plt.figure(figsize=(8, 6)) for index, (image, label) in enumerate(images_and_labels[:8]): plt.subplot(2, 4, index + 1) plt.axis('off') plt.imshow(image, cmap=plt.cm.gray_r, interpolation='nearest') plt.title('Digit: %i' % label, fontsize=20);
特征選擇
# 將數(shù)據(jù)保存為 樣本個數(shù)x特征個數(shù) 格式的array對象 的數(shù)據(jù)格式進行輸出 # 數(shù)據(jù)已經(jīng)保存在了digits.data文件中 print("shape of raw image data: {0}".format(digits.images.shape)) print("shape of data: {0}".format(digits.data.shape))
模型訓練
# 把數(shù)據(jù)分成訓練數(shù)據(jù)集和測試數(shù)據(jù)集(此處將數(shù)據(jù)集的百分之二十作為測試數(shù)據(jù)集) from sklearn.model_selection import train_test_split Xtrain, Xtest, Ytrain, Ytest = train_test_split(digits.data, digits.target, test_size=0.20, random_state=2); # 使用支持向量機來訓練模型 from sklearn import svm clf = svm.SVC(gamma=0.001, C=100., probability=True) # 使用訓練數(shù)據(jù)集Xtrain和Ytrain來訓練模型 clf.fit(Xtrain, Ytrain);
模型測試
""" sklearn.metrics.accuracy_score(y_true, y_pred, normalize=True, sample_weight=None) normalize:默認值為True,返回正確分類的比例;如果為False,返回正確分類的樣本數(shù) """ # 評估模型的準確度(此處默認為true,直接返回正確的比例,也就是模型的準確度) from sklearn.metrics import accuracy_score # predict是訓練后返回預測結果,是標簽值。 Ypred = clf.predict(Xtest); accuracy_score(Ytest, Ypred)
模型保存與加載
""" 將測試數(shù)據(jù)集里的部分圖片顯示出來 圖片的左下角顯示預測值,右下角顯示真實值 """ # 查看預測的情況 fig, axes = plt.subplots(4, 4, figsize=(8, 8)) fig.subplots_adjust(hspace=0.1, wspace=0.1) for i, ax in enumerate(axes.flat): ax.imshow(Xtest[i].reshape(8, 8), cmap=plt.cm.gray_r, interpolation='nearest') ax.text(0.05, 0.05, str(Ypred[i]), fontsize=32, transform=ax.transAxes, color='green' if Ypred[i] == Ytest[i] else 'red') ax.text(0.8, 0.05, str(Ytest[i]), fontsize=32, transform=ax.transAxes, color='black') ax.set_xticks([]) ax.set_yticks([])
# 保存模型參數(shù) import joblib joblib.dump(clf, 'digits_svm.pkl');
保存模型參數(shù)過程中出現(xiàn)如下錯誤:
原因:sklearn.externals.joblib函數(shù)是用在0.21及以前的版本中,在最新的版本,該函數(shù)應被棄用。
解決方法:將 from sklearn.externals import joblib改為 import joblib
# 導入模型參數(shù),直接進行預測 clf = joblib.load('digits_svm.pkl') Ypred = clf.predict(Xtest); clf.score(Xtest, Ytest)
到此這篇關于Python機器學習庫scikit-learn入門開發(fā)示例的文章就介紹到這了,更多相關Python scikit-learn內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Python 中如何實現(xiàn)參數(shù)化測試的方法示例
這篇文章主要介紹了Python 中如何實現(xiàn)參數(shù)化測試的方法示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2019-12-12Python使用StringIO和BytesIO讀寫內(nèi)存數(shù)據(jù)
這篇文章介紹了Python使用StringIO和BytesIO讀寫內(nèi)存數(shù)據(jù)的方法,文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-05-05tensorflow基于CNN實戰(zhàn)mnist手寫識別(小白必看)
這篇文章主要介紹了tensorflow基于CNN實戰(zhàn)mnist手寫識別(小白必看),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-07-07