Python數據集切分實例
更新時間：2018年12月08日 14:33:29 作者：shenhuaifeng
今天小編就為大家分享一篇Python數據集切分實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在處理數據過程中經常要把數據集切分為訓練集和測試集，因此記錄一下切分代碼。
''' data:數據集 test_ratio:測試機占比 如果data為numpy.numpy.ndarray直接使用此代碼 如果data為pandas.DatFrame類型則 return data[train_indices],data[test_indices] 修改為 return data.iloc[train_indices],data.iloc[test_indices] ''' def split_train(data,test_ratio): shuffled_indices=np.random.permutation(len(data)) test_set_size=int(len(data)*test_ratio) test_indices =shuffled_indices[:test_set_size] train_indices=shuffled_indices[test_set_size:] return data[train_indices],data[test_indices]
測試代碼如下：
import numpy as np import pandas as pd data=np.random.randint(100,size=[25,4]) print(data)
結果如下：
從上圖可以看出，原數據集按照5:1被隨機分為兩部分。但是此種方法存在一個缺點–每次調用次函數切分同一個數據集切分出來的結果都不一樣，因此常在np.random.permutation(len(data))先調用np.random.seed(int)函數，來確保每次切分來的結果相同。
因此將上述函數改為：
def split_train(data,test_ratio): np.random.seed(43) shuffled_indices=np.random.permutation(len(data)) test_set_size=int(len(data)*test_ratio) test_indices =shuffled_indices[:test_set_size] train_indices=shuffled_indices[test_set_size:] return data[train_indices],data[test_indices]
這個函數np.random.seed(43)當參數為同一整數時產生的隨機數相同。
以上這篇Python數據集切分實例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
python torch.utils.data.DataLoader使用方法
這篇文章主要介紹了python torch.utils.data.DataLoader使用方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-04-04
這篇文章主要為大家介紹了python?class和封裝，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
python json 遞歸打印所有json子節(jié)點信息的例子
今天小編就為大家分享一篇python json 遞歸打印所有json子節(jié)點信息的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
這篇文章主要介紹了Python使用MD5加密字符串示例,對一些可能出現的錯誤點上本文也給出提醒,需要的朋友可以參考下2014-08-08
LaTeX?是一種廣泛用于排版學術論文、報告、書籍和演示文稿的標記語言,本文主要為大家詳細介紹了如何使用?Python?來優(yōu)雅地編寫?LaTeX,提高效率并減少錯誤,需要的可以參考下2024-02-02
PycURl是一個C語言寫的libcurl的python綁定庫。libcurl 是一個自由的，并且容易使用的用在客戶端的 URL 傳輸庫。它的功能很強大，PycURL 是一個非常快速（參考多并發(fā)操作）和豐富完整特性的，但是有點復雜的接口。2018-04-04
這篇文章主要介紹了使用python對excel表格處理的一些小功能,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-01-01
這篇文章主要介紹了Python程序實現向MySQL存放圖片，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-03-03
本文通過代碼給大家介紹了Python 逐行分割大txt文件的方法，在文中給大家提到了Python從txt文件中逐行讀取數據的方法，需要的朋友參考下吧2017-10-10
這篇文章主要介紹了Python之多線程退出與停止的一種實現思路,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02