python按比例隨機(jī)切分?jǐn)?shù)據(jù)的實(shí)現(xiàn)
在機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)中，我們常常碰到一個(gè)問題是數(shù)據(jù)集的切分。比如在一個(gè)比賽中，舉辦方給我們的只是一個(gè)帶標(biāo)注的訓(xùn)練集和不帶標(biāo)注的測(cè)試集。其中訓(xùn)練集是用于訓(xùn)練，而測(cè)試集用于已訓(xùn)練模型上跑出一個(gè)結(jié)果，然后提交，然后舉辦方驗(yàn)證結(jié)果給出一個(gè)分?jǐn)?shù)。但是我們?cè)谟?xùn)練過程中，可能會(huì)出現(xiàn)過擬合等問題，會(huì)面臨著算法和模型的選擇，此時(shí)，驗(yàn)證集就顯得很重要。通常，如果數(shù)據(jù)量充足，我們會(huì)從訓(xùn)練集中劃分出一定比例的數(shù)據(jù)來作為驗(yàn)證集。
每次劃分?jǐn)?shù)據(jù)集都手動(dòng)寫一個(gè)腳本，重復(fù)性太高，因此將此簡(jiǎn)單的腳本放到自己的博客。代碼如下：
import random
def split(full_list,shuffle=False,ratio=0.2):
n_total = len(full_list)
offset = int(n_total * ratio)
if n_total==0 or offset<1:
return [],full_list
if shuffle:
random.shuffle(full_list)
sublist_1 = full_list[:offset]
sublist_2 = full_list[offset:]
return sublist_1,sublist_2
if __name__ == "__main__":
li = range(5)
sublist_1,sublist_2 = split(li,shuffle=True,ratio=0.2)
print sublist_1,len(sublist_1)
print sublist_2,len(sublist_2)
其中，main為測(cè)試代碼。假如訓(xùn)練集給出的是一個(gè)文件，我們先將文件讀到列表中，然后再調(diào)用split。
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- 基于python實(shí)現(xiàn)對(duì)文件進(jìn)行切分行
- Python實(shí)現(xiàn)filter函數(shù)實(shí)現(xiàn)字符串切分
- Python 等分切分?jǐn)?shù)據(jù)及規(guī)則命名的實(shí)例代碼
- Python 最大概率法進(jìn)行漢語切分的方法
- 分享Python切分字符串的一個(gè)不錯(cuò)方法
- python實(shí)現(xiàn)根據(jù)文件關(guān)鍵字進(jìn)行切分為多個(gè)文件的示例
- Python數(shù)據(jù)集切分實(shí)例
- 實(shí)例分析python3實(shí)現(xiàn)并發(fā)訪問水平切分表
- Ubuntu下使用Python實(shí)現(xiàn)游戲制作中的切分圖片功能
- python實(shí)現(xiàn)按行切分文本文件的方法
- Python自然語言處理之切分算法詳解
相關(guān)文章
Python中字符串轉(zhuǎn)換為列表的常用方法總結(jié)
本文將詳細(xì)介紹Python中將字符串轉(zhuǎn)換為列表的八種常用方法,每種方法都具有其獨(dú)特的用途和適用場(chǎng)景,文中的示例代碼講解詳細(xì),感興趣的可以了解下2023-11-11
這篇文章主要介紹了Python中Numpy模塊使用詳解，NumPy是Python 的一個(gè)擴(kuò)展程序庫，支持大量的維度數(shù)組與矩陣運(yùn)算。更多相關(guān)內(nèi)容需要的朋友可以參考一下2022-07-07
Python實(shí)現(xiàn)強(qiáng)制復(fù)制粘貼的示例詳解
下個(gè)文檔還要馬內(nèi)？還好我會(huì)Python，本文就來教大家來一手如何利用Python實(shí)現(xiàn)強(qiáng)制復(fù)制粘貼。文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2022-12-12
Python判斷和循環(huán)語句的分析與應(yīng)用
判斷語句是用來篩選條件，過濾條件的。循環(huán)語句是用來解決重復(fù)性代碼的問題，提高工作效率。今天的知識(shí)點(diǎn)不多，耐心看完吧2022-07-07
在本篇文章里小編給大家整理的是一篇關(guān)于python中操作文件的模塊的方法總結(jié)，有需要的朋友們可以學(xué)習(xí)參考下。2021-02-02
matplotlib subplot繪制多個(gè)子圖的方法示例
這篇文章主要介紹了matplotlib subplot繪制多個(gè)子圖的方法示例，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
是否經(jīng)常好萊塢電影里看強(qiáng)大的語音識(shí)別系統(tǒng)? 是否每每看到都會(huì)羨慕嫉妒恨？ 可是我們真心買不起啊。2014-04-04
Python爬取網(wǎng)易云歌曲評(píng)論實(shí)現(xiàn)詞云圖
這篇文章主要為大家介紹了Python爬取網(wǎng)易云歌曲評(píng)論實(shí)現(xiàn)詞云分析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
python實(shí)現(xiàn)簡(jiǎn)單飛機(jī)大戰(zhàn)小游戲
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)簡(jiǎn)單飛機(jī)大戰(zhàn)小游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-05-05
這篇文章主要介紹了Python中的pickle模塊解析,pickle 模塊和 json 模塊很像,都有序列化的功能,不過 pickle 模塊更加局限一些只能對(duì) python 使用,它可以對(duì)一個(gè) python 對(duì)象結(jié)構(gòu)的二進(jìn)制序列化和反序列化,需要的朋友可以參考下2023-09-09