亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

pytorch實現(xiàn)建立自己的數(shù)據集(以mnist為例)

 更新時間：2020年01月18日 16:06:16   作者：sjtu_leexx  
今天小編就為大家分享一篇pytorch實現(xiàn)建立自己的數(shù)據集(以mnist為例)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

本文將原始的numpy array數(shù)據在pytorch下封裝為Dataset類的數(shù)據集，為后續(xù)深度網絡訓練提供數(shù)據。

加載并保存圖像信息

首先導入需要的庫，定義各種路徑。

import os
import matplotlib
from keras.datasets import mnist
import numpy as np
from torch.utils.data.dataset import Dataset
from PIL import Image
import scipy.misc

root_path = 'E:/coding_ex/pytorch/Alexnet/data/'
base_path = 'baseset/'
training_path = 'trainingset/'
test_path = 'testset/'

這里將數(shù)據集分為三類，baseset為所有數(shù)據（trainingset+testset），trainingset是訓練集，testset是測試集。直接通過keras.dataset加載mnist數(shù)據集，不能自動下載的話可以手動下載.npz并保存至相應目錄下。

def LoadData(root_path, base_path, training_path, test_path):
  (x_train, y_train), (x_test, y_test) = mnist.load_data()
  x_baseset = np.concatenate((x_train, x_test))
  y_baseset = np.concatenate((y_train, y_test))
  train_num = len(x_train)
  test_num = len(x_test)
  
  #baseset
  file_img = open((os.path.join(root_path, base_path)+'baseset_img.txt'),'w')
  file_label = open((os.path.join(root_path, base_path)+'baseset_label.txt'),'w')
  for i in range(train_num + test_num):
    file_img.write(root_path + base_path + 'img/' + str(i) + '.png\n') #name
    file_label.write(str(y_baseset[i])+'\n') #label
#    scipy.misc.imsave(root_path + base_path + '/img/'+str(i) + '.png', x_baseset[i])
    matplotlib.image.imsave(root_path + base_path + 'img/'+str(i) + '.png', x_baseset[i])
  file_img.close()
  file_label.close()
  
  #trainingset
  file_img = open((os.path.join(root_path, training_path)+'trainingset_img.txt'),'w')
  file_label = open((os.path.join(root_path, training_path)+'trainingset_label.txt'),'w')
  for i in range(train_num):
    file_img.write(root_path + training_path + 'img/' + str(i) + '.png\n') #name
    file_label.write(str(y_train[i])+'\n') #label
#    scipy.misc.imsave(root_path + training_path + '/img/'+str(i) + '.png', x_train[i])
    matplotlib.image.imsave(root_path + training_path + 'img/'+str(i) + '.png', x_train[i])
  file_img.close()
  file_label.close()
  
  #testset
  file_img = open((os.path.join(root_path, test_path)+'testset_img.txt'),'w')
  file_label = open((os.path.join(root_path, test_path)+'testset_label.txt'),'w')
  for i in range(test_num):
    file_img.write(root_path + test_path + 'img/' + str(i) + '.png\n') #name
    file_label.write(str(y_test[i])+'\n') #label
#    scipy.misc.imsave(root_path + test_path + '/img/'+str(i) + '.png', x_test[i])
    matplotlib.image.imsave(root_path + test_path + 'img/'+str(i) + '.png', x_test[i])
  file_img.close()
  file_label.close()

使用這段代碼時，需要建立相應的文件夾及.txt文件，./data文件夾結構如下：

/img文件夾

由于mnist數(shù)據集其實是灰度圖，這里用matplotlib保存的圖像是偽彩色圖像。

如果用scipy.misc.imsave的話保存的則是灰度圖像。

xxx_img.txt文件

xxx_img.txt文件中存放的是每張圖像的名字

xxx_label.txt文件

xxx_label.txt文件中存放的是類別標記

這里記得保存的時候一行為一個圖像信息，便于后續(xù)讀取。

定義自己的Dataset類

pytorch訓練數(shù)據時需要數(shù)據集為Dataset類，便于迭代等等，這里將加載保存之后的數(shù)據封裝成Dataset類，繼承該類需要寫初始化方法（__init__），獲取指定下標數(shù)據的方法__getitem__），獲取數(shù)據個數(shù)的方法（__len__）。這里尤其需要注意的是要把label轉為LongTensor類型的。

class DataProcessingMnist(Dataset):
  def __init__(self, root_path, imgfile_path, labelfile_path, imgdata_path, transform = None):
    self.root_path = root_path
    self.transform = transform
    self.imagedata_path = imgdata_path
    img_file = open((root_path + imgfile_path),'r')
    self.image_name = [x.strip() for x in img_file]
    img_file.close()
    label_file = open((root_path + labelfile_path), 'r')
    label = [int(x.strip()) for x in label_file]
    label_file.close()
    self.label = torch.LongTensor(label)#這句很重要，一定要把label轉為LongTensor類型的
    
  def __getitem__(self, idx):
    image = Image.open(str(self.image_name[idx]))
    image = image.convert('RGB')
    if self.transform is not None:
      image = self.transform(image)
    label = self.label[idx]
    return image, label
  def __len__(self):
    return len(self.image_name)

定義完自己的類之后可以測試一下。

  LoadData(root_path, base_path, training_path, test_path)
  training_imgfile = training_path + 'trainingset_img.txt'
  training_labelfile = training_path + 'trainingset_label.txt'
  training_imgdata = training_path + 'img/'
  #實例化一個類
  dataset = DataProcessingMnist(root_path, training_imgfile, training_labelfile, training_imgdata)

得到圖像名稱

name = dataset.image_name

這里我們可以單獨輸出某一個名稱看一下是否有換行符

print(name[0])
>>>'E:/coding_ex/pytorch/Alexnet/data/trainingset/img/0.png'

如果定義類的時候self.image_name = [x.strip() for x in img_file]這句沒有strip掉，則輸出的值將為'E:/coding_ex/pytorch/Alexnet/data/trainingset/img/0.png\n'

獲取固定下標的圖像

im, label = dataset.__getitem__(0)

得到結果

以上這篇pytorch實現(xiàn)建立自己的數(shù)據集(以mnist為例)就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

相關文章

最新評論