這兩天一直在看tensorflow中的讀取數(shù)據(jù)的隊(duì)列，說實(shí)話，真的是很難懂。也可能我之前沒這方面的經(jīng)驗(yàn)吧，最早我都使用的theano，什么都是自己寫。經(jīng)過這兩天的文檔以及相關(guān)資料，并且請教了國內(nèi)的師弟。今天算是有點(diǎn)小感受了。簡單的說，就是計(jì)算圖是從一個管道中讀取數(shù)據(jù)的，錄入管道是用的現(xiàn)成的方法，讀取也是。為了保證多線程的時(shí)候從一個管道讀取數(shù)據(jù)不會亂吧，所以這種時(shí)候 讀取的時(shí)候需要線程管理的相關(guān)操作。今天我實(shí)驗(yàn)室了一個簡單的操作，就是給一個有序的數(shù)據(jù)，看看讀出來是不是有序的，結(jié)果發(fā)現(xiàn)是有序的，所以直接給代碼：

import tensorflow as tf
import numpy as np

def generate_data():
  num = 25
  label = np.asarray(range(0, num))
  images = np.random.random([num, 5, 5, 3])
  print('label size :{}, image size {}'.format(label.shape, images.shape))
  return label, images

def get_batch_data():
  label, images = generate_data()
  images = tf.cast(images, tf.float32)
  label = tf.cast(label, tf.int32)
  input_queue = tf.train.slice_input_producer([images, label], shuffle=False)
  image_batch, label_batch = tf.train.batch(input_queue, batch_size=10, num_threads=1, capacity=64)
  return image_batch, label_batch

image_batch, label_batch = get_batch_data()
with tf.Session() as sess:
  coord = tf.train.Coordinator()
  threads = tf.train.start_queue_runners(sess, coord)
  i = 0
  try:
    while not coord.should_stop():
      image_batch_v, label_batch_v = sess.run([image_batch, label_batch])
      i += 1
      for j in range(10):
        print(image_batch_v.shape, label_batch_v[j])
  except tf.errors.OutOfRangeError:
    print("done")
  finally:
    coord.request_stop()
  coord.join(threads)

記得那個slice_input_producer方法，默認(rèn)是要shuffle的哈。

Besides, I would like to comment this code.

1: there is a parameter ‘num_epochs' in slice_input_producer, which controls how many epochs the slice_input_producer method would work. when this method runs the specified epochs, it would report the OutOfRangeRrror. I think it would be useful for our control the training epochs.

2: the output of this method is one single image, we could operate this single image with tensorflow API, such as normalization, crops, and so on, then this single image is feed to batch method, a batch of images for training or testing wouldbe received.

tf.train.batch和tf.train.shuffle_batch的區(qū)別用法

tf.train.batch([example, label], batch_size=batch_size, capacity=capacity)：[example, label]表示樣本和樣本標(biāo)簽，這個可以是一個樣本和一個樣本標(biāo)簽，batch_size是返回的一個batch樣本集的樣本個數(shù)。capacity是隊(duì)列中的容量。這主要是按順序組合成一個batch

tf.train.shuffle_batch([example, label], batch_size=batch_size, capacity=capacity, min_after_dequeue)。這里面的參數(shù)和上面的一樣的意思。不一樣的是這個參數(shù)min_after_dequeue，一定要保證這參數(shù)小于capacity參數(shù)的值，否則會出錯。這個代表隊(duì)列中的元素大于它的時(shí)候就輸出亂的順序的batch。也就是說這個函數(shù)的輸出結(jié)果是一個亂序的樣本排列的batch，不是按照順序排列的。

上面的函數(shù)返回值都是一個batch的樣本和樣本標(biāo)簽，只是一個是按照順序，另外一個是隨機(jī)的

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評論