亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

使用tensorflow DataSet實現(xiàn)高效加載變長文本輸入

 更新時間:2020年01月20日 15:45:38   作者:lyg5623  
今天小編就為大家分享一篇使用tensorflow DataSet實現(xiàn)高效加載變長文本輸入,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

DataSet是tensorflow 1.3版本推出的一個high-level的api,在1.3版本還只是處于測試階段,1.4版本已經(jīng)正式推出。

在網(wǎng)上搜了一遍,發(fā)現(xiàn)關(guān)于使用DataSet加載文本的資料比較少,官方舉的例子只是csv格式的,要求csv文件中所有樣本必須具有相同的維度,也就是padding必須在寫入csv文件之前做掉,這會增加文件的大小。

經(jīng)過一番折騰試驗,這里給出一個DataSet+TFRecords加載變長樣本的范例。

首先先把變長的數(shù)據(jù)寫入到TFRecords文件:

def writedata():
 xlist = [[1,2,3],[4,5,6,8]]
 ylist = [1,2]
 #這里的數(shù)據(jù)只是舉個例子來說明樣本的文本長度不一樣,第一個樣本3個詞標(biāo)簽1,第二個樣本4個詞標(biāo)簽2
 writer = tf.python_io.TFRecordWriter("train.tfrecords")
 for i in range(2):
  x = xlist[i]
  y = ylist[i]
  example = tf.train.Example(features=tf.train.Features(feature={
   "y": tf.train.Feature(int64_list=tf.train.Int64List(value=[y])),
   'x': tf.train.Feature(int64_list=tf.train.Int64List(value=x))
  }))
  writer.write(example.SerializeToString())
 writer.close()

然后用DataSet加載:

feature_names = ['x']
 
def my_input_fn(file_path, perform_shuffle=False, repeat_count=1):
 def parse(example_proto):
  features = {"x": tf.VarLenFeature(tf.int64),
    "y": tf.FixedLenFeature([1], tf.int64)}
  parsed_features = tf.parse_single_example(example_proto, features)
  x = tf.sparse_tensor_to_dense(parsed_features["x"])
  x = tf.cast(x, tf.int32)
  x = dict(zip(feature_names, [x]))
  y = tf.cast(parsed_features["y"], tf.int32)
  return x, y
 
 dataset = (tf.contrib.data.TFRecordDataset(file_path)
    .map(parse))
 if perform_shuffle:
  dataset = dataset.shuffle(buffer_size=256)
 dataset = dataset.repeat(repeat_count)
 dataset = dataset.padded_batch(2, padded_shapes=({'x':[6]},[1])) #batch size為2,并且x按maxlen=6來做padding
 iterator = dataset.make_one_shot_iterator()
 batch_features, batch_labels = iterator.get_next()
 return batch_features, batch_labels
 
next_batch = my_input_fn('train.tfrecords', True)
init = tf.initialize_all_variables()
with tf.Session() as sess:
 sess.run(init)
 for i in range(1):
  xs, y =sess.run(next_batch)
  print(xs['x'])
  print(y)

注意變長的數(shù)據(jù)TFRecords解析要用VarLenFeature,然后用sparse_tensor_to_dense轉(zhuǎn)換。

以上這篇使用tensorflow DataSet實現(xiàn)高效加載變長文本輸入就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • python opencv實現(xiàn)目標(biāo)區(qū)域裁剪功能

    python opencv實現(xiàn)目標(biāo)區(qū)域裁剪功能

    這篇文章主要介紹了python opencv實現(xiàn)目標(biāo)區(qū)域裁剪功能,通過截取到坐標(biāo)信息以后用CV2的裁剪就可以完美實現(xiàn),本文給大家分享實例代碼,需要的朋友可以參考下
    2021-07-07
  • 為什么Python中沒有

    為什么Python中沒有"a++"這種寫法

    一開始學(xué)習(xí) Python 的時候習(xí)慣性的使用 C 中的 a++ 這種寫法,發(fā)現(xiàn)會報 SyntaxError: invalid syntax 錯誤,為什么 Python 沒有自增運(yùn)算符的這種寫法呢?下面小編給大家?guī)肀疚膸椭蠹伊私庀逻@方面的知識
    2018-11-11
  • python實現(xiàn)創(chuàng)建新列表和新字典,并使元素及鍵值對全部變成小寫

    python實現(xiàn)創(chuàng)建新列表和新字典,并使元素及鍵值對全部變成小寫

    今天小編就為大家分享一篇python實現(xiàn)創(chuàng)建新列表和新字典,并使元素及鍵值對全部變成小寫,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • jupyter .ipynb轉(zhuǎn).py的實現(xiàn)操作

    jupyter .ipynb轉(zhuǎn).py的實現(xiàn)操作

    這篇文章主要介紹了jupyter .ipynb轉(zhuǎn).py的實現(xiàn)操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • python 如何查看pytorch版本

    python 如何查看pytorch版本

    這篇文章主要介紹了python 查看pytorch版本的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • 使用pygame實現(xiàn)垃圾分類小游戲功能(已獲校級二等獎)

    使用pygame實現(xiàn)垃圾分類小游戲功能(已獲校級二等獎)

    這篇文章主要介紹了使用pygame實現(xiàn)垃圾分類小游戲功能(已獲校級二等獎),本文通過實例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-07-07
  • 解決使用PyCharm時無法啟動控制臺的問題

    解決使用PyCharm時無法啟動控制臺的問題

    今天小編就為大家分享一篇解決使用PyCharm時無法啟動控制臺的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • 詳解PyCharm安裝MicroPython插件的教程

    詳解PyCharm安裝MicroPython插件的教程

    PyCharm可以說是當(dāng)今最流行的一款Python IDE了,大部分購買TPYBoard的小伙伴都會使用PyCharm編寫MicroPython的程序。這篇文章給大家介紹了PyCharm安裝MicroPython插件的教程,需要的朋友參考下吧
    2019-06-06
  • Python 網(wǎng)絡(luò)爬蟲--關(guān)于簡單的模擬登錄實例講解

    Python 網(wǎng)絡(luò)爬蟲--關(guān)于簡單的模擬登錄實例講解

    今天小編就為大家分享一篇Python 網(wǎng)絡(luò)爬蟲--關(guān)于簡單的模擬登錄實例講解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-06-06
  • Python 轉(zhuǎn)移文件至云對象存儲的方法

    Python 轉(zhuǎn)移文件至云對象存儲的方法

    對象存儲(Cloud Object Storage,COS)是一種存儲海量文件的分布式存儲服務(wù),具有高擴(kuò)展性、低成本、可靠安全等優(yōu)點。這篇文章主要介紹了Python 轉(zhuǎn)移文件至云對象存儲,需要的朋友可以參考下
    2021-02-02

最新評論