当前位置: 首页 > 编程笔记 >

使用tensorflow DataSet实现高效加载变长文本输入

司寇善
2023-03-14
本文向大家介绍使用tensorflow DataSet实现高效加载变长文本输入,包括了使用tensorflow DataSet实现高效加载变长文本输入的使用技巧和注意事项,需要的朋友参考一下

DataSet是tensorflow 1.3版本推出的一个high-level的api,在1.3版本还只是处于测试阶段,1.4版本已经正式推出。

在网上搜了一遍,发现关于使用DataSet加载文本的资料比较少,官方举的例子只是csv格式的,要求csv文件中所有样本必须具有相同的维度,也就是padding必须在写入csv文件之前做掉,这会增加文件的大小。

经过一番折腾试验,这里给出一个DataSet+TFRecords加载变长样本的范例。

首先先把变长的数据写入到TFRecords文件:

def writedata():
 xlist = [[1,2,3],[4,5,6,8]]
 ylist = [1,2]
 #这里的数据只是举个例子来说明样本的文本长度不一样,第一个样本3个词标签1,第二个样本4个词标签2
 writer = tf.python_io.TFRecordWriter("train.tfrecords")
 for i in range(2):
  x = xlist[i]
  y = ylist[i]
  example = tf.train.Example(features=tf.train.Features(feature={
   "y": tf.train.Feature(int64_list=tf.train.Int64List(value=[y])),
   'x': tf.train.Feature(int64_list=tf.train.Int64List(value=x))
  }))
  writer.write(example.SerializeToString())
 writer.close()

然后用DataSet加载:

feature_names = ['x']
 
def my_input_fn(file_path, perform_shuffle=False, repeat_count=1):
 def parse(example_proto):
  features = {"x": tf.VarLenFeature(tf.int64),
    "y": tf.FixedLenFeature([1], tf.int64)}
  parsed_features = tf.parse_single_example(example_proto, features)
  x = tf.sparse_tensor_to_dense(parsed_features["x"])
  x = tf.cast(x, tf.int32)
  x = dict(zip(feature_names, [x]))
  y = tf.cast(parsed_features["y"], tf.int32)
  return x, y
 
 dataset = (tf.contrib.data.TFRecordDataset(file_path)
    .map(parse))
 if perform_shuffle:
  dataset = dataset.shuffle(buffer_size=256)
 dataset = dataset.repeat(repeat_count)
 dataset = dataset.padded_batch(2, padded_shapes=({'x':[6]},[1])) #batch size为2,并且x按maxlen=6来做padding
 iterator = dataset.make_one_shot_iterator()
 batch_features, batch_labels = iterator.get_next()
 return batch_features, batch_labels
 
next_batch = my_input_fn('train.tfrecords', True)
init = tf.initialize_all_variables()
with tf.Session() as sess:
 sess.run(init)
 for i in range(1):
  xs, y =sess.run(next_batch)
  print(xs['x'])
  print(y)

注意变长的数据TFRecords解析要用VarLenFeature,然后用sparse_tensor_to_dense转换。

以上这篇使用tensorflow DataSet实现高效加载变长文本输入就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持小牛知识库。

 类似资料:
  • 本文向大家介绍ios弹幕高效加载实现方式实例代码,包括了ios弹幕高效加载实现方式实例代码的使用技巧和注意事项,需要的朋友参考一下 看直播的童鞋们应该会经常看到满屏幕的滚动弹幕,看到密密麻麻的弹幕第一印象就是怎么样高效加载来避免卡顿,弹幕组成部分包含用户头像、用户昵称、弹幕的内容、表情等,本文介绍的实现原理就是把这几部分绘制成一张图片,然后通过定时器移动弹幕图片,当图片不在屏幕范围内即销毁。 先看

  • 请改写成html中文本框<textarea>输入及输出文本形式 可参考以下正确的js代码 : 现在 请你把输入文本的方式更改一下, 使这样形式: 请你改写成这样输入文本框<textarea>形式写入html中, 再增加一个结果输出文本框, 在上下两个两个文本框之间 添加三个按钮 "转换", "复制", "清除" : 已知某文本中其中一行是: 拼读写 pining duing xieing 80%

  • 本文向大家介绍js实现图片懒加载效果,包括了js实现图片懒加载效果的使用技巧和注意事项,需要的朋友参考一下 本文实例为大家分享了js图片懒加载的具体代码,供大家参考,具体内容如下 图片懒加载,思路:当鼠标滑动到对应图片的高度时,进行图片的加载; 当有类似于瀑布流的布局时常用的加载模式 以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持呐喊教程。

  • 本文向大家介绍jQuery实现文本框邮箱输入自动补全效果,包括了jQuery实现文本框邮箱输入自动补全效果的使用技巧和注意事项,需要的朋友参考一下   邮箱自动完成的效果在网站上大多都看过,但是质量参差不齐,今天突然在网上看到一篇博客,感觉这个插件很好,就想来写一下分享给大家!  效果图如下: 完整demo代码如下: js实现效果代码(jquery.mailAutoComplete-4.0.js)

  • 本文向大家介绍android实现模拟加载中的效果,包括了android实现模拟加载中的效果的使用技巧和注意事项,需要的朋友参考一下 最近闲着没事做了一个Android小程序,具体如下: 效果图: 原始界面 点击按钮运行    运行后界面 实现代码: 以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持呐喊教程。

  • 本文向大家介绍vue异步加载高德地图的实现,包括了vue异步加载高德地图的实现的使用技巧和注意事项,需要的朋友参考一下 本文介绍了vue异步加载高德地图的实现,分享给大家,具体如下: 几种加载js的方式 同步加载 异步加载 延迟加载 同步加载 用的最多的一种方式,又称阻塞模式,会阻止浏览器的后续处理,停止后续的解析,只有当当前加载完成,才能进行下一步操作。所以默认同步执行才是安全的。但这样如果js

  • 我在寻找解决办法时遇到了一些麻烦。 在我的报告中,我有一个子报告,它的功能是打印与我正在打印的文档相关的人的姓名和姓氏。 这个子报表只有一个textfield,其中的名称和姓氏是从Java代码导入的。 在简历中,我需要的是一个带子,它根据我必须打印的姓名和姓氏的长度动态地改变其高度。如果这些很短,就一行。只有当名称和姓氏的长度太长时,它才必须占用两行空间。

  • 本文向大家介绍js实现图片加载淡入淡出效果,包括了js实现图片加载淡入淡出效果的使用技巧和注意事项,需要的朋友参考一下 本文实例为大家分享了js图片加载淡入淡出效果展示的具体代码,供大家参考,具体内容如下 HTML代码 首先是图片标记的写法: 需要将图片的地址放到 data-src 属性里,而src值填写默认的一张图片。 CSS代码 所有具有data-src属性的图片,我们将其初始显示状态为不可见