Tensorflow2.0 自定义图像数据集读取加速 tf.data.Dataset.cache (二)

老光头_ME2CS

于 2020-05-01 21:52:56 发布

阅读量3.5k

点赞数 1

本文链接：https://blog.csdn.net/Forrest97/article/details/105882837

版权

本文对比了Tensorflow2.0中使用.pipeline(), .cache()以及创建缓存文件三种方式在处理自定义图像数据集时的性能。实验结果显示，.cache()和缓存文件能显著提高数据读取速度，特别是多次迭代时，效率提升明显。" 104792896,5711944,MAC环境下使用keytool解析APK签名信息,"['Android开发', '签名验证', '命令行工具', 'keytool']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

接上一篇Tensorflow2.0 tf.data.Dataset.from_tensor_slices 自定义图像数据集 (一)。这里对比pipeline、cache(缓存)和.cache(filename=’./cache.tf-data’)方法建立缓存文件

Tensorflow

pipeline性能

在建立tf.data.Dataset.from_tensor_slicestf.data.Dataset.from_tensor_slices对象后，建立一个时间函数来记录数据读取的时间

steps_per_epoch=100
import time
default_timeit_steps = 2*steps_per_epoch+1

def timeit(ds, steps=default_timeit_steps):
    overall_start = time.time()
    # 在开始计时之前
    # 取得单个 batch 来填充 pipeline（管道）（填充随机缓冲区）
    it = iter(ds.take(steps+1))
    next(it)

    start