tf-CNN（二）Tensorflow制作自己的数据集并训练

最新推荐文章于 2025-02-13 15:30:14 发布

Ooo。

最新推荐文章于 2025-02-13 15:30:14 发布

阅读量4.5k

点赞数 7

分类专栏： tensorflow

本文链接：https://blog.csdn.net/xue_csdn/article/details/105128094

版权

参考：https://www.jianshu.com/p/15e3f74180fc

https://blog.csdn.net/wiinter_fdd/article/details/72835939

对于数据量较小而言，可能一般选择直接将数据加载进内存，然后再分batch输入网络进行训练。但是，如果数据量较大，这样的方法就不适用了，因为太耗内存。在这儿我介绍一种比较通用，高效的读取方法，即使用tensorflow内定标准格式——TFRecord.TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。TFRecord会根据你输入的文件的类，自动给每一类打上同样的标签。

以训练猫狗分类器为例。收集猫狗的图片各150张，其中训练集各100张，测试集各50张，按顺序编号。如图，data与代码在同一路径下。

1、生成tfrecords文件

make_tfrecords.py

"""
#用自己的图片制作tfrecords数据集
"""

import tensorflow as tf
import os
from PIL import Image
#import matplotlib.pyplot as plt
import numpy as np

#训练集和测试集需要各自生成一个tfcords文件
#cwd = './data/train/'
cwd = './data/test/'

#自己定义类别
classes = {'dog', 'cat'}

#生成的records文件名
#writer = tf.compat.v1.python_io.TFRecordWriter("dog_and_cat_train.tfrecords")    
##tensorflow2.0版的多加了compat.v1
writer = tf.compat.v1.python_io.TFRecordWriter("dog_and_cat_test.tfrecords")

for index,name in enumerate(classes):
    class_path = cwd + name