Filling up shuffle buffer (this may take a while): 288967 of 310000

Question

Tensorflow2.3训练过程中每一次迭代都出现
Filling up shuffle buffer (this may take a while): 288967 of 310000
这个步骤 要浪费很多时间，我该怎么办？？？
我经过几次实验，证明数据集小的时候不会有问题，所以我断定这个和显卡资源有关系。我查看了显卡资源，显卡的占用率峰值只有57%，显存只用了1219/5932，也就是说显卡资源实际非常足够。
但是为什么会出现这个问题呢？？？？

2020-08-29 16:59:21.140185: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:172] Filling up shuffle buffer (this may take a while): 288967 of 310000

Answer 1

这个是用来打乱样本的，当样本比较大的时候需要比较长的时间。打乱样本主要靠cpu而不是gpu