阅读提示本文介绍 DataLoader 与 Dataset 的基本用法并通过样本数量与批大小的例子说明 Epoch、Iteration 和 Batchsize 之间的关系。文章目录机器学习模型训练步骤一.DataLoadertorch.utils.data.DataLoader()二、Datasetcodetorch.utils.data.Dataset()机器学习模型训练步骤一.DataLoadertorch.utils.data.DataLoader()功能构建可迭代的数据装载器• dataset: Dataset类决定数据从哪读取及如何读取• batchsize : 批大小• num_works: 是否多进程读取数据• shuffle: 每个epoch是否乱序• drop_last当样本数不能被batchsize整除时是否舍弃最后一批数据DataLoader(dataset,batch_size1,shuffleFalse,samplerNone,batch_samplerNone,num_workers0,collate_fnNone,pin_memoryFalse,drop_lastFalse,timeout0,worker_init_fnNone,multiprocessing_contextNone)[Epoch、Epoch、Batch]三者之间的关系Epoch: 所有训练样本都已输入到模型中称为一个EpochIteration一批样本输入到模型中称之为一个IterationBatchsize批大小决定一个Epoch有多少个Iteration例样本总数80 Batchsize81 Epoch 10 Iteration样本总数87 Batchsize81 Epoch 10 Iteration drop_last True1 Epoch 11 Iteration drop_last False二、Datasettorch.utils.data.Dataset()功能Dataset抽象类所有自定义的Dataset需要继承它并且复写__getitem__()getitem#接收一个索引返回一个样本classDataset(object):def__getitem__(self,index):raiseNotImplementedErrordef__add__(self,other):returnConcatDataset([self,other])