批训练|批训练 DataLoader ,minibatch training,BATCH_SIZE,
要点 Torch 中提供了一种帮你整理你的数据结构的好东西, 叫做 DataLoader, 我们能用它来包装自己的数据, 进行批训练.
DataLoader DataLoader 是 torch 给你用来包装你的数据的工具. 所以你要将自己的 (numpy array 或其他) 数据形式装换成 Tensor, 然后再放进这个包装器中. 使用 DataLoader 有什么好处呢? 就是他们帮你有效地迭代数据, 举例:
首先导入库,import torch.utils.data as Data 是对数据的读取1和处理
import torch
import torch.utils.data as Data
定义数据
BATCH_SIZE = 5x = torch.linspace(1,10,10)
#tensor([ 1.,2.,3.,4.,5.,6.,7.,8.,9., 10.])
y = torch.linspace(10,1,10)
#tensor([10.,9.,8.,7.,6.,5.,4.,3.,2.,1.])
【批训练|批训练 DataLoader ,minibatch training,BATCH_SIZE,】定义一批处理数据的个数,BATCH_SIZE = 5表示每一批数据有5个
最重要的一部分:
torch_dataset = Data.TensorDataset(x,y)loader = Data.DataLoader(
dataset = torch_dataset,
batch_size = BATCH_SIZE,
shuffle = True,
num_workers = 2
)
Data.TensorDataset(x,y)表示把x,y传入,创建数据集
Data.DataLoader表示创建DataLoader
batch_size设置为5
shuffle=True每一次epoch打乱数据顺序,False代表每次epoch的数据顺序是一样的
num_workers= 2使用2个子进程
for epoch in range(3):
for step,(batch_x,batch_y) in enumerate(loader):
print('Epoch:',epoch,'| step:',step,'| batch_x:'
,batch_x.numpy(),'| batch_y:',batch_y.numpy())
Epoch: 0 | step: 0 | batch_x: [ 9.6.1. 10.2.] | batch_y: [ 2.5. 10.1.9.]
Epoch: 0 | step: 1 | batch_x: [5. 4. 3. 8. 7.] | batch_y: [6. 7. 8. 3. 4.]
Epoch: 1 | step: 0 | batch_x: [ 4. 10.7.3.6.] | batch_y: [7. 1. 4. 8. 5.]
Epoch: 1 | step: 1 | batch_x: [9. 8. 5. 1. 2.] | batch_y: [ 2.3.6. 10.9.]
Epoch: 2 | step: 0 | batch_x: [9. 2. 3. 7. 5.] | batch_y: [2. 9. 8. 4. 6.]
Epoch: 2 | step: 1 | batch_x: [ 8.1. 10.6.4.] | batch_y: [ 3. 10.1.5.7.]
Epoch: 训练集中的全部样本都在训练模型中走了一遍,并返回一次(有去有回),为一个epoch。
这里表示将所有的训练样本在同一个模型中训练3遍
batchsize:简单点说,就是我们一次要将多少个数据扔进模型去训练,这个值介于1和训练样本总个数之间。
enumerate用法举例
seasons = ['Spring', 'Summer', 'Fall', 'Winter']
print(list(enumerate(seasons)))
[(0, 'Spring'), (1, 'Summer'), (2, 'Fall'), (3, 'Winter')]
推荐阅读
- 绘本讲师训练营【24期】14/21阅读原创《小黑鱼》
- 绘本讲师训练营【18期】14/21《我的情绪小怪兽》故事会新体验
- 合理情绪疗法之试用|李克富思维训练营56/90
- 绘本讲师训练营7期9/21阅读原创《蜗牛屋|绘本讲师训练营7期9/21阅读原创《蜗牛屋 》
- 拆书方法训练营
- 阿菘的ScalersTalk第五轮新概念朗读持续力训练Day15|阿菘的ScalersTalk第五轮新概念朗读持续力训练Day15 20191025
- 特种兵训练第四天
- 2018-09-03(李克富视角点评训练营81/90)|2018-09-03(李克富视角点评训练营81/90) 那只蛙从“井”爬出来又进入了“隧道”
- 学员+3组杨子涓+202002RIA训练营W3D2+苏格拉底提问法
- 绘本讲师训练营【28期】15/21阅读原创《活了100万次的猫》