pytorch|【pytorch】冻结网络参数训练 finetune|pytorch

【pytorch|【pytorch】冻结网络参数训练】假设我们想finetune一个网络，仅仅去训练conv8, prelu8, conv9,prelu9, conv10。在Pytorch中，一般是设置该variable的require_grad为False。
1.设置变量的variable中requires_grad属性
注意此处可以在定义网络的时候直接将requires_grad置于false。这里自行百度。
在特殊场景可以用下面的方法：注意all_net这里我定义了两个网络module。

conv8_params = list(map(id, all_net[0].conv8.parameters())) prelu8_params = list(map(id, all_net[0].prelu8.parameters())) conv9_params = list(map(id, all_net[0].conv9.parameters())) prelu9_params = list(map(id, all_net[0].prelu9.parameters())) conv10_params = list(map(id, all_net[0].conv10.parameters())) base_params = filter(lambda p: id(p) not in conv8_params+prelu8_params+conv9_params+prelu9_params+conv10_params,all_net.parameters()) for p in base_params: p.requires_grad = False

2.设置优化器，过滤掉requires_grad=False的参数

optimizer = optim.Adam(filter(lambda p: p.requires_grad, all_net.parameters()), lr=config.learning_rate, betas=(config.beta1, config.beta2), eps=1e-8,weight_decay=config.weight_decay)

3.打印变量（此步仅仅为了调试所用）

for name, param in all_net.named_parameters(): if param.requires_grad: print("requires_grad: True ", name) else: print("requires_grad: False ", name)