如何调整PyTorch中的学习率

pytorch

小樊

202

2024-03-05 18:51:59

栏目: 编程语言

在PyTorch中，可以通过以下几种方式来调整学习率：

使用torch.optim.lr_scheduler模块中的学习率调度器来自动调整学习率。可以选择不同的学习率调度策略，如StepLR、ReduceLROnPlateau、CosineAnnealingLR等。在每个epoch或batch结束时，调用学习率调度器的step方法即可更新学习率。

import torch.optim as optim
from torch.optim.lr_scheduler import StepLR

optimizer = optim.SGD(model.parameters(), lr=0.1)
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)

for epoch in range(num_epochs):
    # Train the model
    ...
    
    # Update learning rate
    scheduler.step()

手动设置学习率。可以在训练过程中根据需要手动调整学习率，例如在特定的epoch或条件下改变学习率。

optimizer = optim.SGD(model.parameters(), lr=0.1)

for epoch in range(num_epochs):
    # Train the model
    ...
    
    if epoch == 30:
        for param_group in optimizer.param_groups:
            param_group['lr'] = 0.01

使用torch.optim模块中的optimizer.param_groups来调整学习率。通过修改optimizer.param_groups中的lr参数来更新学习率。

optimizer = optim.SGD(model.parameters(), lr=0.1)

for epoch in range(num_epochs):
    # Train the model
    ...
    
    if epoch % 10 == 0:
        for param_group in optimizer.param_groups:
            param_group['lr'] *= 0.1

以上是几种常见的调整学习率的方法，在训练神经网络时可以根据实际情况选择合适的方式调整学习率。

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>

如何调整PyTorch中的学习率

最新问答

相关标签