在深度學習中，`lr`通常指的是學習率（Learning Rate），它是用于控制模型參數(shù)更新速度的一個超參數(shù)。學習率關(guān)聯(lián)函數(shù)通常指的是如何根據(jù)訓練過程中的信息動態(tài)調(diào)整學習率的策略。以下是一些常見的學習率關(guān)聯(lián)函數(shù)：

1. 固定學習率：

這是最簡單的情況，學習率在整個訓練過程中保持不變。

2. 學習率衰減：

指數(shù)衰減：學習率按照指數(shù)函數(shù)衰減，例如 `lr = initial_lr decay_rateepoch`。

余弦退火：學習率按照余弦函數(shù)衰減，通常用于訓練的最后階段，例如 `lr = 0.5 (1 + cos(π epoch / num_epochs)) initial_lr`。

步進衰減：每過一定數(shù)量的訓練周期（或步驟），學習率會乘以一個衰減因子。

3. 自適應學習率：

Adam優(yōu)化器：自動調(diào)整每個參數(shù)的學習率，結(jié)合了動量（momentum）和自適應學習率（Adaptive Learning Rate）。

RMSprop：基于均方誤差（Mean Squared Error）的自適應學習率方法。

Adagrad：為每個參數(shù)分配一個累積梯度，并相應地調(diào)整學習率。

4. 學習率預熱：

在訓練初期使用較小的學習率，隨著訓練的進行逐漸增加學習率，這有助于在訓練初期避免過擬合。

5. 學習率懲罰：

如果某個參數(shù)的更新沒有達到預期的效果，可以減少其學習率。

以下是一個簡單的學習率衰減的示例代碼，使用指數(shù)衰減策略：

```python

import torch

初始化學習率

initial_lr = 0.01

decay_rate = 0.99

num_epochs = 100

初始化一個列表來存儲每個epoch的學習率

learning_rates = []

for epoch in range(num_epochs):

計算當前epoch的學習率

current_lr = initial_lr (decay_rate epoch)

learning_rates.append(current_lr)

這里可以添加訓練代碼

...

print(f'Epoch {epoch+1