Cosine Annealing Schedule余弦退火学习率调度

1.1倍的初始lr， 随着training step 余弦地下降到0.1*lr

def get_lr(current_step, total_steps, lr):
    return lr / 10 + 0.5 * lr * (1 + math.cos(math.pi * current_step / total_steps))

平滑：避免震荡；

先大后小：先大跳出局部最优；后小后期精细调整

大厂频繁采用；

linear warmup + Cosine Annealing

初期模型不稳定，应该先用小学习率，线性提高一阵子，再稳定地用余弦退火调整

def get_lr(step, total_steps, lr, warmup_steps=1000):
    if step < warmup_steps:
        return lr * step / warmup_steps
    else:
        progress = (step - warmup_steps) / (total_steps - warmup_steps)
        return 0.5 * lr * (1 + math.cos(math.pi * progress))