Lora

发表于 分类于 阅读次数： Waline： 本文字数： 287 阅读时长 ≈ 1 分钟

Fine Tune

全参数微调

  • 显存占用高
    • 前向传播，记录中间计算结果
    • 反向传播，计算梯度
    • 优化器记录前几次梯度状态

LoRA

bg right 80%

  • 分解成两个小矩阵 \(W_B, W_A\)

  • 可插拔分支

  • 推理前将 LoRA 分支 Merge 到 \(W\) 中

Textual Inversion

  • 从图像中学习新的“词语”
    20231130163833

  • python --placeholder_token="<cat-toy>" --initializer_token="toy" \ prompt = "A <cat-toy> backpack"

Reference

  • LoRA
  • cloneofsimo/lora
  • Textual inversion