LLaMA-Factory 微调参数怎么设:按影响程度分三层

把 LLaMA-Factory 可视化界面的参数按影响程度分三层讲清楚:模型与模板、微调方法与量化、批大小与学习率、LoRA 的 rank 与 target、截断长度与显存,并给出显存不足时的处理顺序。

技术笔记 / 人工智能大模型微调LoRALLaMA-Factory

微调时学习率怎么设:AdamW 学习率的影响

学习率对训练收敛速度和稳定性的影响,太大与太小分别会出现什么现象,以及微调大模型时通常从哪个量级开始试。

技术笔记 / 人工智能AI微调学习率AdamW

站内搜索

没有找到内容!