小飞侠 - 分布式大模型训练错误总结 的评论
一、背景主要通过llama-factory在对qwen72b做强化学习(dpo)期间遇见的问题进行总结。二、问题1.能支持的长度(1)batch_size为 1， 使用zero3, 非 offl...
字里行间流露出真挚的情感，让人感同身受，共鸣不已。
说实话，这是我见过的写得最精彩的文章了