小飞侠 - 旋转位置编码 的评论
type: channel
link: http://www.kexue.love/index.php/archives/518/
description: 一、位置编码的需求为了理解 RoPE 的重要性，我们首先回顾一下为什么位置编码至关重要。 Transformer 模型根据其固有的设计，不会考虑输入标记的顺序。例如，像“the dog chas...