LlaMa1,2,3各个版本的区别
一、Tokenizer
1、SentencePiece
Llama 1,2 使用 SentencePiece 进行标记化
2、Tiktoken
而 Llama 3 已过渡到 OpenAI 的 Tiktoken。 Llama 3 还引入了 ChatFormat 类、特殊令牌（包括回合结束标记的令牌）和其他功能，以增强对基于聊天的交互和对话处理的支持。
无论SentencePiece 和Tiktoken 底层算法都是BPE算法，只是实现的插件(工具不一样)，tiktoken is a fast BPE tokeniser for use with OpenAI's models.
使用tiktoken的原因：速度更快，快了好几倍：
所以大家一定对为什么这么快很好奇，查阅tictoken的源码得知，tictoken对CoreBPE类进行了基于RUST的重写，包括真·多线程，regex，缓存caching，哈希各个方面的优化，
二、GQA：分组注意力机制
MHA、MQA、GQA的区别查看：http://kexue.love/index.php/archives/513/
在Llama2中：7B和13B 使用与 LLaMA 相同的架构，34B和70B模型采用分组查询注意力（GQA）
1、GQA 介绍：
自回归解码的标准做法是缓存序列中先前 token 的键 (K) 和值 (V) 对，以加快注意力计算。然而，随着上下文窗口或批量大小的增加，多头注意力 (MHA) 模型中与 KV 缓存大小相关的内存成本显着增加。对于更大的模型，其中 KV 缓存大小成为一个瓶颈，键和值投影可以跨多个头共享，而不会大大降低性能。
2、对于上述这种情况有两种主流解决方案
MQA：具有单个KV投影的原始多查询格式
GQA：具有 8 个KV投影的分组查询注意力变体
3、选择 GQA 的原因
(1)本文做了一系列实验证明 GQA 变体在大多数评估任务上的表现与 MHA 基线相当，并且平均而言优于 MQA 变体
(2)为了优化延迟，需要在具有张量并行性的单个节点中使用 8 A100 托管最大的模型，在这种情况下，MQA 的分片不能再跨头完成，因为头的数量低于 GPU 的数量。要么复制所有 GPU 中的 KV 值（使 KV 缓存大小等于 GQA），要么另一种选择是跨批次维度分片。然而，跨批次维度分片可能会使推理服务复杂化，因为它只当批量大小大于分片的数量并且额外的通信成本在所有情况下都不值得它
三、Llama系列的上下文长度一直在增长
上下文长度每一代都翻倍了，在Llama3中，训练的时候用的就是8K上下文：
从上图可以看到，Llama三代模型的上下文长度分别是2K、4K和8K，虽然Llama3训练是8K上下文，但是按照目前业界的技术，应该是可以继续拓展到更长上下文的。而官方也说过，未来Llama3会有更长上下文的版本。
四、Llama3模型的词汇表大幅提高
在模型架构中另一个值得注意的是词汇表的大幅提高。在Llama1和Llama2中，MetaAI的词汇表都是32K大小，这可能与前两代模型的训练数据差距不大有关。而第三代的Llama3模型的词汇表大小变为128K，也就是说它的tokenizer有了较大的变化。
五、Llama3模型的训练数据大幅增长
Llama3的训练数据达到了15万亿，比第一代和第二代Llama模型加在一起还多好几倍。如下图所示，第一代的小一点的模型训练数据是1万亿tokens，而较大的650亿规模的模型训练数据是1.4万亿tokens。到了第二代Llama2系列，训练数据都增长到了2万亿tokens。
可以看到，第三代Llama3训练数据大幅增加，几乎也是目前市场上训练数据最多的一个模型了。这里有一点也值得提一下，DeepMind发表过一个非常著名的论文，就是关于Chinchilla模型的论文，里面提到了训练数据对大模型性能的影响。根据论文发现的规律，80亿参数规模的模型，用2000亿tokens数据集训练可以获得最佳性能，但是MetaAI发现，80亿参数规模的模型训练数据增长到15万亿tokens依然可以获得log线性增长！因此，数据可以说依然是王道。
参考：
1.https://www.datalearner.com/blog/1051713702716647
2.重要：https://www.53ai.com/news/qianyanjishu/1120.html
新车上路，只带前10个人coinsrore.com
微信电话同步?【——183-88909465—微电同号】?华纳公司客服联系方式?【6011643——183-88909465——-】、?华纳公司直属开户
华纳公司注册会员流程？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
如何成为华纳公司会员？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳直属会员开户步骤？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳公司会员注册指南？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳总公司会员申请？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳公司会员注册所需材料？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳会员开户流程？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳公司注册会员步骤？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳会员申请流程？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳公司会员注册指南？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳东方明珠客服电话是多少？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳东方明珠开户专线联系方式？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
如何联系华纳东方明珠客服？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳东方明珠官方客服联系方式？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳东方明珠客服热线？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳东方明珠开户客服电话？（▲182（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳东方明珠24小时客服电话？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳东方明珠客服邮箱？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳东方明珠官方客服在线咨询？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳东方明珠客服微信？（▲18288362750?《?微信STS5099? 】【╃q 2704132802╃】
华纳万宝路客服电话是多少？（?183-8890-9465—《?薇-STS5099】【?扣6011643??】
华纳万宝路开户专线联系方式？（?183-8890--9465—《?薇-STS5099】【?扣6011643??】
华纳圣淘沙客服开户电话全攻略，让娱乐更顺畅！（?183-8890--9465—《?薇-STS5099】客服开户流程，华纳圣淘沙客服开户流程图（?183-8890--9465—《?薇-STS5099】
果博东方客服开户联系方式【182-8836-2750—】?薇- cxs20250806】
果博东方公司客服电话联系方式【182-8836-2750—】?薇- cxs20250806】
果博东方开户流程【182-8836-2750—】?薇- cxs20250806】
果博东方客服怎么联系【182-8836-2750—】?薇- cxs20250806】
果博东方客服开户联系方式【182-8836-2750—】?薇- cxs20250806】
果博东方公司客服电话联系方式【182-8836-2750—】?薇- cxs20250806】
果博东方开户流程【182-8836-2750—】?薇- cxs20250806】
果博东方客服怎么联系【182-8836-2750—】?薇- cxs20250806】
华纳圣淘沙开户步骤详解（183-8890-9465—?薇-STS5099【6011643】
华纳圣淘沙公司开户流程全解析（183-8890-9465—?薇-STS5099【6011643】
华纳圣淘沙公司账户注册指南（183-8890-9465—?薇-STS5099【6011643】
新手如何开通华纳圣淘沙公司账户（183-8890-9465—?薇-STS5099【6011643】
华纳圣淘沙企业开户标准流程（183-8890-9465—?薇-STS5099【6011643】
华纳圣淘沙公司开户：从零到一（183-8890-9465—?薇-STS5099【6011643】
官方指南：华纳圣淘沙公司开户流程（183-8890-9465—?薇-STS5099【6011643】
华纳圣淘沙公司开户流程说明书（183-8890-9465—?薇-STS5099【6011643】