大模型预训练参数、数据、训练时间

nohup python pre_brand.py>>./train.log 2>&1 &

一、Bloom

1.参考论文

https://arxiv.org/pdf/2211.05100.pdf

2.硬件组成

3.数据量

epoch:
token:3500亿token

4.网络参数

模型参数量：176B

二、GLM

1.参考论文

https://openreview.net/pdf?id=-Aw0rrrPUF

2.硬件组成

3.数据量

epoch:1
token:4000亿token

4.网络参数

模型参数量：130B

三、GPT-3

1.参考论文

https://arxiv.org/pdf/2005.14165.pdf

2.硬件组成

论文中没有说明：
。英伟达表示，GPT-3 需要 512 颗 V100 显卡
训练 7 个月，或者 1024 颗 A100 芯片训练一个月

3.数据量

epoch:1
token:4000亿token

4.网络参数

模型参数量：175B

四、LLaMa

1.参考论文

https://arxiv.org/pdf/2302.13971.pdf

2.硬件组成

3.数据量

epoch:1
token:1.4万亿
disk size:4.9TB

4.网络参数

模型参数量：
参数大小：65B