一般分三大类Fine-Tuning：全量微调PEFT：高效微调（SOTA PEFT），部分参数的微调方法RLHF：基于人工反馈机制的强化方法一、 Fine-Tuning：全参微调定义：全微调是指对整个预训练模型进行微调，包括所有的模型参数。在这种方法中，预训练模型的所有层和参数都会被更新和优化，以适应目标任务的需求。适用范围：这种微调方法通常适用于任务和预训练模型之间存在较大差异的情况，或者任务需要模型具有高度灵活性和自适应能力的情况。Full Fine-tuning需要较大的计算资源和时间，但可以获得更好的性能。1.Fine tuning经典的Fine tuning方法包- 阅读剩余部分 -

一、pycharm中运行/调试torch分布式训练整体比较简单，可以参考：我下面的二、pycharm中运行/调试deepspeed分布式训练关键步骤为：软链接distributed文件通过对调用分布式的命令分析，我们首先需要找到torch.distributed.launch这个文件，并将它软链接到我们的Pycharm项目目录下。为什么使用软链接而不是直接复制呢？因为软链接不会变更文件的路径，从而使得launch.py文件可以不做任何改动的情况下去import它需要的包。在Ubuntu中，通过以下命令创建软链接ln -s /yourpython/lib/python3.6/- 阅读剩余部分 -

大型语言模型的培训依赖于海量且多样化的数据资源。构建高品质的训练数据集对于这些模型的开发至关重要。尽管对于大规模模型的理论分析和解释仍不甚完善，且对于训练所用语言数据的精确说明和界定尚显不足，但广泛的研究共识认为，训练数据对于提升语言模型的性能和样本的泛化能力起着核心作用。为了增强模型的泛化和适应性，预训练数据应包含多种形式，如互联网内容、书籍、学术论文、百科全书以及社交媒体内容等，并且应尽可能广泛地覆盖不同的领域、语种、文化背景和不同的观点。一、数据来源大型语言模型所需的数据资源大致可分为通用数据和专业数据两类。通用数据涵盖了网页内容、图书、新闻报道、对话文本等，以其庞大- 阅读剩余部分 -

三种方式：数据并行、模型并行、3D并行参考：https://juejin.cn/post/7254001262646738981一、数据并行DP (Data Parallel)数据并行是最常见的并行形式，因为它很简单。在数据并行训练中，数据集被分割成几个碎片，每个碎片被分配到一个设备上。这相当于沿批次（Batch）维度对训练过程进行并行化。每个设备将持有一个完整的模型副本，并在分配的数据集碎片上进行训练。在反向传播之后，模型的梯度将被全部减少，以便在不同设备上的模型参数能够保持同步。典型的数据并行实现：PyTorch DDP。二、模型并行通常有两种类型的模型并行：张量并行和- 阅读剩余部分 -

1、DataParallel如果当前有4个GPU，batch_size=16，那么模型将被复制到每一个GPU上，在前向传播时，每一个gpu将分到4个batch，每个gpu独立计算依据分到的batch计算出结果的梯度，然后将梯度返回到第一个GPU上，第一个GPU再进行梯度融合、模型更新。在下一次前向传播的时候，将更新后的模型再复制给每一个GPU。1、DP在每个训练批次（batch）中，因为模型的权重都是在 一个进程上先算出来 然后再把他们分发到每个GPU上，所以网络通信就成为了一个瓶颈，而GPU使用率也通常很低。2、因为它在每一次的前向传播的时候把模型也复制了（即每次更新都复- 阅读剩余部分 -

centos安装nginxyum -y install nginx CentOS系统中Nginx的默认安装目录为/etc/nginx。如果需要修改Nginx的配置文件，可以使用vi或者nano等编辑器打开该目录下的nginx.conf文件进行编辑。示例代码（在命令行中输入）vim /etc/nginx/nginx.conf启动、停止、重启Nginx服务 systemctl start nginx # 启动Nginx systemctl stop nginx # 停止Nginx systemctl restart nginx # 重启Nginxnginx 日志/v- 阅读剩余部分 -

自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！同时也欢迎大家贡献本项目未收录的开源模型、应用、数据集等。提供新的仓库信息请发起PR，并按照本项目的格式提供仓库链接、star数，简介等相关信息，感谢~常见- 阅读剩余部分 -

一、环境安装在 pip install -r requirements.txt 时候报错： ERROR: Failed building wheel for pyaudio Successfully built python_speech_features Failed to build pyaudio ERROR: Could not build wheels for pyaudio, which is required to install pyproject.toml-based projects解决办法：conda install -c conda-forge po- 阅读剩余部分 -

一、数字人定义数字人是指以数字形式存在于数字空间中，具有拟人或真人的外貌、行为和特点的虚拟人物，也称之为虚拟形象、数字虚拟人、虚拟数字人等。数字人的核心技术 主要包括计算机图形学、动作捕捉、图像渲染、AI等。数字人可以打造更完美的人设，为品牌带来正向价值。互联网、金融、电商平台、消费品牌、汽车出行等领 域纷纷推出数字人，用于品牌营销、智能客服等方向。二、数字人分类数字人可以按照不同维度进行分类。1.人物图形资源的维度数字人可分为2D和3D两大类，2D、2.5D、3D这三种，2D是最常见的用一段语音去驱动一张照片，2.5D比2D多一些肢体动作，3D是UE建模2.外形上可分为2- 阅读剩余部分 -

1.MiniGPT-51.5 CLIP1.8 PLIP2.BLIP3.BLIP-2参考内容：1.https://www.bilibili.com/read/cv25429299/>> X光影像路径：./data/Xray/861_1.png >> 用户：这是一张什么图？ >> XrayGLM：这张图片显示的是一张肺部检查的X光片。 >> 用户：请描述这张胸部X光片的诊断结果 >> XrayGLM：心脏大小正常，肺部清晰。没有急性心肺疾病的证据。 >> 用户：是否存在肺气肿？ >> Xr- 阅读剩余部分 -

至于如何评估一个模型的好坏：MTEB Leaderboard - a Hugging Face Space by mteb (https://huggingface.co/spaces/mteb/leaderboard)是针对大规模文本表示学习方法的一个评测排行榜。这个排行榜会将文本向量化模型在大量的评测数据集:文本分类，聚类，文本排序，文本召回等大量数据集上进行评测，并给出一个平均的分数，来评估这个模型文本embeding的能力。

一、查看GPU型号查看GPU型号：lspci | grep -i nvidia10:00.0 3D controller: NVIDIA Corporation Device 20f3 (rev a1) 16:00.0 3D controller: NVIDIA Corporation Device 20f3 (rev a1) 49:00.0 3D controller: NVIDIA Corporation Device 20f3 (rev a1) 4d:00.0 3D controller: NVIDIA Corporation Device 20f3 (rev a1)- 阅读剩余部分 -

一、下载安装包此处的安装环境为离线环境，需要先下载cuda安装文件，安装文件可以去官网地址下载对应的系统版本。官网下载地址：https://developer.nvidia.com/cuda-toolkit-archive驱动和cuda版本对应：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html查看版本cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)uname -r3.10.0-957.el7.x86_64GPUlspci - 阅读剩余部分 -
  1. 1
  2. 2
  3. 3
  4. 4
  5. ...
  6. 9