本文目录导航：
什么是大语言模型数据集？
大模型是指具有大规模参数和复杂计算结构的机器学习模型，通常由深度神经网络构建而成，包含数十亿甚至数千亿个参数，模型大小可以达到数百GB甚至更大。
这种巨大的模型规模为其提供了强大的表达能力和学习能力，使其能够处理更加复杂的任务和数据。
大模型一般会通过多任务学习来增强泛化能力，可以同时学习多种不同的自然语言处理任务，如机器翻译、文本摘要、问答系统等。
当前，国内AI大模型发展仍面临诸多困境。
其中，较为突出的就是高质量数据集的匮乏，这极大阻碍了大模型效果提升。
特别是专业的行业应用数据集，其获取难度更大，这导致大模型可使用的数据量受到限制，进而对大模型效果形成阻碍。
景联文科技是大语言模型数据供应商，致力于为不同阶段的模型算法匹配高质量数据资源。
世界知识类书籍、期刊、论文及高价值社区文本数据：
l 中文书籍 250万本
l 高质量外文文献期刊 8500万篇
l 英文高质量电子书 200万本
教育题库：
l 千12教育题库 1800万
l 大学题库 1.1亿，800万带解析
l 英文题库 500万
专业知识类期刊、专利、代码：
l 中文数字专利 4000万
l 程序代码（代码注释） 20万
多轮对话：
l 文本多轮对话 1500万
l 中英文剧本（电影、电视剧、剧本杀） 6万
音频数据：
l 普通话 65万小时
图片生成及隐式/显示推理多模态数据：
l 图文复杂描述 600万
l 图文推理问答对 600万
生物数据：
l 核酸库 4000万
l 蛋白库 50万
l 蛋白结构库 19万
l 通路库 1000万
l 生信工具
药学数据：
l 药物研发数据库 1300万
l 全球上市数据库 80万
l 一致性评价数据库 25万
l 生产检验数据库 40万
l 合理用药 300万
l 多维文献 1亿
l 原料药数据库 1100万
化学数据：
l 化合物数据库 1.6亿
l 反应信息数据库 4100万
l 物化性质数据库 1.6亿
l 谱图数据库 20万
l 晶体信息数据库 100万
l 安全信息数据库 180万
l 商品信息数据库 740万
材料数据：
l 金属材料数据 20万
l 纳米材料数据 30万
l 相图数据 6万
l 材料性能数据 20万
l 材料腐蚀数据
l 表面处理数据
l 焊接材料数据
专利数据：
l 全球专利基础著录数据 1.3亿
l 全球专利原文数据 1亿
l 全球专利附图数据
l 全球专利法律状态数据
l 全球专利法律状态数据
l 全球专利引文数据
l 全球专利分类索引数据
l 全球专利重点申请人工商关联数据
l 全球生化医药专利深加工数据
l 全球专利全文数据
医疗器械数据：
l 国内政策法规数据 3千
l 行业标准数据
l 中国医疗器械审评数据 20万
l 中国医械临床试验数据 5千
l 全球医械临床试验数据 7万
l 医用耗材中标数据 1400万
l 医用耗材带量采购数据 400万
l 医用设备招投标数据38万
同时景联文科技提供大模型训练数据的标注服务，致力于为全球数千家人工智能从业公司和高校科研机构交付海量、高质量的多模态大模型训练数据。
详情可咨询我们官网~网页链接
大型语言模型(LLM)训练指南🚀
近年来，大型语言模型的训练规模日益增长，以悟道 2.0 模型为例，其参数量达到 1.75T，是 GPT-3 的 10 倍。
然而，对于如何高效训练大型语言模型的信息却相对较少。
本文将整理出简单的训练指南，以助于深入了解这一过程。
以 BLOOM-175B 的训练为例，本文将分阶段介绍训练过程中的关键要素。
首先，硬件设施的选择至关重要。
BLOOM 的训练采用了一套硬件配置，具体细节可参考相关文档。
其次，模型训练涉及多个并行技术，包括数据并行、张量并行以及管道并行等。
在数据并行中，模型被复制到多个 GPU 上，并在每次迭代后同步状态。
通过在 N 台机器上复制模型，数据拆分以减少每台机器的工作量，并提高训练速度，前提是模型能够适应单个 GPU。
对于大规模模型，ZeRO 数据并行技术尤为有效，它通过优化器状态、梯度和参数的划分，显著减少显存冗余，使集群显存容量得到充分利用。
此技术在训练万亿参数模型时，仅需约 16GB 内存，大幅降低了内存需求。
张量并行则关注于权重矩阵的分割，以实现跨 GPU 的并行计算。
通过 Megatron-LM 论文中的实现，大型模型的并行计算得以高效进行，尤其是在 Transformer 架构中。
管道并行则通过将模型层分布在多个 GPU 上，实现数据的高效传输和计算，有效解决了 GPU 闲置问题。
通过调整超参数，如块大小，以实现 GPU 利用的最大化，从而减少通信开销。
将数据并行、张量并行和管道并行结合，形成 3D 并行，即在硬件层面实现三维的并行化，以达到更高的训练效率。
NCCL 库提供了高性能的多 GPU 通信支持，通过优化多 GPU 间的集体通信，如广播、聚合等操作，显著提升了训练速度。
在实际应用中，大型语言模型训练面临着 FP16 的局限性，特别是数值稳定性和精度问题。
BF16 格式被引入以解决这些挑战，它具有与 FP32 相同的指数位，能够避免溢出问题，同时保持较高的计算效率。
BF16Optimizer 的使用确保了在管道并行训练中的梯度累积能够保持精确性，从而实现高效的混合精度训练。
综上所述，本文整理了大型语言模型训练的关键步骤和策略，包括硬件设施的选择、并行技术的应用、通信库的优化等，为训练大规模模型提供了实用的指南。
通过采用这些方法，可以有效提高训练效率，降低资源消耗，实现高效、稳定的大型语言模型训练过程。
4个大语言模型训练中的典型开源数据集
随着统计机器学习和自然语言处理算法的发展，大量开源数据集被构建用于大语言模型训练。
本文将介绍几个典型的大语言模型训练开源数据集。
一、Pile 数据集Pile 数据集由22个高质量子集构成，包括Common Crawl、Wikipedia、OpenWebText等。
这些子集包含了多样化的文本，涵盖了不同领域和主题，提高训练数据集的多样性和丰富性。
Pile 数据集总大小约为825GB英文文本。
二、ROOTS 数据集ROOTS 数据集是BigScience项目在训练BLOOM大语言模型时使用的数据集合。
包含46种自然语言和13种编程语言，总计59种语言，整体数据集大小约1.6TB。
三、RefinedWeb 数据集RefinedWeb 数据集由位于阿布扎比的技术创新研究院在开发Falcon大语言模型时同步开源。
主要由从CommonCrawl数据集过滤的高质量数据组成，总数据量超过1PB。
四、SlimPajama 数据集SlimPajama 数据集由CerebrasAI公司针对RedPajama进行清洗和去重后得到。
原始RedPajama包含1.21万亿词元，经过处理后的SlimPajama数据集包含6270亿词元。
以上就是对四个典型大语言模型训练开源数据集的介绍。
评论（0）