本文目录导航：
中文LLaMA&Alpaca大语言模型词表扩充+预训练+指令精调
在探索大模型在中文场景中的应用时，我们发现LLaMA模型虽然在多语言模型中性能卓越，但原生支持中文的能力相对有限。
其词表大小仅为32K，远低于多语言模型如XLM-R、Bloom所使用的250K词表大小，这直接导致了中文token数量过少，影响了模型在中文任务上的表现。
因此，对LLaMA进行词表扩充成为了解决这一问题的关键步骤。
为了应对这一挑战，国内开源项目Chinese-LLaMA-Alpaca提供了详细的指南，从词表扩充、模型预训练到指令精调，帮助开发者构建更加适应中文环境的LLaMA模型。
整个流程涉及到环境搭建、代码、模型、数据集的准备，以及最终的模型输出和应用。
环境搭建方面，我们使用Docker镜像进行高效、复现性好的配置。
这一步骤包括下载Pytorch镜像、创建并进入容器、安装依赖库，以及从源码安装Peft库，以满足后续操作需求。
代码、模型、数据集的准备是整个流程的核心。
通过下载Chinese-LLaMA-Alpaca的官方代码，我们将原始LLaMA的权重文件转换为适应Transformers库的格式，或者直接使用已转换好的模型，如yahma/llama-7b-hf。
数据集准备则涉及到从开源书籍中下载并清洗数据，以确保用于训练的资料质量。
词表扩充是Chinese-LLaMA-Alpaca项目中的重要部分。
通过在通用中文语料库上训练基于sentencepiece的20K中文词表，并将其与原版LLaMA的32K词表进行合并，最终得到一个包含个token的中文LLaMA词表。
值得注意的是，在进行指令精调阶段时，Alpaca模型会额外引入一个pad token，使得中文Alpaca的词表大小为。
因此，在将LoRA权重合并回基础模型时，需要特别注意词表大小的一致性问题。
模型训练细节方面，整个过程分为预训练、预训练和指令精调三个阶段。
预训练阶段包括两个子阶段，通过使用LoRA技术，模型不仅更新了embedding参数，同时也添加了LoRA权重，以提高训练效率。
指令精调阶段则与Stanford Alpaca的格式保持一致，采用LoRA进行高效精调，并增加了可训练参数的数量。
最后，将多个LoRA权重合并回基础模型，以及进行模型推理测试，是实现最终模型应用的步骤。
尽管词表扩充+预训练+指令精调能够显著提升模型性能，但对于资源有限的开发者，选择直接使用支持中文的模型，或者进行部分词表扩充和微调，可能是更实用的方案。
大语言模型训练数据常见的4种处理方法
大语言模型训练所需数据量庞大，如何构建高质量的“海量”数据对大语言模型的训练至关重要。
尽管目前尚未有完美的大模型理论分析和明确的数据定义，但普遍认为训练数据是影响模型效果和样本泛化能力的关键。
本文将介绍大语言模型训练数据的来源、处理方法、预训练数据对模型的影响以及常见开源数据集。
一、数据来源OpenAI训练GPT-3时，主要数据来源包括经过过滤的CommonCrawl数据集、WebText2、Books1、Books2以及英文Wikipedia等。
CommonCrawl原始数据45TB，过滤后仅保留570GB。
为了保证模型使用更多高质量数据，GPT-3训练时根据语料来源设置不同采样权重。
此外，Meta公司研究人员在训练OP模型时采用混合RoBERTa、Pile[68]和 Reddit数据方法。
大语言模型训练所需数据来源可分为通用数据和专业数据。
通用数据包括网页、图书、论文、百科和社交媒体等，覆盖尽可能多的领域、语言、文化和视角，提高模型泛化能力和适应性。
专业数据包括多语言数据、科学数据、代码以及领域特有资料等，有效提升模型任务解决能力。
1.1 通用数据通用数据占比高，主要包括网页、书籍、对话文本等类型，为大模型提供大规模且多样的训练数据。
网页数据是通用数据中数量最大的一类，通过爬取和处理海量网页内容，语言模型能获得多样化的语言知识并增强泛化能力。
对话数据包括书面形式的对话、聊天记录、论坛帖子、社交媒体评论等，可通过收集、清洗、归并等过程构建。
书籍是人类知识的主要积累方式之一，承载丰富多样的人类思想，语言模型可从中学习到不同的写作风格和表达方式。
2.1 专业数据专业数据在通用大语言模型中所占比例较低，但对模型在下游任务上的特定能力有着重要作用。
专业数据包括多语言数据、科学文本以及代码。
多语言数据对增强大语言模型语言理解和生成多语言能力具有至关重要的作用。
科学文本包括教材、论文、百科以及其他相关资源，对提升模型在理解科学知识方面具有重要作用。
代码数据是进行程序生成任务所必须的训练数据，包含程序代码本身和大量注释信息。
二、数据处理大语言模型相关研究表明，数据质量对模型影响非常大。
因此，在收集到各类型数据后，需要对数据进行处理，去除低质量数据、重复数据、有害信息、个人隐私等内容。
主要包含质量过滤、冗余去除、隐私消除、词元切分等几个步骤。
1. 低质过滤低质量数据过滤方法可分为基于分类器和基于启发式的方法。
基于分类器的方法目标是训练文本质量判断模型，利用该模型识别并过滤低质量数据。
GPT-3、PALM以及GLam模型在训练数据构造时都使用了基于分类器的方法。
基于启发式的方法则通过一组精心设计的规则来消除低质量文本。
2. 冗余去除冗余去除包括句子、文档和数据集等粒度的重复。
在句子级别上，包含重复单词或短语的句子很可能造成语言建模中引入重复的模式，从而影响模型性能。
在文档级别上，大部分大语言模型都是依靠文档之间的表面特征相似度进行检测并删除重复文档。
3. 隐私消除由于预训练数据大多源于互联网，不可避免地会包含涉及敏感或个人信息的内容，增加隐私泄露风险。
删除隐私数据最直接的方法是采用基于规则的算法，如BigScience ROOTS Corpus构建过程采用基于命名实体识别的方法，利用命名实体识别算法检测姓名、地址和电话号码等个人信息内容并进行删除或替换。
4. 词元切分词元切分目标是将原始文本分割成由词元序列的过程。
词元切分是数据预处理中至关重要的一步。
字节对编码（BPE）模型是一种常见的子词词元模型，其词表包含最常见的单词以及高频出现的子词。
WordPiece也是一种常见的词元分析算法，与BPE有相似的思想，都是通过迭代地合并连续的词元。
大型语言模型的训练和微调具体是怎样进行的？
大型语言模型的训练和微调是一个复杂的过程，涉及到多个步骤和技术。
以下是一般流程的概述：1. 数据准备：- 收集大量的文本数据，这些数据可以是书籍、新闻文章、网站内容等。
- 对数据进行预处理，包括清洗（去除无关字符、特殊符号等）、分词、去除停用词等。
2. 模型架构设计：- 设计模型的结构，如Transformer架构，它已经成为许多大型语言模型的基础。
- 确定模型的参数，如层数、隐藏层大小、注意力头的数量等。
3. 预训练：- 使用无监督学习的方式训练模型，通常通过预测文本中的下一个词（语言模型任务）。
- 在预训练阶段，模型会学习语言的通用特征和模式，而不需要针对特定任务进行优化。
4. 微调（Fine-tuning）：- 在预训练的基础上，针对特定任务（如问答、文本分类、机器翻译等）进行有监督学习。
- 通过调整模型的权重，使其更好地适应目标任务。
5. 优化和调参：- 使用不同的优化算法（如Adam、SGD等）来更新模型的参数。
- 调整超参数（如学习率、批次大小、正则化项等）以提高模型性能。
6. 评估和迭代：- 在验证集上评估模型性能，使用指标如准确率、F1分数等。
- 根据评估结果调整模型结构或训练策略，进行迭代优化。
7. 部署和应用：- 将训练好的模型部署到生产环境中，提供服务。
- 监控模型在实际应用中的表现，并根据反馈进行进一步的优化。
在实际应用中，这个过程可能会更加复杂，包括使用更高级的技术如迁移学习、多任务学习、模型压缩等，以及考虑到计算资源和训练时间的优化。
此外，为了提高模型的泛化能力和避免过拟合，还可能使用数据增强、正则化等技术。
评论（0）