本文目录导航：
多模态大模型概念
多模态大模型指的是将文本、图像、视频、音频等多模态信息联合起来进行训练的模型。
2023年6月21日，据《科创板日报》报道，蚂蚁集团的技术研发团队正在自研语言和多模态大模型，内部命名为贞仪。
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。
生活中常见多模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。
使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理和生物医药前沿方向取得重大突破。
2017年Transformer被提出，颠覆了传统的深度学习模型，在机器翻译任务上实现了最好性能。
多模态大模型综述
表征的主要目标是把各种类型的数据转化为数值形式以便模型理解，单模态的表征负责将信息表示为模型可以处理的数值向量或者进一步抽象为更高层的特征向量，而多模态表征是指通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示。
表征目前分为三种方法，一是融合表征整合来多个模态的信息，通常用于同一场景下的不同模态，有助于寻找不同模态的互补性。
二是协同表征，将多模态中的每个模态分别映射到各自的表示空间，但映射后的向量之间满足一定的相关性约束，协同表征结构并不寻求融合而是寻找模态间的相关性。
三是裂变表征，创建一个新的不相交的表征集，输出集通常比输入集大。
大模型是什么意思
大模型是指模型具有庞大的参数规模和复杂程度的机器学习模型。
在深度学习领域，大模型通常是指具有数百万到数十亿参数的神经网络模型。
这些模型需要大量的计算资源和存储空间来训练和存储，并且往往需要进行分布式计算和特殊的硬件加速技术。
大模型的设计和训练旨在提供更强大、更准确的模型性能，以应对更复杂、更庞大的数据集或任务。
大模型通常能够学习到更细微的模式和规律，具有更强的泛化能力和表达能力。
然而，大模型也面临一些挑战。
首先是资源消耗问题，大模型需要大量的计算资源、存储空间和能源来进行训练和推理，对计算设备的要求较高。
其次是训练时间较长，由于模型参数规模的增大，模型的训练过程会更加耗时。
除此之外，大模型对数据集的需求也较高，如果训练数据不充足或不平衡，可能会导致模型过拟合或性能下降。
大模型已经在许多领域得到了广泛的应用：
一、自然语言处理
大模型在自然语言处理（NLP）方面的应用十分多样，如机器翻译、语言理解、聊天机器人等。
特别是在自然语言生成领域，通过生成器生成文章、答案、对话，大模型能够创作出高质量、流畅的文本。
二、计算机视觉
大模型在计算机视觉方面的应用有图像分类、目标检测、图像生成等，例如GAN网络模型，可以生成高度逼真的图像。
三、语音识别
大型模型在语音识别方面的应用有语音识别、语音合成等，大可以更准确地判断音频的发音、语速、节奏和音调，提高语音识别和合成系统的精度和流畅度。
大模型是什么意思
大模型（Large Model）是指具有数百万或数十亿个参数的深度神经网络模型，这种模型经过专门的训练过程，能够对大规模数据进行复杂的处理和任务处理。
大模型需要占用大量的计算资源、存储空间、时间和电力等资源来保证它的训练和部署。
相比之下，小模型（Small Model）是指具有较少参数的深度神经网络模型。
小模型常常运行速度更快，也更加轻便，适用于一些计算资源和存储空间较少的设备或场景，例如移动设备或嵌入式设备。
在实际应用中，选择大模型或小模型取决于需要解决的问题和可用资源。
大模型通常在自然语言处理、计算机视觉、推荐系统等方面表现良好，它们通常需要高性能计算资源的支持，例如标准的GPU或云端集群。
小模型适合解决一些简单的、小规模的问题，例如信用卡欺诈检测等，它们具有更快的推理速度，可以在低功耗设备上运行，例如智能手机或物联网设备。
大模型能解决的问题
大规模预训练可以有效地从大量标记和未标记的数据中捕获知识，通过将知识存储到大量的参数中并对特定任务进行微调，极大地扩展了模型的泛化能力。
在应对不同场景时，不再从0开始，只需要少量的样本进行微调。
再比如BERT已经训练好了，我们要做下游任务，做一个句子的情感分析。
那么就会在BERT的输入token中加入一个 class token，这个和vit的做法一样，encoder以后用class token的向量做一下linear transoformation 和softmax和gt做损失训练，所以这一步可以直接初始化BERT模型的预训练参数做finetune，效果要更好。
收敛的又快，loss又低。
评论（0）