开源1.6B小模型「小狐狸」,表现超同类模型Qwen和Gemma

最近,世界模型(World Models)似乎成为了 AI 领域最热门的研究方向。自从 Chatgpt 诞生以来,LLM大语言模型)的参数量似乎就成为了各个公司的竞赛指标。GPT-1 参数量为 1.17 亿(117M),而它的第四代 GPT-4 参数量已经刷新到了 1.8 万亿(1800B)。像其他 LLM 模型例如 Bloom(1760 亿,176B)和 Chinchilla(700 亿,70B)的参数量也在不断飙升。参数的数量直接影响了模型的性能能力,更多的参数意味着模型能够处理更复杂的语言模式,理解更丰富的上下文信息,并在多种任务上表现出更高的智能水平。但是,这些巨量参数也会直接影响 LLM 的训练成本和开发环境,也限制了大多数普通研究公司对于 LLM 的探索,导致大语言模型逐渐成为了大公司之间的军备竞赛。近日,新兴 AI 公司 TensorOpera 发布了开源小语言模型 FOX,向业内证明了小语言模型(SLM)也可以在智能体领域展现足够的实力。FOX 是一个专为云计算边缘计算设计的小型语言模型。与动辄上百亿参数的大语言模型不同,FOX 仅有 16 亿参数,却能在多项任务中展现出惊人的性能。论文题目:FOX-1 TECHNICAL REPORT论文链接:https://arxiv.org/abs/2411.0528101TensorOpera 是谁TensorOpera 是一家位于加州硅谷的创新人工智能公司。他们之前开发了 TensorOpera® AI Platform 生成型 AI 生态系统和 TensorOpera® FedML 联邦学习和分析平台。公司名称 TensorOpera, 是技术和艺术的结合,象征着 GenAI 最终实现多模态和多模型复合 AI 系统的发展趋。TensorOpera 的联合创始人CEO Jared Kaplan 博士表示:”FOX 模型的设计初衷是为了在保持高性能的同时,大幅降低计算资源需求。这不仅让 AI 技术更加亲民,也为企业降低了使用门槛。”02Fox 模型是怎么做的为了通过较小的参数量达到与 LLM 相同的效果,Fox-1 模型仅采用解码器架构,并引入了各种改进和重新设计以获得更好的性能。其包括① 网络层数:在模型架构设计中,更宽且更浅的神经网络拥有更好的记忆能力,而更深且更瘦的网络则呈现出更强的推理能力。根据这一原则,Fox-1 使用的架构比大多数现代 SLMs 更深。具体来说,Fox-1 由 32 个自注意力层组成,比 Gemma-2B(18 层)深 78%,比 StableLM-2-1.6B(24 层)和 Qwen1.5-1.8B(24 层)深 33%。② 共享嵌入:Fox-1 采用 2,048 的隐藏维度去构建共计 256,000 的词汇表,其数据量大约有 5 亿参数。更大的模型通常对输入层(词汇表到嵌入表达)和输出层(嵌入表达到词汇表)使用单独的嵌入层。对于 Fox-1,仅嵌入层就需要 10 亿参数。为了减少总参数数量,共享输入和输出嵌入层,可以最大限度地提高权重利用率。③ 预归一化:Fox-1 对每个变换层的输入使用 RMSNorm 进行归一化。RMSNorm 是现代大型语言模型中预归一化的首选,它比 LayerNorm 表现出更好的效率。④ 旋转式位置编码(RoPE):Fox-1 默认接受最多 8K 长度的 input token。为了提高更长上下文窗口的性能,Fox-1 采用了旋转式位置编码,其中 θ 设置为 10,000,以便于编码 token 之间的相对位置依赖性。⑤ 分组查询注意力(GQA):分组查询注意力将多头注意力层的查询头分为组,每个组共享相同的一组键值头。Fox-1 配备 4 个键值头和 16 个注意力头,以提高训练和推理速度,并减少内存使用。除了模型结构改良之外,FOX-1 也在分词(Tokenization)和训练上进行改进。分词方面,Fox-1 采用基于 SentencePiece 的 Gemma 分词器,它提供了 256K 的词汇表大小。增加词汇表大小至少有两个主要好处。首先,由于每个 token 编码了更密集的信息,上下文的隐藏信息长度得以延长。例如,大小为 26 的词汇表只能在[a-z]中编码一个字符,但大小为 262 的词汇表可以同时编码两个字母,这使得在固定长度的 token 中可以表示更长的字符串。其次,更大的词汇表大小减少了未知单词或短语的概率,从而在实践中实现了更好的下游任务性能。Fox-1 采用的大词汇表对于给定的文本语料库产生较少的 token,这可以产生更好的推理性能。Fox-1 的预训练数据来源于 Redpajama、SlimPajama、Dolma、Pile 和 Falcon 数据集,共计 3 万亿个文本数据。为了缓解因其注意力机制导致的长序列的预训练效率低下,Fox-1 在预训练阶段引入了一个三阶段的课程学习策略,其中训练样本的 chunk 长度逐渐从 2K 增加到 8K,以小成本确保长上下文能力。为了与三阶段课程预训练管道保持一致,Fox-1 将原始数据重新组织成三个不同的集合,包括无监督和指令调优数据集,以及代码、网络内容数学科学文档等不同领域的数据。Fox-1 的训练可以分为三个阶段。第一阶段包括整个预训练过程中约 39% 的总数据样本,其中 1.05 万亿 token 的数据集被分割成长度为 2,000 的样本,batch size 大小为 2M。在此阶段使用了 2,000epoch 的线性预热。第二阶段包括约 59% 的样本,有 1.58 万亿 token,并将 chunk 长度从 2K 增加到 4K 和 8K。实际的 chunk 长度因不同数据源而异。考虑到第二阶段花费的时间最长,且涉及不同数据集的不同来源,batch size 也增加到 4M 以提高训练效率。最后在第三阶段,Fox 模型使用 62 亿 token(约总量的 0.02%)的高质量数据进行训练,为不同的下游任务能力打下基础,如指令遵循、闲聊、特定领域的问答等。03Fox-1 表现如何和其他 SLM 模型(Gemma-2B, Qwen1.5-1.8B, StableLM-2-1.6B 和 OpenELM1.1B)相比,FOX-1 在 ARC Challenge (25-shot), HellaSwag (10-shot), TruthfulQA(0-shot),MMLU (5-shot),Winogrande (5-shot),GSM8k (5-shot)六项任务的 benchmark 的平均分数最高,且在 GSM8k 上优势明显。除此之外,TensorOpera 还评估了 Fox-1、Qwen1.5-1.8B 和 Gemma-2B 使用 vLLM 与 TensorOpera 服务平台在单个 NVIDIA H100 上的端到端的推理效率。Fox-1 实现了每秒超过 200 个 token 的吞吐量,超过了 Gemma-2B,并在相同的部署环境中与 Qwen1.5-1.8B 相匹配。在 BF16 精度下,Fox-1 仅需要 3703MiB 的 GPU 内存,而 Qwen1.5-1.8B、StableLM-2-1.6B 和 Gemma-2B 分别需要 4739MiB、3852MiB 和 5379MiB。04参数虽小,依旧有竞争力目前各家 AI 公司都在大语言模型上开展竞争,而 TensorOpera 另辟蹊径,在 SLM 领域进行突破,仅用 1.6B 实现了与 LLM 相似的效果,在各种基准测试中表现出色。即使在有限的数据资源下,TensorOpera 也可以预训练出具有竞争力表现的语言模型,为其他 AI 公司的研发提供了一种新思路。END点击下方名片即刻关注我们

版权声明:atcat 发表于 2024-12-11 12:03:52。
转载请注明:开源1.6B小模型「小狐狸」,表现超同类模型Qwen和Gemma | 86AIGC导航

暂无评论

暂无评论...