深圳销毁公司_文件销毁_过期食品销毁_过期化妆品销毁-广东益福GDYF深圳销毁公司

深圳GDYF销毁公司：元象XVERSE开源650亿参数通用大模型XVERSE-65B

广东益福深圳销毁公司 11月6日 资讯:元象XVERSE宣布 开源650亿参数高性能通用大模型XVERSE-65B，无条件免费商用。

XVERSE-65B 是由深圳元象科技开发的一种支持多语言的大型语言模型。它采用了 Transformer 网络结构，参数规模达到了650亿。

模型经过训练了2.6万亿个令牌的又好又快多样化数据，包罗了40多种语言。XVERSE-65B 具有16K 的上下文长度，适用于多轮对话、知识问答和摘要等任务。模型已在多个标准数据集上进行了尝试，并取得了良好的性能。

要紧特点如下:

模型结构:XVERSE-65B 使用主流 Decoder-only 的标准 Transformer 网络结构，支持16K 的上下文长度（Context Length），能满足更长的多轮沟通、知识问答与摘要等需求，模型应用场景更广泛。

训练数据:构建了2.6万亿 token 的又好又快、多样化的数据对模型进行充分训练，包罗中、英、俄、西等40多种语言，通过精细化设置不同类型数据的采样比例，使得中英两种语言浮现优良，也能兼顾其他语言效果。

分词:基于 BPE（Byte-Pair Encoding）算法，使用上百 GB 语料训练了一个词表大小为100，534的分词器，抑或同时支持多语言，而无需额外增补词表。

训练框架:自主翻新多项紧要技术，包括高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台和框架协同等，让训练影响更高，模型稳定性强，在千卡集群上的峰值算力利用率位居业界前列。

项目地址：https://github.com/xverse-ai/XVERSE-65B

（举报）