面壁智能发布 Eurux-8x22B 开源大模型 主打推理能力

admin 2周前 (05-04) 15 0

扫一扫用手机浏览

文章目录 [+]

5月4日消息,近日,面壁智能发布开源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 与 Eurux-8x22B-KTO,主打推理能力。

据介绍,Eurux-8x22B 模型激活参数 39B,支持 64k 上下文,是由 Mixtral-8x22B 模型对齐而来,在 UltraInteract 对齐数据集上训练而成。

UltraInteract 是专门设计用于提升大模型推理能力的大规模、高质量的对齐数据集,包含了覆盖数学、代码和逻辑推理问题的 12 个开源数据集的 86K 条指令和 220K 偏好对,共有五十万条左右数据。

同时,作为开源模型,Eurux-8x22B 的发布有望增强技术的透明度与可访问性,为全球开发者社区提供相关技术资源,便于进行高级AI技术的开发与测试。

成立于2022年的面壁智能是一家人工智能大模型技术创新与应用落地企业。2023年4月,面壁智能完成由知乎领投的数千万元天使轮融资,同为清华系的智谱 AI参与跟投。2024年2月,面壁智能的开源端侧模型MiniCPM面市,作为其“大模型+Agent(智能体)”双引擎战略的关键一步。

2024年4月,面壁智能完成新一轮数亿元融资,由春华创投、华为哈勃领投,北京市人工智能产业投资基金等跟投,知乎作为战略股东持续跟投支持。本轮融资将用于人才引入,大模型底层算力与数据基础构建,和大模型落地三个方向。光源资本担任独家财务顾问。


相关文章

发表评论