OVHcloud推出Olala mini 7A1B并开源

AI 驱动中国 柳深 369次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

欧洲云服务企业OVHcloud推出首个AI模型家族Olala,并开源首个成员Olala mini 7A1B;该模型采用混合注意力机制,总参数70亿、激活参数10亿,可在8GB显存GPU运行,后续计划扩展上下文与参数规模。

驱动中国11月17日消息,欧洲云服务企业OVHcloud宣布推出首个AI模型家族Olala,并公布该系列首个成员Olala mini 7A1B。该模型将以Apache 2.0许可在Hugging Face开源。

技术规格方面,Olala mini 7A1B采用结合Differential-TPA与Mamba-3的混合注意力机制,总参数为70亿,激活参数为10亿,使用BF16数据格式。运行条件上,该模型可在8GB显存GPU上运行;在RTX A4500上可实现160 TPS词元吞吐量,仅CPU平台也可实现50 TPS。

OVHcloud表示,Olala mini 7A1B在三台欧洲公共超级计算机上,利用NVIDIA GH200、A100、H100训练完成,总开销为700万欧元,约合5142.8万元人民币。

上下文能力方面,Olala mini 7A1B初始版本上下文长度为32K;预计今年底推出的1.1版本将扩展至128K上下文,并具备更好的数学能力。OVHcloud后续将持续开发AI模型,Olala 2.0参数规模将超过100B。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/529912.html
本文价值 ★★★★★ 3 1 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友