当地时间2月21日,谷歌发布号称“全球性能最强大、轻量级”的新一代开源系列模型Gemma,平均性能远超Llama 13B,一举夺下当今的开源大模型霸主的宝座。
由此,在其多模态大模型Gemini与OpenAI在闭源领域激战正酣之时,谷歌终又以Gemma在开源领域向Meta宣战。
谷歌和Alphabet公司CEO Sundar Pichai表示:“Gemma展示了强大的性能,从今天开始,该模型将在全球范围内提供,并可在笔记本电脑、工作站或谷歌云上运行。”
官方介绍称,Gemma灵感源于Gemini,由谷歌DeepMind和其他团队合作开发。
不同于Gemini的“全家桶”路线,Gemma主打“轻量级”“高性能”特点,提供了2B(20亿)和7B(70亿)两种参数规格,每个规模又分为预训练和指令微调两个版本,满足了开发人员的不同需求。
该模型可在笔记本电脑、台式机、物联网、移动设备、云端等多个主流设备类型上运行。其中,7B版本用于在消费级GPU和TPU上高效部署和开发;2B版本则可直接在笔记本电脑上运行。
Gemma基于谷歌的开源模型和生态构建,包括Word2Vec、BERT、T5、T5X等。而得益于Gemini的共享技术和基础架构,Gemma在MMLU、MBPP等18个语言理解、推理、数学等关键基准测试中,有11个测试分数超越了Llama 2等更大参数的开源模型。
值得一提的是,Gemma在数学、代码能力上的表现十分突出,位于Hugging Face开源大模型排行榜前列。
据称,Gemma基于自研AI加速芯片TPU v5e训练,在文本领域实现了强大的通用能力,同时具备最先进的理解和推理技能。其中,7B使用了4096个TPU v5e,2B则使用了512个TPU v5e,数据主要来自网络文档、数学和代码的英语数据。
不仅如此,谷歌还宣布与英伟达合作,利用英伟达TensorRT-LLM加速Gemma的性能;另还可以使用英伟达GPU来优化Gemma模型;英伟达的RTX聊天系统也即将向Gemma开放入驻,更好地保障了用户的数据安全。
除模型本身外,谷歌还为开发者提供了一套名为Responsible Generative AI Toolkit的AI软件工具包,在安全分类、调试和指导三个方面,帮助开发人员和研究人员优先构建安全且负责任的AI应用程序:
综上所述,Gemma似已成功在编码、数据处理、架构设计、指令优化、基于人类反馈的强化学习以及评估方法等方面,成为了Gemini的“爱徒”。
不过,尽管在标准测试任务上表现优异,但谷歌认为,还需对Gemma进行进一步的研究,以确保其信息的准确性、模型的目标对齐、处理复杂逻辑推理,并增强模型对恶意输入的抵抗力。
谷歌DeepMind产品管理总监Tris Warkentin认为,虽然Gemma已在6个安全基准及人类并行评估方面均优于竞争对手,但将继续采取与其潜在风险相当的评估和安全解决措施。
开源的Gemma,无疑将会吸引一众软件工程师在谷歌技术的基础上进行开发,增强云部门的盈利能力和专业能力。
谷歌Developer X和开发者关系副总裁兼总经理Jeanine Banks表示:“如果谷歌能够成为API和开放模型的唯一提供商,为社区提供最广泛的功能集,那就完美了。”