谷歌发布 EmbeddingGemma 2:7.4 亿参数开源多模态嵌入模型,可在端侧运行
Google DeepMind 推出基于 Gemma 4 架构的 EmbeddingGemma 2,以 Apache 2.0 许可开源,将文本、代码、图像、音频和视频映射到同一嵌入空间,面向端侧搜索与 RAG。
Google DeepMind 发布 EmbeddingGemma 2,将上一代纯文本嵌入模型扩展为原生多模态,可把文本、代码、图像、视频和音频统一映射到同一嵌入空间。模型基于 Gemma 4 架构,参数量 7.4 亿,采用可商用的 Apache 2.0 许可,权重已上线 Hugging Face 和 Kaggle。
该模型采用模块化设计:纯文本任务最少只需 2.7 亿参数,视觉(1.7 亿)和音频(3 亿)编码器可选;借助 Matryoshka 表征学习,输出向量可从 768 维截断到 512、256 或 128 维;上下文窗口为 8K token,是第一代的 4 倍。经量化后在 Pixel 11 Pro 上,纯文本权重约需 191MB 内存,完整多模态模型约 567MB。
谷歌称,EmbeddingGemma 2 在 MTEB Code 和 MAEB 等基准上取得 10 亿参数以下多模态嵌入模型的领先成绩,MTEB Code 分数从 68.76 提升至 78.68。初代 EmbeddingGemma 下载量已超过 2000 万次。