Google发布首个全模态Embedding 2模型：文本图片音视频PDF统一向量空间

在人工智能基础设施领域，Embedding模型一直是检索、搜索和RAG系统的核心组件。传统上，不同模态的数据需要使用各自独立的Embedding模型进行处理——文本有文本的向量空间，图片有图片的向量空间，彼此之间难以互通。这种「信息孤岛」极大地限制了跨模态检索的能力。

全模态统一：AI记忆的重大突破

Google最新发布的Gemini Embedding 2（模型ID：gemini-embedding-2-preview）开创性地实现了五种模态数据的统一向量表示。该模型支持文本（最多8,192 tokens）、图片（每次最多6张）、视频（最长128秒）、音频（最长80秒）以及PDF文档（最多6页）直接映射到同一个向量空间中。这意味着用一段文字描述就可以直接搜索匹配的视频片段，或者用一张产品图搜索相关技术文档，真正实现了跨模态的语义理解与检索。

技术创新：音频处理与维度压缩

Gemini Embedding 2在音频处理上实现了重要突破——无需先将音频转录为文字，直接对MP3或WAV文件进行Embedding即可完成检索。这一改变简化了传统音频搜索的复杂流程（Whper转录+文本Embedding），同时保留了语音中的语气、语调等文字无法表达的信息。此外，该模型支持Matryoshka Representation Learning（MRL）技术，默认输出3,072维向量，但可灵活压缩至1,536、768甚至128维。测试数据显示，从3,072维降至768维时，MTEB得分仅下降不到0.5分，这意味着向量体积缩减75%的同时，检索质量几乎不受影响，对存储和计算成本控制意义重大。

性能表现与行业对比

在基准测试中，Gemini Embedding 2表现亮眼：MTEB多语言得分68.32（领先第二名5.09分），英文MTEB v2得分73.30（排名第一），代码Embedding得分74.66（同样第一）。与竞品相比，该模型是目前唯一支持全部五种模态的商用Embedding产品。对比来看，OpenAI text-embedding-3-large仅支持文本，Cohere Embed v4支持文本和图片但缺少视频音频，Jina Embeddings v4虽开源支持文本、图片和PDF，但同样不支持音频视频。在价格方面，文本Embedding定价为$0.20/百万tokens（Batch API五折），略高于OpenAI的$0.13和Cohere的$0.12，但考虑到其全模态支持能力，性价比仍具竞争力。

应用场景与生态集成

Gemini Embedding 2为多个实际场景带来了全新的可能性。在多模态RAG方面，以往被忽视的图表、流程图现在可以与文本一起被索引检索，用户询问「系统架构是什么样的」时，能同时找到文字描述和对应的架构图。在跨模态搜索场景中，同一套管道即可完成文字搜视频、视频搜图片等操作。在音频知识库场景中，会议录音、播客、客服电话等音频内容可直接进行语义检索，省去转录环节。法律领域已有早期合作伙伴利用该模型在数百万条记录中精准定位关键证据，包括图片和视频证据。

如有侵权，请联系删除。