← AI 百科

Embedding模型

AI基础 ·
一句话:把文本、图片或其他内容转换成向量,用于搜索、推荐、去重和RAG知识库。

它是什么

Embedding模型会把一段内容转换成一串数字向量,让计算机可以比较内容之间的语义相似度。它是向量数据库、知识库检索、RAG问答、推荐系统里的关键组件。

适合干什么

  • 做知识库问答的人
  • 做语义搜索的开发者
  • 需要文档去重和分类的团队
  • 想理解RAG底层原理的人

不适合干什么

  • 只需要普通关键词搜索的小项目
  • 没有足够文本数据的人
  • 以为Embedding本身会回答问题的人

普通人怎么用

  • 把文档切成合适片段
  • 用Embedding模型转成向量
  • 存入向量数据库
  • 用户提问也转成向量
  • 找出最相似片段交给大模型回答

进阶用户怎么用

  • 为中文、英文、代码选择不同Embedding模型
  • 调整分块大小和重叠长度
  • 结合关键词搜索做混合检索
  • 用重排模型提升最终命中文档质量

常见误区

  • 文档切块太长或太短
  • 只看向量库,不看原始文档质量
  • 把检索失败归咎于聊天模型
  • 忽略中文、英文和代码场景差异

和相似工具的区别

  • Embedding模型 vs 聊天模型:Embedding模型负责把内容变成可比较的向量,聊天模型负责生成回答。
  • Embedding vs 关键词搜索:Embedding关注语义相似,关键词搜索关注字面匹配,两者可以组合。

入门步骤

  • 准备文档
  • 设计切块规则
  • 生成向量
  • 写入向量数据库
  • 测试10个真实问题
  • 优化分块和检索参数

推荐工具(第三方)

OpenAI Embeddings、BGE、Jina Embeddings、Qdrant、Milvus、Chroma