从理论到创业:Voyage AI CEO谈RAG与向量检索的真实价值

AI PM 编辑部 · 2024年06月06日 · 2 阅读 · AI/人工智能

正在加载视频...

视频章节

这期 No Priors 对话中,Stanford 计算机科学助理教授、Voyage AI 联合创始人兼 CEO Tanguma 回顾了自己从理论研究到创业的关键转折,并系统阐述了他对检索增强生成(RAG)、向量数据库以及大语言模型未来形态的判断。

从理论到创业:Voyage AI CEO谈RAG与向量检索的真实价值

这期 No Priors 对话中,Stanford 计算机科学助理教授、Voyage AI 联合创始人兼 CEO Tanguma 回顾了自己从理论研究到创业的关键转折,并系统阐述了他对检索增强生成(RAG)、向量数据库以及大语言模型未来形态的判断。

从学术研究出发:为什么Transformer仍是核心

理解一位研究者的技术判断,必须先看他的研究起点。Tanguma 的学术背景集中在 Transformer 和大语言模型(Large Language Models)相关的基础问题上。他提到,过去几年里,无论是学术界还是工业界,几乎所有突破都建立在 Transformer 架构之上。这并不是因为它“完美”,而是因为它在可扩展性和表示能力之间取得了罕见的平衡。

在节目中他回顾了自己关注的一些关键论文,强调这些工作并不是简单追求更大的模型,而是试图回答“模型究竟在学到什么表示”。他直接点出:“Transformers large language models”之所以重要,是因为它们第一次让统一的架构在多任务、多模态上成立。这种统一性,为后续的检索增强、工具调用等架构提供了基础。

他还提到 Meta 等公司在相关研究上的推动作用,尤其是对表示学习和可解释性的探索。这一阶段的研究,为他后来判断哪些问题值得创业去做,埋下了伏笔。

离开斯坦福去创业:理论研究为何走向产品

真正的转折发生在他决定从 Stanford 请假、创办 Voyage AI 的那一刻。主持人直接问他:一个偏理论的研究者,为什么要下场做公司?Tanguma 的回答很坦率——因为条件成熟了。

他提到,过去很多年里,相关技术并不“可用”,但现在“Technologies are more matural”。模型能力、算力成本和工程工具同时到位,使得一些过去只能写在论文里的想法,第一次有机会落地。他并没有否认理论研究的价值,但强调如果没有真实用户和数据反馈,很多关于表示质量的讨论是空转。

这个创业决定本身就是一个具体故事:不是追风口,而是当他意识到自己反复研究的问题,终于可以在真实系统中被验证时,才选择下场。这也解释了 Voyage AI 的定位——不是再做一个通用模型,而是围绕“表示”和“检索”这类基础能力深挖。

RAG 的关键不在生成,而在检索质量

节目中最有信息密度的部分,集中在对检索增强生成(Retrieval-Augmented Generation, RAG)的讨论上。Tanguma 明确指出:“RAG is a relatively new architecture”,很多团队低估了它的复杂性。

他反复强调,决定 RAG 上限的不是生成模型有多强,而是检索阶段的表示质量。他用非常工程化的语言解释:向量并不是魔法,它们只是“vectors as indices”。如果向量表示本身不能忠实反映语义相似性,后面的生成再强也无济于事。

这也是他认为当前大量 RAG 应用效果参差不齐的原因。很多系统只是把向量数据库接上大模型,却没有系统性地评估检索质量、召回分布和语义覆盖范围。在他看来,真正有价值的改进,来自于对嵌入模型本身的持续优化,而不是简单调 Prompt。

成本、规模与未来:RAG 会走向何方

当讨论拉到更宏观的层面,Tanguma 的判断显得相对冷静。他并不认为 RAG 只是一个短期过渡方案,相反,随着算力和模型调用成本下降,它会变得“more cost efficient”,并嵌入到越来越多系统中。

但他也指出一个容易被忽视的趋势:并非所有场景都需要同一种大语言模型。随着领域数据差异拉大,可能会出现“possibly very different large language models as well”,而 RAG 正好提供了一种在不完全重训模型的情况下,注入专有知识的路径。

在这个视角下,向量数据库和表示学习不再是配角,而是决定系统可扩展性的基础组件。这也是他反复强调“zooming out”思考架构的原因——把模型、检索和数据表示放在同一层级上看,才能做出长期有效的技术选择。

总结

这期对话的价值,不在于给出一个“RAG 最佳实践”清单,而在于展示了一位研究者如何从理论出发,判断技术成熟度,并在合适的时间点走向创业。Tanguma 的核心启发是:生成模型的光环之下,真正决定系统质量的,往往是更基础、也更容易被忽略的表示与检索能力。对于正在构建 AI 应用的团队来说,这是一种值得反复咀嚼的视角。


关键词: 大语言模型, 检索增强生成, 向量数据库, Transformer, Voyage AI

事实核查备注: 人物:Tanguma(Stanford 计算机科学助理教授,Voyage AI 联合创始人兼 CEO);节目:No Priors Ep.67;技术名词:Transformer、大语言模型(LLM)、检索增强生成(RAG)、向量作为索引;公司:Meta;关键判断:RAG 是相对较新的架构、技术成熟度提升、成本下降趋势