狗狗币专家观点向量数据库,为什么是...

向量数据库,为什么是大模型的最佳拍档?

-

原文来源:光锥智能

图片来源:由无界 AI生成

在决定做向量数据库之前,腾讯云也纠结过。

“是选择走RAG(检索增强生成)技术路线,还是做向量数据库”,“向量数据库会不会被大模型所替代”,“向量数据库究竟有没有未来”……

4月份,就连OpenAI也没有做出选择,同时在RAG和向量数据库两个方向进行探索。

一个多月深入行业调研过后,腾讯云发现,从向量化到部署,企业在构建向量数据库过程中困难重重。

大模型公司百川智能相关负责人表示,在没有向量数据库之前,我们用的是一些开源工具。比如向量索引,它作为内核是可以用的,但是一旦当数据量到达一定规模后,牵扯到分布式数据、分布式系统的问题,就会遇到瓶颈。

“做!市场有需求,集团内部有诉求,为什么不做?”,腾讯云向量数据库产品负责人邹鹏给出了肯定的建议。

5月立项,8月正式上云提供服务,11月功能升级,腾讯云向量数据库行驶在了快车道上。

技术无好坏,只有路径选择之分,能不能真正用起来还得等待市场的检验。但现在,更为重要的是,站在分岔路口,有没有坚定落子的勇气。

大模型时代,云厂商不仅仅是MaaS服务的提供商,更是基础设施的构建者。

要想让大模型真正用起来,仅有算法、算力还远远不够,必须有高效、低成本的数据使用方法。

“AGI时代,也需要智能化的数据调度范式,向量数据库就是数据的中枢”,腾讯云数据库副总经理罗云道。

但要成为一个坚实的底座,并不容易。国产大模型飞奔了一年,仍然以修炼内功为主。

大模型应用到现在不能完全落地,一个重要的原因是,大模型能力虽然已经获得了突飞猛进的增长,但关于数据的技术还停留在原地。

而这种滞后和空缺,对国内厂商来说也是巨大的机会。无论从大模型的行业应用,还是未来Agent构建与落地都在倒逼着数据技术的进一步升级和产品化落地。

向量数据库,大模型的“最佳拍档”

“记忆、幻觉、新鲜度和数据安全”,大模型在实际落地的时候,还存在着四大主要问题。

要想解决这四大问题,需要数据的优化与模型精调一起进行,这时候,海量的数据如何存储?如何调取?就成为一大难题。

罗云认为,“计算和存储一定是分开的。大模型是计算引擎,改变的是计算方式,存储需要其他产品来做,我们认为是向量数据库”。

这好比大模型是计算器,向量数据库是账本,一个会计先拿计算器算账,再拿账本誊抄记录。

向量数据库+大模型,两者就是“最佳拍档”。

向量数据库本身就是大模型的“外脑”,大模型有上下文token的限制,虽然擅长推理和内容生成,但是缺乏长期的记忆能力。外接向量数据后,大模型就有了记忆,能够记住用户对话的历史内容,还能越过多轮对话进行分析、推理。

在大模型存在“幻觉”上几乎已经达成了共识,尽管大模型通过预训练积累了大量的知识,但还远远不够,面对一些细分领域的问题仍然严重不足。有了向量数据,大模型就能瞬间被灌输各种专业知识,划定问题答案的范围。

大模型对数据的更新速度也相当滞后,GPT-4 Turbo也只更新到了2023年4月,而有了向量数据库,大模型就联上了网,可以随时更新动态。

数据安全是企业最看重的事情,对企业来说,根本无法放心把核心的经营数据、合同文件等机密上传到大模型上。但是,通过向量数据库的方式,企业就可以完成本地化部署,大模型仅发挥分析处理的功能,而不会上传、备份数据。

解决大模型问题的方法有很多,除了外挂向量数据库,还存在大模型微调、使用RAG技术等做法。

大模型微调方式好比供一个孩子从小学念到大学甚至研究生;向量数据库就像开卷考试,大模型完全不需要学习理解,只要能写出答案就行;RAG则是更往下落地的场景,需要结合向量数据库才能发挥作用。

其中差别,高下立见,比起大模型微调、RAG,向量数据库显然速度更快,成本也更低。

更进一步来看,基于大模型底层能力去打造AI原生应用和构建AI Agent,同样离不开向量数据库。

正如销售易所言:“有了向量数据库,就等于先把企业的数据库、支持文档存在向量数据库里做优先预处理,解锁完成后再和大模型结合回答用户的问题。在这个基础下,企业的应用才能做出,相当于向量数据库是企业级应用数据的根基。”

向量数据库如何走向产品化?

向量数据库并不是一个新鲜事,但问题在于,如何把海量非结构化的数据,让大模型真正用起来?

向量数据库有两层含义,首先是“向量”,其次是“数据库”。

罗云认为,“向量”是AGI时代的“中间数据格式”,“通过向量可以抹平不同数据格式之间的差异,既可以把图片、视频转换成向量,也可以把历史积累的数据利用起来,在AGI时代怎么快速识别信息、数据,也要靠向量”。

如果说向量是中间过程,那么数据库才是归宿,有了存储、调用数据的地方才能用起来。

“大模型+向量数据库”的运作过程是这样的:先把长文档进行拆分,各个片段进行向量化,作为储备知识存储在向量数据库中;当用户发生提问,提问内容又会二次向量化,在向量数据库中进行相似性检索,找到答案后,再由大模型输出文本。这过程中存在最大的难点就是,如何减少信息的损耗,以及提升召回率。

罗马不是一天建成的,向量数据库也是,现在腾讯云向量数据库经历了底座建立-内部搜推广业务应用-产品上云开放-迭代升级几个阶段。

据邹鹏介绍,腾讯云向量数据库的内核底座早在2019年已经成型,广泛应用与搜索、推荐、广告相关业务,涉及QQ浏览器、腾讯视频、腾讯新闻、腾讯地图等多个应用。

也就是说,直到2023年5月,腾讯云决定正式立项前,向量数据库已经在内部各个BG上跑了四年,这也是只花了三个月时间,就能上线和对外提供服务的原因之一。

正是基于向量化和数据库方面累积的经验,腾讯云才能直接上线企业级的向量数据库。

在企业级能力方面,自7月份正式发布以来,腾讯云向量数据库经过多次迭代升级,最高支持千亿级向量规模和500万QPS峰值能力,可用性达99.99%,相同内存可以存储5-10倍的数据。

高性能、低成本,形成了腾讯云向量数据库在行业中的竞争力。性能方面,无论是128维度还是768维度,腾讯云向量数据库的QPS峰值能力都远高于行业平均水平,其中128维度领先行业平均水平四倍以上,768维度也有两倍以上的优势;但具体到单QPS成本方面,腾讯云向量数据库又把价格做到了普惠,128维度的单QPS成本只有行业的七分之一,768维度只有行业的四分之一。

同时,作为一款AI原生数据库,从接入层、计算层、到存储层都进行了智能化的升级,核心是能够让企业用自然语言与数据产生互动。

针对信息损耗和召回的痛点,腾讯云推出了国内首个端到端的向量数据库解决方案,将端到端召回率提高30%,并且缩短了数据接入AI的时间。

向量化、封装为数据库固然重要,但要继续将其打造成一个产品化的向量数据库,对很多厂商提出了挑战。相比于新兴的数据库厂商,大厂显然在产品化方面更为老练。

腾讯一直坚持的产品思路是“即开即用”,一站式产品化也自然成为做向量数据库的解决思路。

罗云团队在调研中发现,企业很急迫,但根本不知道什么样数据可以向量化,如何向量化存储,如何使用向量数据库以及如何与大模型相结合。

“最大的痛点在于,如何打通企业的行业know how,和AI的整个技术栈”,罗云表示。

向量数据库发挥功能也不是一蹴而就的,客户的数据加工流程非常复杂,要解决分段、向量化、二次向量化等各种问题。

基于此,腾讯云的端到端向量数据库解决方案中,包含了文本智能化分割、选择向量化模型、帮助客户建立索引、智能化排序、数据接入全流程的服务。利用腾讯云的AI智能化套件,仅用100行代码就可快速搭建起一个企业级的本地知识库。

百川智能表示:“向量数据库是一站式的端到端的一套完整技术栈。第一块就是帮助数据分片,我们每天的数据量大约是2亿,在没有腾讯云向量数据库之前,处理会比较慢,因为不是一个并发的任务,必须只能单线程序去做。第二块像数据导入、数据批量更新,速度也快了很多。”

“通过全过程的介入,不仅解决企业有的问题,更保证了向量数据库使用的效果”,邹鹏这样总结一站式的优势。

技术实用性大于路径选择

尽管向量数据库发展仍在很早期,落地过程仍有很多问题,离大规模复制也很远,但腾讯云做了更深层次的思考,将其摆在了战略发展地位。

罗云表示:“从编程语言到自然语言,大模型重塑了算力调度方式。而AGI时代,也需要智能化的数据调度范式,AGI时代的数据平台,向量数据库就是数据的中枢,腾讯云向量数据库希望成为这个数据中枢,通过企业级和智能化的能力助力各行各业一起走向AGI。”

相对应地,OpenAI开发者大会引入了Assistants的新概念,取消了一部分纯向量数据库的应用,再次强化了RAG的路线。

无论是向量数据库、微调、RAG,任何一种技术路径想要成为主流,多数情况下并不在于纯技术能力有多强,而是在于最后有多少人在使用它。毕竟,场景才是技术最锋利的磨刀石。

不过,在具体使用过程中,向量数据库作为一个相对新的数据使用范式,也存在很多问题:成本高昂、标准不统一等。

既然有战略决心,想要在向量数据库方面布局,腾讯也下了不少功夫解决实际问题。

在价格方面,相比于国外微软等公司从向量化环节就按美分收费,腾讯云凭一己之力就将整体企业使用成本打了下来;时间效率方面,腾讯云实现了企业数据接入的一体化,从文本切分、向量化到导入,效率提升了10倍。

另外,腾讯云也在利用大厂的影响力,让更多的企业用好向量数据库。据悉,目前腾讯云向量数据库已经累积服务了腾讯内部40多个业务,日请求量达1600亿次,服务了包括博世、销售易、搜狐、好未来、链家等在内的超过1000家外部客户。

例如,在SaaS领域,帮助企业客户快速构建私域知识库、智能客服系统;在电商行业,使用向量数据库来提升推荐、搜索、广告业务的推荐效果;在出行行业,使用向量数据库来加速自动驾驶模型训练,此外,在教育行业以及文创等行业也有广泛应用。

销售易表示:“未来,基于与腾讯云向量数据库的合作,将重塑现有的一些核心场景,如销售管理系统上的内部知识检索,还有潜在客户的推荐和建日程、订单或查询CRM系统,搭建客户机器人和智能工单系统。后续,还想把PaaS平台通过智能的方式去帮助企业按需生成应用平台。”

大模型+向量数据库,将为AGI 时代的应用落地铺设一条数据的高速公路。

LEAVE A REPLY

Please enter your comment!
Please enter your name here

热门新闻

狗狗币市值短暂超过西南航空公司

据u.today消息,狗狗币(DOGE)的市值在本周飙升了300%之后,短暂地超过了全球最大的低成本航空公司西南航空的市...

彭博社:预测比特币今年将上涨至40万美元

比特币的涨幅与2013年的约55倍和2017年的约15倍相似。

知名投行摩根士丹利为何选择新增比特币敞口?

12只摩根士丹利的投资基金将在比特币金融产品中配置资金以获得风险敞口

一文读懂元宇宙、NFT 和 GameFi 的关系

GameFi 改变了现实传统游戏中多方各自为阵的割裂模式
spot_img