伴随着人工智能技术的迅猛发展，生成式ai技术正以gpt、copilot和ai agent等为代表快速迭代。特别是ai agent，凭借其面对目标的能力、更全面的自我驱动特性，以及更高的自主性和智能水平，逐渐在当前市场上崭露头角。虽然目前ai agent市场仍处于萌芽期，产品和服务模式尚在积极探索中，但业界普遍认为它将迎来商业应用的爆发，一个全新的产业生态正在孕育中。
vanus ceo详解大模型中间件的关键角色：破解数据挑战，实现业务增长
北京灵奥科技(“vanus”)正是在这一赛道中的黑马。作为一家快速成长的初创企业，vanus致力于推动生成式ai技术的普及，助力企业商业成功。vanus提供了构建ai agent的saas平台，并推出了vanus connect、vanus ai和vanchat三款saas产品，累计服务全球30,000多家用户。凭借其技术和市场优势，vanus已获得靖亚资本、pnp等机构的多轮融资，正为打造全新产业生态贡献力量。
北京灵奥科技(vanus)ceo 厉启鹏
在近日举办的2024亚马逊云科技生成式ai时代的数据基座媒体沟通会上，北京灵奥科技(vanus)ceo 厉启鹏指出，目前数据问题是企业在大模型应用落地中面临的核心挑战之一。
厉启鹏提到的数据问题主要表现为四个方面：首先，模型需要深入理解企业多样化的业务数据，但数据类型繁多、格式杂乱且来源各异;其次，企业业务数据会随着运营实时变化，模型必须不断学习和适应持续变化的多来源的业务信息;第三，数据隐私和大模型使用的安全合规是企业业务不能触碰的红线，企业需要在确保模型充分理解数据的同时，保证合规和安全;最后，数据偏见和公平性问题也值得关注，由于不同大模型的训练数据来源不同，侧重点各异，导致模型可能存在偏见。因此，企业必须评估不同模型的能力，并为特定业务场景选择合适的模型，以确保模型在数据应用中的准确性和公平性。
厉启鹏表示，vanus通过其大模型中间件帮助企业解决数据问题，实现大模型优势与业务数据的无缝融合。作为连接大模型与实际应用的必备组件，大模型中间件填补了企业端大模型应用落地的“最后一公里”。在神经网络层，vanus connect能够连接企业的多种数据源，实时感知企业业务事件的变化，并将信息传递给神经中枢，然后根据神经中枢的指令执行任务。在神经中枢层，vanus ai结合知识库(向量数据库)与大模型，帮助企业实现高效的业务决策。
vanus的大模型中间件无缝整合了大模型的优势和企业数据，提供了包括claude 3在内的多模型选择，实现商品数据的自动同步与更新，以及shopify数据的无缝接入。同时，它还可以与网站、钉钉、飞书、企业微信等第三方应用无缝集成，助力企业灵活定制机器人，自定义聊天风格、欢迎词和外观颜色等。
例如，vanchat是基于vanus ai专门为shopify店主打造的销售类ai agent，它既是店铺的销售机器人，又是消费者的ai购物助手。通过vanchat，电商企业能够将网站访客更有效地转化为付费用户，实现业务增长。
vanus与亚马逊云科技合作的深层价值：稳健的云服务助力ai产品创新
当被问及与亚马逊云科技的合作关系时，厉启鹏阐述了选择这家全球领先的云服务提供商的原因。亚马逊云科技使用简单、功能强大的云服务是双方合作的基础。vanus绝大部分的技术问题都能在亚马逊云科技找到凯发k8国际首页登录的解决方案和相关的云产品，这些产品不仅提升了性能，增强了系统的稳定性，还为vanus提供了坚实的技术支撑。
此外，亚马逊云科技还提供全方位的技术服务，如技术方案和架构师等，加速vanus的产品落地。他补充说：“我认为亚马逊云科技是最值得信赖的云服务提供商，具有非常强大的运营经验，帮助我们更好地服务分布在不同区域、不同国家的客户。”
此外，厉启鹏还提到了通过亚马逊云科技凯发k8国际首页登录的合作伙伴网络(apn)获得的支持。“我们从成立之初就加入了apn，作为一家初创企业，我们受益良多。它不仅推荐客户和凯发k8国际首页登录的合作伙伴等资源，还进行技术赋能，加速了我们的生成式ai产品进入市场的步伐。例如博商出海就是亚马逊云科技帮助连接的重要凯发k8国际首页登录的合作伙伴”他进一步强调：“vanus整个平台都是基于亚马逊云科技构建的，帮助我们构建了一个稳定而强健的数据基座，让我们能够轻松应对用户业务的不确定性，促进了公司的快速成长和产品的创新发展。”
据悉利用亚马逊云科技的基础云服务、大语言模型、数据存储三类云服务，vanus为企业构建ai agent平台，现已服务全球数万家用户。
亚马逊云科技提供四大显著优势：助力vanus实现高效、稳定的ai服务
厉启鹏认为，亚马逊云科技为vanus提供了四个显著的优势，涵盖了弹性可扩展、系统可用性强、回复低延迟和推理能力强四个方面：
1)弹性可扩展：利用amazon elastic kubernetes service(amazon eks)基于网络流量的弹性扩展能力，vanus ai构建的agent可以根据用户业务流量平滑地弹性伸缩。通过这项服务，企业可将平均成本降低30%，性价比提高20%。
2)提高系统可用性：通过amazon documentdb原生的3可用区、6副本的设计，大幅提升了系统的可用性和可靠性，确保服务等级协议(sla)达到不低于99.99%的正常运行时间。
3)降低回复延时：借助amazon simple storage service(amazon s3)和数据库高并发数据查询能力，加快大模型上下文的加载时间。同时借助亚马逊云科技全球网络节点的加速能力，使得agent回复系统的延时整体降低了40%。
4)推理能力强：通过amazon bedrock提供的claude模型，vanus平台的ai agent拥有卓越的语言理解和逻辑推理能力，使其具备强大的推理和解决问题的能力。
双方合作提供定制化ai方案 显著提升企业客服效率与销售业绩
这些显著优势为vanus平台提供了稳固的基础，使其能够借助强大的云服务为各行业客户提供定制化的ai凯发k8国际首页登录的解决方案。会上，厉启鹏详细介绍了公司通过生成式ai技术，帮助客户显著提升客服效率和销售业绩的实践案例。
vanus ai与国内某erp企业合作，为其客服团队打造了ai copilot，成功解决了跨部门知识共享和客服效率低下等难题。该erp企业拥有大量的内部数据，但不同部门之间共享知识的效率较低，导致客服培训耗时较长。此外，传统的搜索方式使得客服获取信息的响应时间长，导致用户投诉率较高。
为助力客户解决这些问题，vanus借助amazon s3、数据库等云服务，帮助用户从文档、数据库、saas软件等多个数据源中实时抽取数据，构建统一的企业知识库。通过整合amazon bedrock等服务，vanus为该企业的客服团队打造了ai copilot，使其能够基于全域业务数据进行实时推理，并在秒级时间内为客服人员提供回复建议。通过该方案，erp公司客服团队将回复时间从分钟级缩短至秒级，将人效提高了70%，大幅降低了客服的投入成本。
vanchat为南美洲一家服饰类电商企业提供了高效服务，显著提升了客户满意度和销售额。该企业拥有两个shopify独立站，管理着超过1万个sku。每天都有大量关于产品、退换货和物流的问题需要处理，这对客服团队提出了巨大挑战，导致管理成本居高不下。更糟糕的是，在客服人员下班后，客户咨询依旧频繁，回复延迟不仅降低了客户满意度，还错失了很多商机。
借助amazon bedrock、amazon s3等云服务，vanus为shopify电商客户构建的客服类agent vanchat为这家电商的购物者提供7*24小时全天候的即时问题回复服务，不仅节省了大量的人力资源，提高了客户满意度，还通过vanchat提供的用户意图识别和产品推荐等功能，加速用户购买，大幅提高了网站销售额。上线首月，vanchat的投资回报率就高达611%。值得一提的是，vanchat还可为企业提供客户洞察，了解用户关注的产品偏好和近期常见问题，助力企业制定更具针对性的营销策略。
展望未来
在大模型技术的持续探索方面，厉启鹏提到vanus计划进一步尝试embedding模型与agent的结合，以实现更精准的推荐服务。厉启鹏强调了数据预处理和zero-etl技术在提高ai agent响应质量方面的关键作用。他期待这项技术的深入应用能够显著改善用户数据质量，从而提升ai的表现，为客户带来更好的服务体验。
同时，厉启鹏展望了未来与亚马逊云科技的合作方向，他提到将继续深化对claude系列产品的使用，将其应用于提升技术服务、用户偏好提取等领域，为客户打造具备业务洞察和定制化能力的ai agent。他对与亚马逊云科技的合作充满信心，认为这将助力vanus为各行各业的客户提供更智能、更具个性化的ai凯发k8国际首页登录的解决方案，推动双方在生成式ai领域取得更大的突破，携手迎接数字化、智能化时代的新机遇。