但在使用genai回答有关数据的问题之前，重要的是首先评估所提出的问题。
这是miso.ai的首席执行官兼联合创始人lucky gunasekara对当今开发genai工具的团队的建议。
出于对miso.ai的产品smart answers如何展现其洞察力的兴趣，我要求gunasekara更深入地讨论miso.ai理解和回答用户问题的方法。
大型语言模型“实际上比我们想象的要幼稚得多”，gunasekara说，例如，如果被问到一个有强烈观点的问题，大语言模型很可能会去寻找证实这个观点的精挑细选的数据，即使现有的数据表明这个观点是错误的。因此，如果被问到“为什么项目x失败了？”，大语言模型可能会列出一个项目失败的原因清单——即使它是成功的，而这不是你想要的一个面向公众的应用程序所做的事情。
gunasekara指出，在所谓的rag（检索增强生成）应用程序中，评估问题是一个典型的遗漏步骤，rag应用程序将大语言模型指向特定的数据体，并告诉它仅根据该数据回答问题。
这类应用程序通常遵循以下(稍微简化的)设置模式：
1.将现有数据拆分成块，因为所有数据都太大，无法放入单个大语言模型查询中。
2.为每个块生成所谓的嵌入，将该块的语义表示为一串数字，并存储它们，在数据更改时根据需要进行更新。
然后是每一个问题：
1.生成嵌入。
2.使用基于嵌入的计算，找出在含义上与问题最相似的文本块。
3.将用户的问题输入大语言模型，并告诉它只根据最相关的块来回答。
这就是gunasekara的团队采取不同方法的地方，他们增加了一个步骤，在搜索相关信息之前检查问题。“我们不会直接问这个问题，而是首先问这个假设是否正确”， miso的首席技术官兼联合创始人andy hsieh解释说。
除了检查问题中固有的假设外，还有其他方法来加强基本的rag管道，以帮助改进结果。gunasekara建议超越基础，特别是在从实验阶段转向值得生产的凯发k8国际首页登录的解决方案时。
gunasekara说：“有很多人强调‘建立一个矢量数据库，做一个rag设置，一切都会开箱即用’，这是一种很好的概念验证方式，但如果你需要做一项不会产生意想不到的后果的企业级服务，那永远是上下文、上下文、上下文”。
这可能意味着除了使用文本的语义之外，还可以使用其他信号，如新近和流行。gunasekara指出了miso正在与一个烹饪网站合作的另一个项目，该项目解构了这个问题：“派对上最好的烘焙蛋糕是什么？”
他说，你需要区分出你真正需要什么信号来进行查询。“make-advance”蛋糕的意思是不需要马上端上，“for a party”的意思是它需要为不止几个人服务，还有一个问题是，大语言模型如何确定哪些食谱是“最好的”，这可能意味着使用其他网站数据，比如哪些食谱拥有最高的流量、最高的读者排名，或者被授予编辑的选择——所有这些都与查找和汇总相关文本块分开。
gunasekara说：“把这些事情做好的许多窍门更多地体现在这些背景线索中”。
虽然大语言模型的质量是另一个重要因素，但miso认为没有必要使用最高评级和最昂贵的商业大语言模型，相反，miso正在为一些客户项目微调基于llama 2的模型，这在一定程度上是为了降低成本，也是因为一些客户不希望他们的数据泄露给第三方，miso之所以这么做，也是因为gunasekara所说的“开源大语言模型现在正在涌现一股巨大的力量”。
“开源真的在迎头赶上”，hsieh补充道，“开源模型非常可能会超越gpt-4”。
企业网d1net(www.d1net.com)：
国内主流的to b it门户，同时在运营国内最大的甲方cio专家库和智力输出及社交平台-信众智(www.cioall.com)。同时运营19个it行业公众号(微信搜索d1net即可关注)。
凯发k8国际首页登录的版权声明：本文为企业网d1net编译，转载需在文章开头注明出处为：企业网d1net，如果不注明出处，企业网d1net将保留追究其法律责任的权利。