Silvia团队刚刚宣布了我们最新的工程进展。 每个企业都希望以尽可能低的成本获得最高级别的情报。LLM的兴起使智能变得丰富，但美国初创公司和企业最困难的问题之一是预测与这种智能相关的计算成本。 在我们创建@cfosilvia的过程中，我一直在亲自处理这个问题，这个问题几乎出现在我与首席执行官、创始人和高管的每一次谈话中。 大约18个月前，每家企业都接受了人工智能，在计算账单开始出现之前，一切似乎都很好。内部计算使用的账单很难接受，但如果你有一个允许用户无限消费计算的人工智能产品，事情就会变得令人震惊。 我非常了解这个问题，因为这就是Silvia所处的情况。每个被问到的问题都意味着我们公司的计算成本更高。但我们不想限制使用，因为用户从产品中获得了真正的价值。 这一挑战让我们的团队陷入了削减成本的困境，同时改善了用户的体验。第二部分非常重要：我们不想通过简单地剥夺对最高质量模型的访问来降低用户体验。 值得庆幸的是，资源限制孕育了创新。我们不是最大的公司，也没有最大的资产负债表，但我们提出了一个非常新颖的解决方案，我们今天宣布。 Silvia工程团队构建了一个模型路由器，该路由器将成本降低了29%，降低了延迟，并提高了用户的答案质量。Trifecta！ 我们这样做的方式是读取查询的前500个字符，然后预测模型回答查询所需的工作量。最高的努力需求被分配给最强大的模型。最低的工作量需求被路由到不同的、更好的查询模型。 一个很好的例子是“几号了？”你不需要使用最新的Anthropic模型来回答这个问题。事实上，向最强大的模型发送这样一个简单的查询会使您的计算成本增加，实际上会增加延迟，这意味着Silvia用户的用户体验会更差。 通过实施模型路由器，用户可以获得更好的体验，我们也可以降低成本。双赢。 该实现的一个有趣方面是，我们的模型路由器在CPU上运行，而不是在GPU上运行。这使我们能够在不到1毫秒的时间内读取查询并预测所需的工作量。这种CPU实现是延迟不受影响的原因，也不会因任何潜在的额外GPU消耗而显著增加成本。 另一个重要的一点是，你们中的许多人可能已经看到了OpenRouter被Stripe以约70亿美元收购的消息。这是一个非常聪明、有能力的团队取得的巨大成果。他们的模型路由API是相关的（他们的产品和我们的内部实现都接触模型路由），但你应该认为OpenRouter可以为公司做模型路由，而Silvia的模型路由器是一个定制的智能系统，专门将Silvia查询路由到正确的模型。 它们为许多公司提供了模型路由的功能，而我们的内部产品则针对我们的用例做出了真正的决策。 最后，我们对模型路由器的实现是一个战略赌注，它将使我们随着时间的推移变得与模型无关。我们不在乎谁创建了不同的模型，我们只想将查询路由到最适合回答的模型。大型模型实验室永远不会允许他们的用户与模型无关，但这将要求实验室可能将查询路由到竞争对手的模型。他们眼中没有蓝色。 相反，Silvia作为一个独立的人工智能研究实验室，赋予了我们不可知论的力量。我们只是希望为用户提供最佳体验。上周，我们宣布Silvia现在是市场上最准确的人工智能税收产品，包括击败OpenAI、Anthropic、谷歌和xAI。今天，我们宣布推出一款定制的内部型号路由器，可与其他人建造的最佳技术相媲美。 将会有更多的工程公告。我真的相信我们已经组建了最好的人工智能团队之一，我们目前是金融领域最好的人工智慧研究实验室。如果你有兴趣了解更多关于型号路由器的技术细节，你可以在这里阅读工程博客文章：https://www.cfosilvia.com/ai-lab/自适应模型路由 每个人都想要最好的情报和最低的成本。西尔维娅刚刚向世界展示了这种追求的可能性。我预计许多其他公司将构建这种定制解决方案来实现同样的好处。