Turning Opportunistic AI Inference Capacity Into Better Ads Recommendations

本文为原文前 6,000 字符的节选翻译，完整内容请查看原文。

Turning Opportunistic AI Inference Capacity Into Better Ads Recommendations

在 Meta，我们构建了一个系统，通过利用机群中的闲置推理能力来增强广告推荐。系统中的两个弹性杠杆允许广告推荐工作在机会性容量上扩展，且不会影响基准性能。本文介绍了我们如何在 Meta 的规模下设计和运营该系统，以及它如何推动显著的广告商价值和容量效率。推理机群面临着一个容量悖论：它们可能在全局上受到限制，但局部仍有大量闲置容量。在 Meta，我们构建了一个系统，将这些零散的容量汇聚成一个共享的机会性容量池，并将其转化为更好的广告推荐。通过利用这些原本闲置的容量，该系统帮助用户看到更相关的广告，并改善了广告商的成果，而无需额外的容量订单。

安全地使用这种机会性容量非常困难。它分布在团队拥有的容量分配、区域和加速器类型中，并且可能在几乎没有通知的情况下被收回。因此，广告推理系统必须随着容量供应的变化调整工作负载，而不能使服务于基准工作负载的专用容量过载。我们通过两个互补的弹性杠杆来应对这一挑战。Rank More Ads (RMA) 调整排序阶段评估的候选广告数量。Serve Better Models (SBM) 调整路由到更强大模型的请求份额。物理和逻辑隔离保护了为基准服务预留的容量。独立的反馈循环控制 RMA 候选数量和 SBM 模型覆盖范围，而服务器和客户端的价值感知负载削减允许系统在容量突然被收回时优雅地降级。总之，这些机制允许可选工作随机会性容量的增减而扩展和收缩，同时保护了延迟和可靠性。

The Inference Capacity Paradox: Globally Constrained, but Locally Idle

推理机群必须保持足够的容量，以在严格的延迟和可靠性目标下满足需求。然而，需求和容量很少能在时间、区域、资源组合和加速器类型之间完美匹配。因此，即使在整个机群受到限制时，机群的部分区域仍可能保持闲置。常见原因包括：峰值配置与需求变化的错配：推理机群必须为峰值需求进行配置，而流量会随时间和季节变化。因此，在需求较低时，高峰期所需的容量可能会暂时闲置。模型开发与容量交付的时间错配：推理容量按供应链时间表到达，而模型的开发和发布则有各自的时间表。这造成了容量可用与模型准备好使用它之间的时间差。区域资源比例错配：推理工作负载既需要加速器，也需要 CPU 等配套资源。当这些资源无法按所需比例提供时，一种资源可能会闲置，而另一种资源则限制了服务能力。加速器类型错配：推理机群可能跨越多个加速器供应商、代际和架构。工作负载并不总是能在这些加速器类型之间移植，这可能导致容量被困在无法立即服务现有需求的硬件上。这些错配造成了行业范围内的推理容量悖论：机群可能在全局上受到限制，而局部仍有大量闲置容量。在 Meta 的规模下，这些临时闲置的容量加起来可能代表着巨大的容量，如果使用得当，可以创造更好的广告推荐。

From Fragmented Reservations to a Shared Opportunistic Capacity Pool

在 Meta 规模的异构机群中，瞬时的闲置推理容量是不可避免的——即使有旨在最大限度减少结构性错配的主动规划。然而，由于这种容量本质上与波动的基准需求挂钩，它带有独特的运营限制——它是可抢占的（可以随时被收回）、可用性高度不稳定，且没有任何长期保证。为了在不损害基准性能的情况下成功消耗这一波动资源，工作负载必须表现出某些结构特性：高度的工作负载弹性：当容量池发生变化时，工作负载可以快速增加或减少大量可选工作，而不会影响基准预期。大规模下的持续质量：工作负载可以在机会性容量池提供的范围内持续显著提高输出质量。由于这一特性，此类工作负载通常已经使用了大量的专用容量。有限的跨服务依赖：自包含的工作负载减少了必须响应波动容量的上游和下游系统的数量。

Two Complementary Elasticity Levers

基于这些结构特性，我们确定了两个符合这些标准的互补杠杆，以消耗这种闲置容量并产生巨大的价值收益。

Rank More Ads (RMA)

对于每个用户请求，广告推荐系统必须在不到一秒的时间内从数百万个候选广告中选择少量广告。该系统使用一系列排序阶段，其中越来越强大的机器学习模型评估越来越小的候选集。后续阶段仅评估前一阶段的顶级候选者。当机会性容量可用时，RMA 会增加排序阶段评估的候选者数量。评估更多的候选者增加了找到与用户相关广告的机会。由于额外的候选者会通过 CPU 密集型的上游（例如检索、特征处理）以及加速器密集型的推理，RMA…