输入一个热词,快速查看术语含义、常见场景和相关概念。
集中展示常见热词解释,方便按概念和场景继续浏览。
推理网关是位于AI模型与客户端之间的中间层,负责请求路由、负载均衡、缓存、模型切换与监控,帮助降低延迟、提升吞吐量,是规模化部署推理服务的核心组件。
近期常被查询的 AI 概念。