Session

深入解析 vLLM 的Structured Output 和 Tool Calling

随着AI越来越深入到各个行业,使用越来越广泛。 对大模型的输出提出了更高的要求,不只需要输出 纯文本,更需要输出更加通用的格式,例如 JSON,XML , 等 目前vLLM 支持 让大模型的输出满足一些格式标准,例如 JSON Schema. 这次分享的内容主要给参会者分享如何使用 vLLM 的Structured Output 和 Tool Calling,以及这些功能是如何实现的,让参与者对大模型能有更近一步的经验。

XingYan Jiang

DaoCloud, Software Engineer, Cloud Native Enthusiast

Actions

Please note that Sessionize is not responsible for the accuracy or validity of the data provided by speakers. If you suspect this profile to be fake or spam, please let us know.

Jump to top