大模型推理基本概念#
大模型推理引擎相关技术主要包括vLLM、SG-Lang、Mooncake等。这些引擎通过优化内存管理、计算效率和并行计算能力，提升了大模型的推理速度和吞吐量。重点以 vLLM 作为例子，深入地介绍大模型推理框架的底层细节和逻辑架构。
内容大纲#
PPT和字幕需要到 Github 下载，网页课程版链接会失效哦~建议优先下载 PDF 版本，PPT 版本会因为字体缺失等原因导致版本很丑哦~
备注#
文字课程开源在 AISys，系列视频托管B 站和油管，PPT 开源在github，欢迎取用！！！
非常希望您也参与到这个开源课程中，B 站给 ZOMI 留言哦！
欢迎大家使用的过程中发现 bug 或者勘误直接提交代码 PR 到开源社区哦！
请大家尊重开源和 ZOMI 的努力，引用 PPT 的内容请规范转载标明出处哦！