vLLM

专栏简介

最近在尝试benchmark vLLM中一些算子的性能的时候发现自己之前对vLLM的架构理解还不够深，搜集了网上很多关于vLLM的资料，发现普遍比较粗粒度，于是想通过这个专栏来系统整理一下vLLM的流程。

专栏会覆盖以下内容：

vLLM整体架构
v1引擎vLLMEngine初始化以及工作流梳理
v0与v1核心区别对比
vLLM核心参数及作用
torch自带benchmark工具梳理

希望对大家理解vLLM也有帮助。

专栏目录

评论