Apache License 2.0
AI 技术解读 AI 生成
以下内容由 AI 大模型基于项目 README 与元信息生成，仅供技术选型参考， 具体以项目官方文档为准。
vllm-project/vllm
仓库概览、指标与主题
关于
用于LLM的高吞吐量和内存效率的推理和服务引擎
简要分析
热度分
230424
价值分
71185
活跃状态
活跃
主题数量
20
语言Python
默认分支main
大小295.7 MB
更新3 周前
amdblackwellcudadeepseekdeepseek-v3gptgpt-ossinferencekimillamallmllm-servingmodel-servingmoeopenaipytorchqwenqwen3tputransformer
编辑推荐
社区关注度与协作度较高，适合实践与生产使用。
语言占比
C
C++
CMake
Cuda
Dockerfile
HCL
Jinja
Python
Rust
Shell
评论