相关仓库
了解如何设计大型系统。准备系统设计面试。 包括Anki抽认卡。
NVIDIA/TensorRT-LLM
仓库概览、指标与主题
关于
TensorRT LLM为用户提供易于使用的Python API来定义大型语言模型（LLM），并支持最先进的优化，以在NVIDIA图形处理器上高效执行推理。TensorRT LLM还包含用于创建Python和C++运行时的组件，这些运行时以高性能的方式编排推理执行。
简要分析
热度分
19191
价值分
9178
活跃状态
活跃
主题数量
5
语言Python
默认分支main
大小1.9 GB
更新7月10日
编辑推荐
社区关注度与协作度较高，适合实践与生产使用。
语言占比
C
C++
CMake
Cuda
Groovy
JavaScript
Jinja
Makefile
Python
Shell
Release
- v1.3.0rc292 周前
- v1.3.0rc283 周前
- v1.3.0rc274 周前
- v1.3.0rc269月9日
- v1.3.0rc258月31日
评论