cuda-kernels 开源项目推荐（472 个）

xlite-dev /LeetCUDA

LeetCUDA：面向初学者的现代 CUDA 学习笔记（基于 PyTorch），200+ CUDA 内核、Tensor Cores、HGEMM、FA-2 MMA。

NVIDIA /cuda-samples

面向 CUDA 开发者的示例，展示 CUDA Toolkit 中的功能

InternLM /lmdeploy

LMDeploy 是一个用于压缩、部署和提供 LLM 服务的工具包。

Rust-GPU /rust-cuda

用于完全使用 Rust 编写和执行快速 GPU 代码的库与工具生态系统。

Luce-Org /lucebox

LLM speculative inference server for heterogeneous hardware & consumer GPUs

NVIDIA /cccl

CUDA核心计算库

chelsea0x3b /dfdx

Deep learning in Rust, with shape checked tensors and neural networks

chelsea0x3b /cudarc

CUDA工具包周围的安全铁锈包装

mni-ml /framework

A machine learning library with a TypeScript API and Rust backend. CUDA and WebGPU compatibility. Built to understand how ML frameworks and models work internally.

NVIDIA /cudnn-frontend

cuDNN 前端是 NVIDIA 现代开源的 cuDNN 库入口，以及一个不断增长的高性能开源内核集合。

NVIDIA /nvbench

CUDA Kernel Benchmarking Library

h5i-dev /h5i

An Axum-based Rust web framework for building and verifying web apps with Lean 4, featuring optional GPU acceleration and integrated development infrastructure for red-teaming and CI/CD.

flashrt-project /FlashRT

FlashRT 是一款高性能的实时推理引擎，适用于小批量、延迟敏感的 AI 工作负载。旗舰集成是Pi0、Pi0.5、GROOT N1.6和Pi0-FAST的生产型VLA控制。还支持LLM，例如qwen3.6-27B。

pegainfer-project /pegainfer

纯 Rust + CUDA 的大语言模型推理引擎——无需 PyTorch，兼容 OpenAI，可服务从 Qwen3 到 Kimi-K2 的模型

ornith-ai /CUDA-L2

CUDA-L2: Surpassing cuBLAS Performance for Matrix Multiplication through Reinforcement Learning

KernelTuner /kernel_tuner

Kernel Tuner

harrism /hemi

Simple utilities to enable code reuse and portability between CUDA C/C++ and standard C/C++.

HenryNdubuaku /cuda-tutorials

Comprehensive CUDA tutorials for Maths & ML with examples

jaredhoberock /stanford-cs193g-sp2010

这是 2010 年斯坦福大学 CUDA 编程入门课程所制作材料的存档

UDPSendToFailed /ninfer-4090

NInfer port for Qwen 3.8 27B on RTX 4090