vlms 开源项目推荐（140 个）

yzhao062 /anomaly-detection-resources

异常检测相关书籍、论文、视频和工具箱。LLM和VLM作品的最后更新于2025年底！

NanoNets /docext

一个本地部署、无需 OCR 的非结构化数据提取、Markdown 转换与基准测试工具包。（https://idp-leaderboard.org/）

yueliu1999 /Awesome-Jailbreak-on-LLMs

Awesome-Jailbreak-on-LLMs is a collection of state-of-the-art, novel, exciting jailbreak methods on LLMs. It contains papers, codes, datasets, evaluations, and analyses.

intel /auto-round

一种面向高精度低比特 LLM 推理的 SOTA 量化算法，无缝优化 CPU/XPU/CUDA，支持多种数据类型，并完全兼容 vLLM、SGLang 和 Transformers。

allenv0 /SCM

macOS 上的多模态视觉记忆搜索

JIA-Lab-research /VisionZip

VisionZip（CVPR 2025）的官方仓库

facebookresearch /VLM3

[NeurIPS 2026] 论文 “VLM³: Vision Language Models Are Native 3D Learners” 的官方实现。

tianyi-lab /HallusionBench

[CVPR'24] HallusionBench：你看到的是你所想的吗？还是你想的是你所看到的？一个对 GPT-4V(ision)、LLaVA-1.5 及其他多模态模型构成挑战的图像-上下文推理基准

cequence-io /openai-scala-client

用于 OpenAI API 及其他主流 LLM 提供商的 Scala 客户端

TUM-AVS /FM-AD-Survey

[综述论文] 本仓库收集用于自动驾驶场景生成与分析的大型基础模型研究论文。仓库将持续更新，以跟踪最新进展。

tencent-ailab /Penguin-VL

Penguin-VL：使用基于 LLM 的视觉编码器探索 VLM 的效率极限 [技术报告]

Beckschen /ViTamin

[CVPR 2024] “ViTamin: Designing Scalable Vision Models in the Vision-language Era” 的官方实现

bevaya /GutenOCR

用于训练和评估面向 OCR 的视觉语言模型的开源工具

InternScience /OmniCaptioner

OmniCaptioner 的官方仓库

MCG-NJU /AWT

[NeurIPS 2024] AWT：通过增强、加权和传输来迁移视觉语言模型

aim-uofa /SegAgent

[CVPR2025] SegAgent：通过模仿人类标注者轨迹探索 MLLM 的像素理解能力

dimitrismallis /CAD-Assistant

我们 ICCV 2025 论文 “CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers” 的代码。

mbzuai-oryx /KITAB-Bench

[ACL 2025] 面向阿拉伯语 OCR 与文档理解的综合多领域基准

thubZ09 /vision-language-model-research

供探索 VLM 与多模态学习的研究者使用的中心 :)

foundation-multimodal-models /CAL

[NeurIPS'24] “Seeing the Image: Prioritizing Visual Correlation by Contrastive Alignment” 的官方 PyTorch 实现