cross-modality 开源项目推荐（41 个）

jina-ai /clip-as-service

使用CLIP可扩展图像和句子的嵌入、推理、排名

zai-org /CogVLM

a state-of-the-art-level open visual language model | 多模态预训练模型

KimMeen /Time-LLM

[ICLR 2024] Official implementation of " 🦙 Time-LLM: Time Series Forecasting by Reprogramming Large Language Models"

hangzhaomit /Sound-of-Pixels

ECCV18《The Sound of Pixels》的代码库

movienet /movienet-tools

用于电影和视频研究的工具

layumi /Image-Text-Embedding

TOMM2020 双路径卷积图像-文本嵌入与实例损失 https://arxiv.org/abs/1711.05535

haofanwang /awesome-conditional-content-generation

用于条件内容生成的更新数据资源，包括人体运动生成、图像或视频生成及编辑。

bismex /Awesome-cross-modality-person-re-identification

跨模态行人重识别精选列表

Event-AHU /EventVOT_Benchmark

[CVPR-2024] 首个高清（HD）基于事件的视觉目标跟踪基准数据集

sail-sg /ptp

[CVPR2023] 《位置引导的文本提示用于视觉-语言预训练》的代码

ZYK100 /LLCM

[CVPR 2023]多样化嵌入扩展网络与低光交叉模态的可见红外人员再识别基准

AnjanDutta /sem-pcyc

PyTorch 实现了论文《零样草图图像检索的语义绑定配对循环一致性》，CVPR 2019。

rhgao /co-separation

视觉对象声音协同分离（ICCV 2019）

WinfredGe /T2S

[IJCAI 2025] 《T2S：基于文本到序列扩散模型的高分辨率时间序列生成》官方实现

AdityaLab /MM4TSA

多模态时间序列分析（MM4TSA）论文与资源专业列表

mangye16 /Visible-Thermal-Person-Re-Identification

可见光-热成像（跨模态）行人重识别演示代码

chenjingong /DN-ReID

[CVPR2024] 昼夜跨域车辆重识别

workingcoder /MCJA

面向 VI-ReID 的新强简单基线方法（弥合差距：可见光-红外行人重识别的多层级跨模态联合对齐）

JDAI-CV /CM-NAS

CM-NAS：面向可见光-红外行人重识别的跨模态神经架构搜索（ICCV2021）

M-3LAB /awesome-multimodal-brain-image-systhesis

该项目在 GitHub 上没有填写描述