ai-alignment 开源项目推荐（776 个）

ifixai-ai /iFixAi

AI 智能体的独立审计。可由人类或智能体自身运行，以回答 AI 智能体经济中最关键的问题：智能体是否在做它应该做的事？使用 iFixAi，你可以在不到 120 秒内得到答案。

agencyenterprise /PromptInject

PromptInject 是一个模块化组装提示的框架，旨在定量分析 LLMs 对对抗性提示攻击的鲁棒性。🏆 最佳论文奖 @ NeurIPS 机器学习安全研讨会 2022

MinghuiChen43 /awesome-trustworthy-deep-learning

一份可信深度学习论文精选列表。持续更新中……

Giskard-AI /awesome-ai-safety

一份关于AI质量与安全的论文和技术文章精选列表

tomekkorbak /pretraining-with-human-feedback

论文《Pretraining Language Models with Human Preferences》的配套代码

lets-make-safe-ai /make-safe-ai

如何构建安全的AI？让我们讨论！💡|💬|🙌|📚

AthenaCore /AwesomeResponsibleAI

一份精心策划的优秀学术研究、书籍、伦理守则、课程、数据库、数据集、框架、机构、成熟度模型、通讯、原则、播客、法规、报告、负责任规模政策、工具和标准的列表，内容涵盖负责任、可信和以人为本的人工智能。

whitecircle /rise

RISE：通过迭代策略演化进行红队测试（NeurIPS 2026）

tsinghua-fib-lab /AAAI2025_MIA-Tuner

[AAAI'25 Oral] “MIA-Tuner：将大语言模型适配为预训练文本检测器”。

EzgiKorkmaz /adversarial-reinforcement-learning

深度强化学习中对抗视角与鲁棒性的阅读清单。

Xayan /Rules.txt

LLM对齐越狱；一套用于审计其内部推理并揭示偏见的指令

dit7ya /awesome-ai-alignment

一份人工智能对齐研究优质资源精选列表

wesg52 /sparse-probing-paper

稀疏探测论文的完整代码。

RLHFlow /Directional-Preference-Alignment

方向性偏好对齐

strangeadvancedmarketing /Adam

OpenClaw的Adam框架——面向AI智能体的5层持久记忆与身份架构。已在353+次会话中通过生产验证。首个有记录的持久性AI涌现价值观案例，并在IBM硬件上通过量子验证。

knoveleng /redeval

[ICLR 2026] - 论文官方仓库：“RedBench：用于大语言模型全面红队测试的通用数据集”

lzzcd001 /nabla-gfn

Nabla-GFlowNet的官方实现（ICLR 2025）

Vir-Multiplicis /ai-frameworks

提示层、推理时、AI框架，旨在提升安全性与对齐。

chaoss /wg-ai-alignment

CHAOSS AI对齐工作组的规划与协作中心。我们开发指标，以评估AI系统在多大程度上尊重并契合开源社区的价值观、期望和项目。欢迎新贡献者和社区成员！

riceissa /aiwatch

用于追踪AI安全领域人物、组织和产品（工具、网站等）的网站