anime-face-detector

拆解 hysts/anime-face-detector：把二次元人脸的关键点与姿态一次解决

项目背景与痛点

真人的人脸检测与关键点早已被工业级流水线压到白菜价：MTCNN、RetinaFace、SCRFD、MediaPipe FaceMesh 随便挑一个都能跑。但把这套东西直接套到动漫脸上，你会发现到处都是问题。

COCO 上预训练的人脸模型对二次元图像的 recall 断崖式下跌。根本原因是动漫人脸的域分布差异极端：五官被简化为几条线、缺少鼻梁阴影和皮肤纹理、眼睛占比大得离谱、侧脸和俯仰角度在插画里可以任意夸张、还有大量被头发遮挡或半透明的处理。更致命的是关键点定义不同——真人 68 点标准里的轮廓点、眉毛细分点在二次元里根本不存在，你需要一套贴合绘画习惯的自定义点位。

anime-face-detector 要填的正是这个缺口：检测框 + 关键点 + 头部姿态，三件套一起用一份权重给出，并且建立在 mmdetection / mmpose 生态之上，不是另起炉灶的私有实现。

核心技术揭秘

它不是单一网络端到端训练，而是一条级联流水线：检测器先把脸抠出来，关键点模型在归一化后的局部图上回归点位，姿态模型再把点位（以及局部图像）映射成旋转矩阵。这种解耦设计的好处很直接——每一段都能独立替换、独立评估、独立降级。

检测侧用的是 Faster R-CNN + ResNet50-FPN 的 mmdet 配置，作者在自建并标注的动漫人脸数据上重训，避开了 COCO 人脸预训练权重的域偏移。关键点侧是 HRNet-W18，输入固定 256×256。HRNet 的高分辨率分支保留对细线的响应能力，对"眼睛只有几像素高"的动漫图像尤其重要。

推理时的工程细节值得注意：多张脸不是逐张喂网络，而是统一做正方形 padding、resize 之后拼成一个 batch 送进关键点模型，这是把 GPU 利用率拉起来的关键。整个流程的数据流如下：

姿态这一段是全项目最容易出问题的地方。真人方案常用 PnP 求解，前提是有一组 3D 人脸模型点与相机内参；二次元角色的脸型、瞳距、头身比高度风格化，PnP 误差会被放大。项目选择走直接回归旋转表示的路线（沿用了 6DRepNet 这类工作的思路），用关键点局部图预测 6D 旋转表示再正交化，绕开了"先验 3D 模型不存在"的困境。

功能亮点与差异

第一，任务覆盖度是碾压性的。老牌的 lbpcascade_animeface（OpenCV Haar 级联）只给你一个框，侧脸和遮挡直接崩；一堆 YOLO 移植版也只解决检测。这个项目一次返回框、28 点、姿态，等于把下游的 Live2D 绑定、表情驱动所需的输入全备齐了。

第二，和生态同构。权重是标准 mmdet / mmpose checkpoint，配置文件是标准 config，你要换更强的检测骨干、想剪枝量化，路径是通的，不用去逆向一套黑盒。

第三，可读性与可调试性。detect() 返回结构化结果，visualize() 直接画出来，视觉验证成本极低——做算法的都懂，能一眼看出关键点跑偏在哪，比对着 loss 曲线猜半个月有用得多。

应用场景与落地建议

最贴合的场景是虚拟主播与角色驱动：从插画或视频帧里提取关键点，驱动 Live2D / 3D 模型做头部朝向与表情。其次是二次元素材的自动化处理——头像自动裁切对齐、表情标签生成、手办与周边的 AR 试戴。内容审核方向也可以用它做人脸区域定位和朝向判定。

生产环境落地，有几件事必须先想清楚：

• 依赖栈老旧。它绑定 mmdet 2.x / mmcv 1.x 的 API，和你新项目里的 PyTorch 2.x 环境大概率打架。建议单独容器化，或者把两个模型导出成 ONNX / TensorRT 后再接入主服务，别试图在同一环境里缝合。
• 姿态结果的稳定性要加保护。极端侧脸、被头发遮住半张脸时，旋转矩阵可能给出突变值。工程上加个时序平滑（EMA、One-Euro filter）比优化模型本身见效快。
• 阈值按场景调。检测分 0.7 以上适合高精度裁切，做召回优先的候选筛选可以压到 0.5，再交给下游二次判定。
• 输入分辨率不要盲目放大。长边限制在 1024–1333 附近，关键点模型固定 256 输入，喂更大的图只是白烧显存。
• 权重走 Google Drive 下载，国内环境要预留代理或内网镜像方案，否则 CI 会卡在第一步。

综合评价

优点：三任务一体、结果结构化、基于成熟生态、MIT 许可宽松、可直接跑通 CPU 推理。在"二次元人脸关键点"这个细分里，它长期是少数几个开箱即用的靠谱选择。

缺点：只放了推理与配置，训练脚本与完整标注流程不开源，想在自己的画风数据上微调会比较折腾；28 点定义和主流 68 点生态不兼容，接入现成的人脸管线需要一层映射；依赖版本陈旧，安装体验劝退；精度在极端角度和被遮挡场景仍有明显退化。

一句话结论：它不是学术上最先进的方案，但很可能是你明天就要上线时，最省事的那一个。 用容器隔离依赖、导出 ONNX 进主链路、给姿态加平滑，这套组合拳打下来，它足够撑起一条二次元视觉产品线。