pcb9382/FaceAlgorithm：face detection face recognitio

技术解读

以下内容由 GitRead 中文社区编辑团队基于项目 README 与官方资料整理，结合中文开发者的常见使用场景补充技术选型建议。具体以项目官方文档为准。

深度技术分析：GitHub 项目 FaceAlgorithm

项目背景与痛点

在计算机视觉领域，人脸识别技术至关重要。无论是智能监控、移动支付、还是社交平台的个性化推荐，背后都有着人脸识别技术的支撑。面临着如何在各种场景下提高准确性和效率的挑战，"FaceAlgorithm"仓库提供了一整套解决方案，满足多方面的需求。

项目包括人脸检测、跟踪、角度分析、矫正以及活体检测等多项功能，是为了解决这样一个痛点：在实际应用中，单一的人脸检测功能已无法满足复杂的业务环境。需要一个综合性的框架，从多维度提升人脸识别的鲁棒性和准确性。

核心技术揭秘

“FaceAlgorithm” 通过多种技术栈实现，涵盖了从人脸检测到活体检测的多个环节。其采用了前沿的人脸检测模型，结合高速准确的跟踪技术与精细的活体检测算法。

下面是一个简化的数据流示例，展示了该项目的核心流程：

graph TD A[用户请求] --> B("人脸检测") B --> C("人脸检测跟踪") C --> D("人脸角度计算") D --> E("人脸矫正") E --> F("人脸识别") F --> G("口罩检测") G --> H("年龄性别检测") H --> I("静默活体检测") I --> J("FaceAlignment（106 keypoints)")

从用户请求开始，依次经过人脸检测、跟踪、角度计算、矫正、人脸识别、口罩检测、年龄性别检测、活体检测，最终到关键点检测。这种多模块组合的方式，提升了系统的灵活性和准确性。

功能亮点与差异

“FaceAlgorithm” 融合多种核心算法，实现了人脸从检测到关键点定位的全流程覆盖。它不仅基于 RetinaFace、YOLOv5Face 等先进检测器进行人脸检测与跟踪，还特别关注了细节，例如口罩检测对疫情期间的应用场景提供了良好的增强。

其独特之处在于多模型集成，以及高效的跟踪能力。特别是 “Face_Angle” 和 “Face_Aligner” 模型，在不同角度下的准确性和稳定性是其优势所在。同时，诸如 “Silent_Face_Anti_Spoofing” 这样的活体检测算法，确保了系统的安全性。

应用场景与落地建议

“FaceAlgorithm” 适用于多种场景，包括但不限于：

智能安全监控系统：使用其面部检测和跟踪技术，结合活体检测，可以提高系统的防伪水平。
智慧零售解决方案：通过面部识别和行为分析技术，提供个性化推荐和异常行为识别。
金融身份认证：利用活体检测和高精度面部识别功能，提高金融交易的安全性。

在部署过程中需要注意的是，由于涉及大量人脸数据处理，选择合适的硬件配置和优化模型部署方案至关重要。此外，数据隐私和安全问题也是不容忽视的，需要严格遵守相关的法律法规。

综合评价

“FaceAlgorithm” 是一个高度集成的人脸识别与相关技术组合项目，其应用广泛，涵盖了从初步检测到多维度人性化的分析。它的一大优点在于模块化设计使得各个功能之间可以灵活组合和独立升级。但也需注意其复杂性可能导致集成和优化成本较高，因此适合那些在人脸识别技术方面有较高需求和成熟方案的公司使用。

通过详尽的架构分析和功能介绍，我们可以看到，“FaceAlgorithm” 作为一款全面而强大的人脸处理框架，不仅提升了技术应用的价值，而且也为未来的迭代和扩展提供了坚实的基础。

简体中文 | English

如果觉得有用，不妨给个Star⭐️🌟支持一下吧~ 谢谢！

Acknowledgments & Contact

1.WeChat ID: cbp931126

加我微信#(备注：FaceAlgorithm),拉进群(群里超多大佬)

FaceAlgorithm

特性

人脸检测(retinaface,yolov5face,yolov7face,yolov8face),人脸旋转角度计算(俯仰角，偏航角)，人脸矫正，人脸识别，带口罩识别，年龄性别识别，静默活体识别;
所有模型均使用C++和TensorRT加速推理,yolov7face的前后处理使用cuda加速,(其他模型加速优化也可参考);
所有模型使用C++和OnnxRuntime.OpenVINO,NCNN加速推理(TO DO);
构造类似NV Deepstream，支持多种推理框架(TensorRT,OnnxRuntime,OpenVINO,NCNN)，用于多路RTSP拉流+硬解码+Pipeline+推流(TO DO);
根据不同的显卡型号自动生成对应的engine(如果文件夹下有其他显卡适配engine，则删除engine才能重新生成使用中的显卡对应的engien);
提供C/C++接口，可以直接移植在项目里;
人脸识别一般流程:

1)人脸检测(图像、视频流)

2)根据每个人脸返回的角度，筛选出合适角度的人脸用于人脸矫正，人脸识别

3)人脸矫正(根据5个人脸关键点)

4)人脸特征特征提取（512维特征）

5)人脸特征比对(人脸相似度计算)

条件编译测试说明

测试类别	enable	说明
face_detect	1	人脸检测
yolov5face_detect	1	yolov5face 人脸检测
yolov7face_detect	1	yolov7face 人脸检测
yolov8face_detect	1	yolov8face 人脸检测
face_recognition	1	人脸识别（人脸特征提取）+相似度计算
face_detect_tracker	1	人脸检测跟踪
face_detect_aligner_recognitiion	0	人脸检测——矫正——识别(人脸特征提取)
mask_recognition	1	口罩识别
gender_age_recognition	1	性别年龄识别
silnet_face_anti_spoofing	1	静默活体检测

算法说明

1人脸检测

1)人脸检测retinaface(mobilenet0.25,R50需要自己修改代码）

demoimg1

2)yolov5face(yolov5sface(640*640)，n,m,l,x需要自己转换对应的onnx)

3)yolov7face(yolov7sface(640*640),另外不同大小的模型需要自己转换)

4)yolov8facee(yolov8nface(640*640),另外不同大小的模型需要自己转换)

5) Large family

Method	Backbone	Easy	Medium	Hard	#Params(M)	#Flops(G)
RetinaFace (CVPR20)	ResNet50	94.92	91.90	64.17	29.50	37.59
YOLOv5s	CSPNet	94.67	92.75	83.03	7.075	5.751
YOLOv5s6	CSPNet	95.48	93.66	82.8	12.386	6.280
YOLOv5m	CSPNet	95.30	93.76	85.28	21.063	18.146
YOLOv5m6	CSPNet	95.66	94.1	85.2	35.485	19.773
YOLOv5l	CSPNet	95.78	94.30	86.13	46.627	41.607
YOLOv5l6	CSPNet	96.38	94.90	85.88	76.674	45.279
yolov7-tiny	640	94.7	92.6	82.1	13.2	-
yolov7s	640	94.8	93.1	85.2	16.8	-
yolov7	640	96.9	95.5	88.0	103.4	-
yolov7+TTA	640	97.2	95.8	87.7	103.4	-
yolov7-w6	960	96.4	95.0	88.3	89.0	-
yolov7-w6+TTA	1280	96.9	95.8	90.4	89.0	-
yolov8s	640	96.0	94.2	82.6	-	-
yolov8m	640	96.6	95.0	84.1	-	-

6) Small family

Method	Backbone	Easy	Medium	Hard	#Params(M)	#Flops(G)
RetinaFace (CVPR20	MobileNet0.25	87.78	81.16	47.32	0.44	0.802
FaceBoxes (IJCB17)		76.17	57.17	24.18	1.01	0.275
YOLOv5n	ShuffleNetv2	93.74	91.54	80.32	1.726	2.111
YOLOv5n-0.5	ShuffleNetv2	90.76	88.12	73.82	0.447	0.571
yolov7-lite-t		88.7	85.2	71.5	0.8
yolov7-lite-s		92.7	89.9	78.5	3.0	-
yolov8-lite-t	640	90.3	87.5	72.8	-	-
yolov8-lite-s	640	93.4	91.1	77.7	-	-
yolov8n	640	94.5	92.2	79.0	-	-

7) TensorRT

Backbone	Pytorch(1.10.0+cu102)	TensorRT_FP16(RTX2080Ti)	TensorRT_FP16(RTX3090)@640
yolov5n-0.5	7.7 ms	2.1 ms
yolov5n-face	7.7 ms	2.4 ms
yolov5m-face	9.9 ms	3.3 ms
yolov5l-face	15.9 ms	4.5 ms
RetinaFace	-	-	1.38ms (前后处理+推理+人脸角度计算)
yolov5s-face	5.6 ms	2.2 ms	1.47ms (前后处理+推理+人脸角度计算)
yolov7s-face	-	-	1.69ms (前后处理+推理+人脸角度计算)
yolov8n-face	-	-	1.03ms (前后处理+推理+人脸角度计算)

2.人脸识别

1) arcface(R50)

2)arcface(R101,需要自己下载模型修改代码)

3.带口罩识别

1)检测->裁剪->识别(分类模型)

demoimg1

4.年龄性别

1)人脸检测->裁剪->年龄和性别识别

5.静默活体识别

1)Silent-Face-Anti-Spoofing

name	result	image	result
0.jpg	fake	1.jpg	fake
2.jpg	real	3.jpg	real
4.jpg	fake	5.jpg	fake

6.FaceAlignment

Points mark-up(ordered by point names):

Image result:

7.跟踪

1)ByteTracker(加上人脸bbox和人脸关键点作为跟踪的输入，修改Bug)

算法接口

/** 
 * @brief               人脸初始化函数
 * @param config        模块配置参数结构体
 * @return              HZFLAG
 */
HZFLAG Initialize(Config& config);


/** 
 * @brief               人脸检测
 * @param img           opencv　Mat格式
 * @param FaceDets      人脸检测结果列表，包括人脸bbox，置信度，五个关键点坐标
 * @return              HZFLAG
 */		
HZFLAG Face_Detect(std::vector<cv::Mat>&img, std::vector<std::vector<FaceDet>>&FaceDets);


/** 
 * @brief               人脸检测(yolov5_face)
 * @param img           opencv　Mat格式
 * @param FaceDets      人脸检测结果列表，包括人脸bbox，置信度，五个关键点坐标
 * @return              HZFLAG
 */		
HZFLAG Yolov5Face_Detect(std::vector<cv::Mat>&img, std::vector<std::vector<FaceDet>>&FaceDets);

/** 
   * @brief             人脸检测(yolov7_face)
   * @param img         opencv　Mat格式
   * @param FaceDets    人脸检测结果列表，包括人脸bbox，置信度，五个关键点坐标
   * @return            HZFLAG
   */		
HZFLAG Yolov7Face_Detect(std::vector<cv::Mat>&img, std::vector<std::vector<FaceDet>>&FaceDets);

/** 
   * @brief             人脸检测(yolov8_face)
   * @param img         opencv　Mat格式
   * @param FaceDets    人脸检测结果列表，包括人脸bbox，置信度，五个关键点坐标
   * @return            HZFLAG
   */		
HZFLAG Yolov8Face_Detect(std::vector<cv::Mat>&img, std::vector<std::vector<FaceDet>>&FaceDets);

/** 
 * @brief               人脸检测跟踪(视频流)
 * @param img           opencv　Mat格式
 * @param FaceDets      FaceDets	人脸检测结果列表，包括人脸bbox，id,置信度，偏航角度，俯仰角度，五个关键点坐标
 * @return              HZFLAG
 */	
HZFLAG Face_Detect_Tracker(std::vector<cv::Mat>&img, std::vector<std::vector<FaceDet>>&FaceDets);


/** 
 * @brief               人脸矫正
 * @param Faceimg       需要矫正的人脸图像(矩形框bbox外扩1.2倍得到的人脸图像然后进行矫正!!!!)
 * @param KeyPoints     人脸关键点
 * @param Face_Aligener 矫正之后的图像
 * @return              HZFLAG
 */	
HZFLAG Face_Aligner(cv::Mat&Face_image,cv::Point2f *KeyPoints,cv::Mat&Face_Aligener);

/** 
 * @brief               人脸特征提取
 * @param Face_Aligener 经过人脸矫正的人脸图像
 * @param Face_Feature  人脸特征(512维特征)
 * @return              HZFLAG
 */		
HZFLAG Face_Feature_Extraction(cv::Mat&Face_Aligener,Feature&Face_Feature);


/** 
 * @brief               计算人脸特征的相似度
 * @param Feature1      经过人脸矫正的人脸图像
 * @param Feature2      人脸特征(512维特征)
 * @return float        相似度得分               
 */	
float Cal_Score(Feature&Feature1,Feature&Feature2);

/** 
 * @brief               人脸戴口罩识别
 * @param img           需要识别的人脸戴口罩图像
 * @param Result        人脸戴口罩识别结果
 * @return              HZFLAG
 */
HZFLAG Mask_Recognition(cv::Mat &img,float&pred);

/** 
 * @brief               性别年龄识别
 * @param img           需要识别的人脸图像
 * @param Result        性别年龄识别别结果
 * @return              HZFLAG
 */
HZFLAG Gender_Age_Recognition(cv::Mat &img,attribute&gender_age);

/** 
 * @brief               静默活体检测
 * @param img           需要检测的人脸图像
 * @param Result        静默活体检测识别结果
 * @return              HZFLAG
 */
HZFLAG Silent_Face_Anti_Spoofing(cv::Mat&img, SilentFace&silentface);

/** 
 * @brief               反初始化
 * @return              HZFLAG
 */		
HZFLAG Release(Config& config);

使用方法

模型和测试数据 (Baidu Drivecode: gbub)

name	功能	说明
FaceDetect.wts	人脸检测
FaceRecognition.wts	人脸识别
GenderAge.onnx	年龄性别识别
MaskRecognition.onnx	口罩识别
yolov5s-face_bs=1.onnx	yolov5s人脸检测
yolov5s-face_bs=4.onnx	yolov5s人脸检测	bs=4
yolov7s-face_bs=1.onnx	yolov7s人脸检测
yolov7s-face_bs=4.onnx	yolov7s人脸检测	bs=4
yolov8n-face_bs=1.onnx	yolov8n人脸检测
yolov8n-face_bs=4.onnx	yolov8n人脸检测	bs=4
2.7_80x80_MiniFASNetV2.onnx	静默活体检测
2d106det_bs=1.onnx	106keypoints	bs=1

2.环境

ubuntu20.04+cuda11.1+cudnn8.2.1+TrnsorRT8.2.5.1(测试通过)
ubuntu18.04+cuda10.2+cudnn8.2.1+TrnsorRT8.2.5.1(测试通过)
Win10+cuda11.1+cudnn8.2.1+TrnsorRT8.2.5.1 (测试通过)
其他环境请自行尝试或者加群了解

3.编译

更改根目录下的CMakeLists.txt,设置tensorrt的安装目录

set(TensorRT_INCLUDE "/xxx/xxx/TensorRT-8.2.5.1/include" CACHE INTERNAL "TensorRT Library include location")
set(TensorRT_LIB "/xxx/xxx/TensorRT-8.2.5.1/lib" CACHE INTERNAL "TensorRT Library lib location")

默认opencv已安装，cuda,cudnn已安装
为了Debug默认编译 -g O0 版本,如果为了加快速度请编译Release版本
使用Visual Studio Code快捷键编译(4,5二选其一):

   ctrl+shift+B

使用命令行编译(4,5二选其一):

   mkdir build
   cd build
   cmake ..
   make -j6

FaceAlgorithm

技术解读

深度技术分析：GitHub 项目 FaceAlgorithm

项目背景与痛点

核心技术揭秘

功能亮点与差异

应用场景与落地建议

综合评价

相关仓库

关于

简要分析

语言占比

贡献者

Acknowledgments & Contact

1.WeChat ID: cbp931126

FaceAlgorithm

特性

算法说明

1人脸检测

1)人脸检测retinaface(mobilenet0.25,R50需要自己修改代码）

2)yolov5face(yolov5sface(640*640)，n,m,l,x需要自己转换对应的onnx)

3)yolov7face(yolov7sface(640*640),另外不同大小的模型需要自己转换)

4)yolov8facee(yolov8nface(640*640),另外不同大小的模型需要自己转换)

5) Large family

6) Small family

7) TensorRT

2.人脸识别

1) arcface(R50)

2)arcface(R101,需要自己下载模型修改代码)

3.带口罩识别

1)检测->裁剪->识别(分类模型)

4.年龄性别

1)人脸检测->裁剪->年龄和性别识别

5.静默活体识别

1)Silent-Face-Anti-Spoofing

6.FaceAlignment

7.跟踪

1)ByteTracker(加上人脸bbox和人脸关键点作为跟踪的输入，修改Bug)

算法接口

使用方法

2.环境

3.编译

References

评论