这篇文章主要介绍“Python+Opencv怎么实现人脸追踪”,在日常操作中,相信很多人在Python+Opencv怎么实现人脸追踪问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python+Opencv怎么实现人脸追踪”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
人脸处理是人工智能中的一个热门话题,人脸处理可以使用计算机视觉算法从人脸中自动提取大量信息,例如身份、意图和情感;而目标跟踪试图估计目标在整个视频序列中的轨迹,其中只有目标的初始位置是已知的,将这两者进行结合将产生许多有趣的应用。由于外观变化、遮挡、快速运动、运动模糊和比例变化等多种因素,人脸追踪非常具有挑战性。
基于判别相关滤波器 (discriminative correlation filter, DCF
) 的视觉跟踪器具有优异的性能和较高的计算效率,可用于实时应用程序。DCF
跟踪器是一种非常流行的基于边界框跟踪的方法。
在 dlib
库中实现了基于 DCF
的跟踪器,可以很方便的将其用于对象跟踪。在本文中,我们将介绍如何使用此跟踪器进行人脸和用户选择对象的跟踪,这种方法也称为判别尺度空间跟踪器 (Discriminative Scale Space Tracker, DSST
),追踪器仅需要输入原始视频和目标初始位置的边界框,然后跟踪器自动预测目标的轨迹。
在进行人脸追踪时,我们首先使用 dlib
人脸检测器进行初始化,然后使用基于 dlib DCF
的跟踪器 DSST
进行人脸跟踪。调用以下函数初始化相关跟踪器:
tracker = dlib.correlation_tracker()
这将使用默认值 (filter_size = 6, num_scale_levels = 5, scale_window_size = 23, regularizer_space = 0.001, nu_space = 0.025, regularizer_scale = 0.001, nu_scale = 0.025, scale_pyramid_alpha = 1.020) 初始化跟踪器。 filter_size
和 num_scale_levels
的值越大,跟踪精度越高,但它需要算力也更大;filter_size
的推荐使用值为 5、6 和 7;num_scale_levels
的推荐使用值为 4、5 和 6。
使用 tracker.start_track()
可以开始跟踪。在开始追踪前,我们需要先执行人脸检测,并将检测到的人脸位置传递给这个方法:
if tracking_face is False: gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 尝试检测人脸以初始化跟踪器 rects = detector(gray, 0) # 检查是否检测到人脸 if len(rects) > 0: # 开始追踪 tracker.start_track(frame, rects[0]) tracking_face = True
当检测到人脸后,人脸跟踪器将开始跟踪边界框内的内容。为了更新被跟踪对象的位置,需要调用 tracker.update()
方法:
tracker.update(frame)
tracker.update()
方法更新跟踪器并返回衡量跟踪器置信度的指标,此指标可用于使用人脸检测重新初始化跟踪器。
要获取被跟踪对象的位置,需要调用 tracker.get_position()
方法:
pos = tracker.get_position()
tracker.get_position()
方法返回被跟踪对象的位置。最后,绘制人脸的预测位置:
cv2.rectangle(frame, (int(pos.left()), int(pos.top())), (int(pos.right()), int(pos.bottom())), (0, 255, 0), 3)
下图中,显示了人脸跟踪算法的跟踪效果过程:
在上图中,可以看到算法当前正在跟踪检测到的人脸,同时还可以按数字 1 以重新初始化跟踪。
完整代码
完整代码如下所示,同时我们需要提供按下数字 1 时重新初始化跟踪器的选项。
import cv2 import dlib def draw_text_info(): # 绘制文本的位置 menu_pos_1 = (10, 20) menu_pos_2 = (10, 40) # 绘制菜单信息 cv2.putText(frame, "Use '1' to re-initialize tracking", menu_pos_1, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255)) if tracking_face: cv2.putText(frame, "tracking the face", menu_pos_2, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0)) else: cv2.putText(frame, "detecting a face to initialize tracking...", menu_pos_2, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255)) # 创建视频捕获对象 capture = cv2.VideoCapture(0) # 加载人脸检测器 detector = dlib.get_frontal_face_detector() # 初始化追踪器 tracker = dlib.correlation_tracker() # 当前是否在追踪人脸 tracking_face = False while True: # 捕获视频帧 ret, frame = capture.read() # 绘制基本信息 draw_text_info() if tracking_face is False: gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 尝试检测人脸以初始化跟踪器 rects = detector(gray, 0) # 通过判断是否检测到人脸来决定是否启动追踪 if len(rects) > 0: # Start tracking: tracker.start_track(frame, rects[0]) tracking_face = True if tracking_face is True: # 更新跟踪器并打印测量跟踪器的置信度 print(tracker.update(frame)) # 获取被跟踪对象的位置 pos = tracker.get_position() # 绘制被跟踪对象的位置 cv2.rectangle(frame, (int(pos.left()), int(pos.top())), (int(pos.right()), int(pos.bottom())), (0, 255, 0), 3) # 捕获键盘事件 key = 0xFF & cv2.waitKey(1) # 按 1 初始化追踪器 if key == ord("1"): tracking_face = False # 按 q 退出 if key == ord('q'): break # 显示结果 cv2.imshow("Face tracking using dlib frontal face detector and correlation filters for tracking", frame) # 释放所有资源 capture.release() cv2.destroyAllWindows()
除了人脸外,基于 dlib DCF
的跟踪器可以用于跟踪任意对象。接下来,我们使用鼠标选择要跟踪的对象,并监听键盘事件,如果按 1,将开始跟踪预定义边界框内的对象;如果按 2,预定义的边界框将被清空,跟踪算法将停止,并等待用户选择另一个边界框。
例如,我们对检测小姐姐并不感兴趣,而更喜欢猫,那么我们可以首先用鼠标绘制矩形框选择喵咪,然后按 1 开始追踪小猫咪,如果我们想要追踪其他物体,可以按 2 重新绘制矩形框并进行追踪。如下所示,我们可以看到算法跟踪对象并进行实时输出:
完整代码
完整代码如下所示:
import cv2 import dlib def draw_text_info(): # 绘制文本的位置 menu_pos_1 = (10, 20) menu_pos_2 = (10, 40) menu_pos_3 = (10, 60) # 菜单项 info_1 = "Use left click of the mouse to select the object to track" info_2 = "Use '1' to start tracking, '2' to reset tracking and 'q' to exit" # 绘制菜单信息 cv2.putText(frame, "Use '1' to re-initialize tracking", menu_pos_1, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255)) cv2.putText(frame, info_2, menu_pos_2, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255)) if tracking_state: cv2.putText(frame, "tracking", menu_pos_3, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0)) else: cv2.putText(frame, "not tracking", menu_pos_3, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255)) # 用于保存要跟踪的对象坐标的结构 points = [] def mouse_event_handler(event, x, y, flags, param): # 对全局变量的引用 global points # 添加要跟踪的对象的左上角坐标 if event == cv2.EVENT_LBUTTONDOWN: points = [(x, y)] # 添加要跟踪的对象的右下角坐标: elif event == cv2.EVENT_LBUTTONUP: points.append((x, y)) # 创建视频捕获对象 capture = cv2.VideoCapture(0) # 窗口名 window_name = "Object tracking using dlib correlation filter algorithm" # 创建窗口 cv2.namedWindow(window_name) # 绑定鼠标事件 cv2.setMouseCallback(window_name, mouse_event_handler) # 初始化跟踪器 tracker = dlib.correlation_tracker() tracking_state = False while True: # 捕获视频帧 ret, frame = capture.read() # 绘制菜单项 draw_text_info() # 设置并绘制一个矩形,跟踪矩形框内的对象 if len(points) == 2: cv2.rectangle(frame, points[0], points[1], (0, 0, 255), 3) dlib_rectangle = dlib.rectangle(points[0][0], points[0][1], points[1][0], points[1][1]) if tracking_face is True: # 更新跟踪器并打印测量跟踪器的置信度 print(tracker.update(frame)) # 获取被跟踪对象的位置 pos = tracker.get_position() # 绘制被跟踪对象的位置 cv2.rectangle(frame, (int(pos.left()), int(pos.top())), (int(pos.right()), int(pos.bottom())), (0, 255, 0), 3) # 捕获键盘事件 key = 0xFF & cv2.waitKey(1) # 按下 1 键,开始追踪 if key == ord("1"): if len(points) == 2: # Start tracking: tracker.start_track(frame, dlib_rectangle) tracking_state = True points = [] # 按下 2 键,停止跟踪 if key == ord("2"): points = [] tracking_state = False # 按下 q 键,返回 if key == ord('q'): break # 展示结果图像 cv2.imshow(window_name, frame) # 释放资源 capture.release() cv2.destroyAllWindows()
到此,关于“Python+Opencv怎么实现人脸追踪”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。