如何在openCV和Python中使用眼动跟踪实现鼠标指针移动？

Question

我是Python和OpenCV的新手，我正在努力构建鼠标指针移动的眼动追踪系统。到目前为止，我的脚本可以识别瞳孔并跟踪瞳孔的位置，但我不确定如何将鼠标的移动分配到瞳孔的位置。

我正在使用opencv 4.0.0，python 2.7和numpy。我找到了一些答案，比如这个How can I move mouse by detected face and Eye using OpenCV and Python，但我不太确定如何在我的脚本中实现解决方案，因为我没有面部和眼睛检测。

while True:
    ret, frame = cap.read()
    if ret is False:
        break

    roi = frame[20: 300, 27: 396]
    rows, cols, _ = roi.shape
    gray_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY)
    #gray_roi = cv2.GaussianBlur(gray_roi, (7, 7), 0)

    _, threshold = cv2.threshold(gray_roi, 22, 255, cv2.THRESH_BINARY_INV)
    contours, hierarchy = cv2.findContours(threshold, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

    contours = sorted(contours, key=lambda x: cv2.contourArea(x), reverse=True)

    for cnt in contours:
        (x, y, w, h) = cv2.boundingRect(cnt)

        cv2.drawContours(roi, [cnt], -1, (0, 0, 255), 3)
        cv2.rectangle(roi, (x, y), (x + w, y + h), (255, 0, 0), 2)
        cv2.line(roi, (x + int(w/2), 0), (x + int(w/2), rows), (0, 255, 0), 2)
        cv2.line(roi, (0, y + int(h/2)), (cols, y + int(h/2)), (0, 255, 0), 2)
        break

    cv2.imshow("Threshold", threshold)
    cv2.imshow("gray roi", gray_roi)
    cv2.imshow("Roi", roi)
    key = cv2.waitKey(30)
    if key == 27:
        break

cv2.destroyAllWindows()

任何帮助表示赞赏，谢谢！

Answer 1

查看此博客，其中显示了如何使用OpenCV，Python和dlib https://www.pyimagesearch.com/2017/04/24/eye-blink-detection-opencv-python-dlib/构建Eye blink检测