Journal Archive

Mediapipe는 Google의 오픈소스 라이브러리로, 실시간 객체 감지와 추적을 지원한다. 그림 1과 같이 실시간 영상에서 얼굴, 손, 전신과 같은 다양한 객체를 감지할 수 있다[2]. 현재 수어 인식을 위한 객체 인식 인공지능(AI) 모델들은 주로 Mediapipe를 기반으로 개발되어 있으며 이와 관련된 다양한 논문들이 존재한다. 그러나 CPU 추론 및 실시간 다중 객체 인식 프레임워크를 고려할 때, YOLO 알고리즘을 선택하는 것이 더 적절하다고 판단하여 YOLO를 수어 인식에 활용하기로 결정하였다.

Fig. 1. 
How to recognize hands, eyes, etc. in the media pipe

YOLO (You Only Look Once) 알고리즘은 객체 감지 및 객체 분류를 위한 딥러닝 알고리즘으로, 입력된 이미지를 한 번만 처리 하므로 처리 속도가 빠르다는 장점이 있다. 하지만 이는 2-stage-detection 방식을 사용하는 네트워크에 비해 정확성에서 일부 차이가 있을 수 있지만 빠른 객체 감지가 필요한 경우에는 YOLO가 적합하다[3]. 또한 YOLO는 후보 영역을 추출하기 위한 별도의 네트워크를 적용하지 않기 때문에 Region-based Convolutional Neural Network (R-CNN)과 같은 다른 알고리즘보다 처리시간 측면에서 우수한 성능을 보인다[4]. YOLO는 그림 2와 같이 입력된 이미지나 영상을 19*19개의 그리드로 분할하고 각각의 그리드에 해당하는 물체의 위치와 범위 그리고 종류를 출력하는 네트워크다[5]. CNN은 이미지 인식 및 분류에 사용되는 일반적인 신경망 클래스인 반면, YOLO 모델은 CNN을 사용하여 이미지나 비디오와 같은 2D 데이터에서 공간적인 특징을 추출하고, 이러한 특징을 활용하여 객체 탐지, 분류, 위치 예측 등 다양한 작업을 수행하는 단일 인공신경망을 활용하여 학습하기에 다른 기법에 비해 인식속도가 매우 빠르다[6]. 이 과정에서 이미지나 비디오는 2D 데이터로 취급되며, 컬러 이미지의 경우 RGB 채널 정보가 함께 활용된다. 이러한 이유로 인식 속도가 빠른 YOLO 알고리즘을 선택하였다.

Fig. 2. 
YOLO object detection method

본 논문에서 사용한 모델은 대표적인 객체탐지 알고리즘인 YOLO 시리즈 중 대만 연구소에서 개발한 YOLOv7을 적용하였다[7]. YOLOv7은 2022년 7월에 출시된 실시간 객체탐지 모델이다[8]. 그림 4[7]와 같이 5~160 fps 범위의 추론 속도를 가지면 현재까지 알려진 실시간 물체 검출 모델 중 가장 높은 정확도인 56.8% AP를 가지며 실시간 객체 탐지에 높은 효율을 보이는 것으로 발표되었다[9]. YOLOv7은 모델의 복잡도에 따라 그림2와 같이 YOLOv7-tiny, YOLOv7, YOLOv7x, YOLOv7w6, YOLOv7e6 등 다양한 변형이 있다[10]. 모델의 무게가 증가할수록 인식 성능은 향상되지만 데이터 분석 시간이 증가하며 컴퓨터 성능에도 민감해진다. 그러므로 본 연구에서는 학습용 PC의 컴퓨터 성능을 고려하여 YOLOv7-x 모델을 선택하여 개발하였다.

Fig. 3. 
Types of YOLOv7 models

Fig. 4. 
Comparison of YOLOv7 object detection results with other models

본 논문에서 구현하고자 하는 실시간 수어 번역 AI 프로그램의 프로세스는 그림 5와 같다. 먼저 수어 데이터를 수집하고, 이후 해당 데이터를 분류하고 라벨링하는 과정을 거치게 된다. 이후 AI 모델을 데이터로 학습시키고 학습 결과를 얻는다. 학습된 모델은 실시간 수어 번역 프로그램의 구현에 활용된다.

Fig. 5. 
Design of real-time sign language translation AI program

AI 모델에 적용한 데이터는 자음 14개의, 모음 10개 및 7개의 복합 모음을 사용하였으며, 일반 단어로는 "나는", "너", "최고", "생각하다"라는 4개의 단어를 사용하여 총 35개의 데이터 카테고리에 해당하는 총 10,545장의 이미지 데이터를 활용하였다. 이 이미지 데이터는 labelimg를 활용하여 수어에 해당하는 손 위치를 전처리하였으며, 이 중 7,700장을 학습 데이터로 사용하였다. labelimg은 데이터 라벨링 작업을 수행하는 Python 기반의 도구이며 구체적으로 이미지가 무엇인지 입력하며 딥러닝 작업을 위해 필요한 과정 중 하나이다. 데이터 라벨링을 위해 먼저 각 클래스에 맞게 데이터 이름들을 수정한 후 라벨링을 진행하였다. 그림 6은 데이터 라벨링을 진행하는 과정을 보여주고 있다. YOLOv7은 txt 형식의 라벨링 데이터를 사용하는데, 이 파일에는 이미지에서 검출된 객체의 클래스 및 경계 상자 정보가 저장된다. 이 내용이 그림 7에 해당한다.

Fig. 6. 
The data labeling process using Labelimg

Fig. 7. 
Labeling data

본 논문에서 제안하는 수어 AI 모델 학습은 표 1에 제시된 컴퓨터 사양을 기반으로 진행되었다. 이 컴퓨터 사양을 고려하여 학습 파라미터를 조정하였으며, 조정한 값은 표 2에 나열하였다. 총 7,700장의 학습 데이터를 YOLOv7-X모델을 사용하여 100 Epochs, 200 Epochs 학습을 진행하였다. 그림 8과 그림 9는 Anaconda 환경에서 100 Epochs, 200 Epochs의 학습이 완료된 화면을 보여준다.

Fig. 8. 
Training with 100 instances of data

Fig. 9. 
Training with 200 instances of data

표 3과 표 4에 나오는 mAP@0.5는 IOU(Intersection Over Union)임계치를 0.5 이상으로 설정한 것으로 Pascal VOC 방식의 정확도 표현 방식이다. 반면에 mAP@0.5:0.95는 COCO 데이터 셋에 사용되는 정확도 방식이며 IOU 임계치를 0.5부터 0.95까지 0.05씩 증가시킨 단계에서의 결과를 종합하여 평균을 나타내는 방식이며 모델의 다양한 성능과 객체 탐지 모델의 더 포괄적인 정확도를 제공하여 성능을 종합적으로 평가한다[11]. mAP@0.5:0.95는 mAP@0.5보다 더 엄격한 기준을 가지므로 결과가 mAP@0.5보다 높게 나올 수는 없다. 이러한 평가 방식에서는 값이 1에 가까울수록 모델의 성능이 높다고 평가된다. 총 35개의 클래스 중 자음 4개, 모음 4개, 단어 2개를 대표로 삼아 성능을 분석하였다. 이러한 클래스들을 기준으로 100Epochs와 200Epochs에서의 mAP@0.5과 mAP@0.5:0.95의 값을 살펴보면, 100Epochs 와 200Epochs 에서의 mAP@0.5 값은 큰 차이가 없는 것으로 보이지만, mAP@0.5:0.95에서는 100Epochs 대비 200Epochs 때 더 높은 성능을 보이고 있음을 확인할 수 있다. 이로써 모델의 학습이 잘 이루어진 것으로 판단된다. 특히 mAP@.5:0.95에서 200Epochs 결괏값이 과적합을 보이지 않고 더 우수하게 나왔다. 전체적인 mAP@0.5:0.95의 그래프는 그림 10과 같다. 또한 테스트 데이터 셋을 사용한 인식률은 평균 80% 이상으로 높은 정확도를 보였고 그림 11은 표 3 과 표 4에 설명한 35개 클래스 중 자음 4개, 모음 4개, 단어 2개를 포함한 테스트 데이터 셋의 결과를 보여준다.

Fig. 10. 
(Left) mAP@0.5:0.95 graph for 100 epochs. (Right) mAP@0.5:0.95 graph for 200 epochs.

Fig. 11. 
Results of the representative class's test dataset

PyQt5는 Qt5 애플리케이션 프레임워크에 대한 파이썬 버전이다. 이 PyQt5를 사용하여 수어를 인식하고 그 결과를 텍스트로 변환해주는 Graphical User Interface 프로그램 개발을 진행하였다. 개발 환경은 PyCharm과 Anaconda를 사용하였다. 그림 12와 같이 PyQt Designer를 사용하여 GUI를 간단히 디자인하고 내부에 세부 기능을 개발하는 과정을 진행하였다. 이 프로그램이 실시간으로 수어를 인식하기 위해서는 YOLOv7의 detect.py 파일이 필요하다. 그림 13과 같이 detect.py 스크립트의 argument를 프로그램에 맞게 수정하여 소스코드를 변경하였으며, 표 4에 해당하는 200Epochs 학습한 최적 가중치 파일을 적용하였다.

Fig. 12. 
Sign language translation program

Fig. 13. 
detect.py argument

개발된 수어 번역 프로그램의 Python 파일을 실행하게 되면 그림 10과 같은 GUI 프로그램이 실행되며, '수어 번역 시작' 버튼을 누르게 되면 그림 14와 같이 YOLO가 실행되며, 그 후에는 그림 15와 같은 학습된 모델이 적용된 웹캠이 실행된다.

Fig. 14. 
Running a web camera with a learning model applied

Fig. 15. 
Run sign language translation program

프로그램을 실행한 결과, 표 3과 표 4에 기재된 대표적인 수어 클래스를 정확하게 인식하였다. 이러한 인식결과는 표 5의 이미지들과 일치한다. 프로그램은 자음 'ㄱ', 'ㄴ', 'ㄷ', 'ㄹ'과 모음 'ㅏ', 'ㅑ', 'ㅓ', 'ㅕ'를 정확하게 인식하며, "나(는)", "생각(하다)"라는 단어들을 평균적으로 0.7 이상의 정확도로 인식하였다. 이러한 결과물은 텍스트 창과 Anaconda 환경에서도 제대로 출력되었다. 연속적인 동작도 정확하게 인식하여, 텍스트 창에도 "나(는)", "생각(하다)"라는 내용이 순차적으로 출력되었다. 또한 프로그램은 자음과 모음을 조합하여 단어를 생성하는 능력도 갖추고 있다. 표 5 그림에 'ㅅ', 'ㅏ', 'ㅇ', 'ㅣ', 'ㄷ', 'ㅏ'라는 자음과 모음을 인식하여 "사이다"라는 단어를 생성하였고, 이와 같은 방식으로 단어와 자음 모음을 인식하여 "나는 커피"라는 문장도 생성할 수 있었다. 특히 “사이다”라는 단어는 자음과 모음을 한번에 인식하여 단어를 생성하였다. 이러한 방식으로 프로그램은 미리 학습된 클래스에 없는 문장들도 자음과 모음을 조합하여 문장을 활용할 수 있음을 보여주고 있다.

수어 ‘ㄱ’ 인식	수어 ‘ㄴ’ 인식
수어 ‘ㅏ’ 인식	수어 ‘ㅑ’ 인식
수어 “나(는)” 인식	수어 ”생각(하다)” 인식
수어 자음 모음으로 “사이다” 단어 생성	수어 단어와 자음 모음으로 ”나는 커피“ 문장 생성