Current Issue

최근 대학 등의 교육 기관에서 학생들의 출결 관리를 위한 전자 출결 시스템이 본격적으로 도입되어 활용되고 있다. 가장 일반적인 전자 출결 시스템에는 RFID 또는 NFC를 이용한 방법, 스마트폰에 별도의 앱을 설치하여 인증번호를 받아 인증하거나 특정 문자열을 입력하여 인증코드를 활용한 방법, Wifi 또는 블루투스의 신호 세기를 이용한 방식, QR코드를 이용한 출석 처리, 위치 기반 출석 처리 등이 있다[1]-[7].

이 시스템들은 출석 처리 시간을 단축할 수 있지만, 본인 확인이 어려워 대리 출석에 취약하다는 문제점이 존재한다. 또한, 학생들이 스마트폰을 가지고 있지 않거나 출결 관리 앱을 설치하지 않을 경우 출석 확인이 불가능하다는 제한이 있다. 또한 위치 기반 출석 처리 방식의 경우는 위치 정보를 정확하게 인식하지 못하는 문제점이 있으며, 이 외에도 교수가 직접 많은 인원의 학생을 대상으로 출석 처리를 할 경우 번거로움과 많은 시간이 소요된다. 최근에는 대리 출석을 방지하기 위하여 얼굴 인식 기반의 전자 출결 시스템에 관해 활발히 연구되고 있다[8]-[11].

본 논문에서는 대리 출석을 방지하고, 학생들이 스마트폰을 가지고 있지 않더라도 강의실에 배치된 하나의 카메라를 통하여 동시에 여러 학생들의 출결 확인이 가능하도록 얼굴 인식을 통한 Face-ID 기반의 출결 관리 시스템을 제안한다. 제안 시스템은 크게 네 가지 기능으로 구성된다. 첫째, 학생의 얼굴 이미지 및 정보를 미리 등록해야 한다. 둘째, 수업 시간에 출결 상황 확인을 위한 얼굴인식 기능이다. 셋째, 얼굴 인식 결과를 바탕으로 획득한 출석처리 결과를 데이터베이스에 등록한다. 넷째, 웹 또는 앱을 통한 출석 현황 확인 기능이다.

본 논문 Ⅱ장에서는 관련 연구를 소개하고, Ⅲ장에서는 제안 시스템의 구성 및 주요 기능들에 대해 기술한다. Ⅳ장에서 출결시스템 구현 결과를 기술한 후에, 마지막 Ⅴ장에서 결론을 맺는다.

그림 1은 일반적인 얼굴인식 과정을 보여준다. 얼굴인식 기술은 미리 입력된 이미지나 영상으로부터 얼굴 영역을 검출하는 과정, 검출된 얼굴 영역으로부터 랜드마크 정보를 획득한 후 그것들로부터 특징(feature) 데이터를 추출하는 과정, 특징 데이터를 활용하여 분류모델을 학습시키는 훈련 과정, 그리고 학습된 분류모델을 이용하여 새롭게 입력되는 얼굴을 검증하거나 식별하는 과정을 거친다[12]. 본 논문의 출결 관리 시스템은 새롭게 입력되는 학생 이미지를 미리 저장된 N명의 인물 이미지와 비교하여 학생 얼굴을 식별한다.

Fig. 1. 
Face recognition process

얼굴 영역을 검출하는 방법에는 얼굴 템플릿을 이용하는 방법과 눈, 코, 입 등과 같은 얼굴 요소 간의 위치 벡터를 계산하는 방법이 있다. 랜드마크 정보로부터 특징 데이터를 추출하는 방법에는 3차원과 같은 고차원 데이터로부터 1차원 데이터의 평탄화 작업을 통해 통계적으로 특징을 추출하는 방법 (PCA)과 비교적 계산 속도가 빠르고 적은 DB만으로도 처리가 가능한 선평 판별 분석 방법 (LDA)이 있다. 얼굴 식별 과정은 미리 저장된 N명의 인물 이미지와 입력 이미지의 특징 벡터 값을 비교하여 얼굴을 인식한다[13].

본 논문에서 사용한 Dlib 라이브러리는 주로 머신러닝 및 컴퓨터 비전 작업에 활용되는 오픈 소스 C++ 라이브러리로서 얼굴 검출 및 인식, 얼굴 랜드마크 추출, 머신러닝을 위한 데이터 특징 추출 등에 폭넓게 활용된다[14]-[17]. 특히 Dlib 라이브러리는 얼굴 검출을 위해 사전에 훈련된 모델 기반의 얼굴 검출기를 제공한다. 그림 2는 Dlib가 사람의 얼굴로부터 특징을 추출하기 위해 제공하는 68개의 얼굴 랜드마크 좌표를 보여준다.

Fig. 2. 
Example of 68 facial landmarks provided by Dlib

본론에서는 제안 시스템의 구성 및 주요 기능들에 대해 기술한다. 제안 시스템은 대리 출석을 방지하고 학생들이 스마트폰을 가지고 있지 않더라도 출결 확인이 가능하도록 얼굴 인식을 통한 Face-ID 기반의 전자 출결 관리 기능을 제공한다. 그림 3은 제안 시스템의 구성 및 주요 기능을 나타낸다.

Fig. 3. 
System architecture

본 장에서는 제안 시스템의 구현 결과에 대해 기술한다. 제안 시스템은 Python 언어를 사용하여 개발하였으며, DBMS는 MySQL을 사용하였다.

그림 4 및 5는 학생 정보 입력 과정에서 학생 얼굴 사진을 촬영하여 흑백 이미지로 저장하는 과정을 보여준다. 학생 정보 입력 사용자 인터페이스에서 학생들의 학번, 성명, 소속 학과 등의 정보를 입력하면, 자동으로 카메라 모듈이 활성화되면서 학생을 촬영한 후 얼굴 검출 함수를 통해 얼굴 부위만 이미지로 만들고 반환한다. 반환된 이미지를 200 x 200 사이즈로 크기를 맞추어 흑백 이미지로 변환한 후 지정된 디렉터리에 입력한 학번이 파일명이 되도록 저장한다.

Fig. 4. 
Converting student face images to black & white

Fig. 5. 
Face image files saved in a directory

그림 6 및 7은 각각 얼굴 인식 과정 및 그 결과를 바탕으로 데이터베이스 출결 현황 데이터를 갱신하는 과정을 보여준다. 그림 4에서 알 수 있는 바와 같이, 제안 시스템은 하나의 카메라를 통해 다수 학생들의 얼굴을 동시에 인식할 수 있다. 제안 시스템에서는 얼굴인식을 위해 OpenCV 및 Dlib라이브러리 모듈을 사용하였다. 얼굴 인식 과정이 완료되면 그 결과가 그림 5에서와 같이 데이터베이스 내 값을 갱신한다. 출결 확인 결과를 의미하는 check_value 컬럼의 값은 출석 시 0이며, 미 출석은 1이다.

Fig. 6. 
Face recognition of multiple students

Fig. 7. 
Check_value update in attendance status DB

^*Screen shot of DB table.

그림 8에서와 같이, 교수 및 학생은 웹 사이트를 통해 실시간으로 해당 수업의 출결 현황을 학생들의 사진 이미지와 함께 편리하게 확인할 수 있다. 제안 시스템은 스프링 프레임워크 기반의 웹 사이트를 구축하여 출석 현황 확인 서비스를 제공한다. 출석으로 처리된 학생의 경우 학번 및 이름 텍스트 박스가 초록색으로 표시되며, 결석 학생은 빨간색으로 표시된다.

Fig. 8. 
Attendance status check in a specific class (Picture mode)

*Screen shot of web application.

학생들의 출석처리가 모두 완료되면, 그림 9에서와 같이 교수는 별도의 출석리스트 페이지에서 과목명과 주차를 선택하고 조회하기 버튼을 클릭하면 주차 별로 학생들의 출결을 테이블 형태로 확인할 수 있다. 그리고 그림 10은 모든 주차의 출결 현황을 확인할 수 있는 출석부를 보여준다.

Fig. 9. 
Attendance status check in a specific class (Text mode)

*Screen shot of web application.

Fig. 10. 
An electronic attendance book

*Screen shot of web application.

본 논문에서는 전자 출결에서 대리 출석을 방지하고, 학생들이 스마트폰을 가지고 있지 않더라도 강의실에 배치된 하나의 카메라를 통하여 동시에 여러 학생들의 출결 확인이 가능하도록 얼굴 인식을 통한 Face-ID 기반의 출결 관리 시스템을 설계하고 구현하였다. 제안 시스템은 하나의 카메라를 통해 다수 학생들의 얼굴을 동시에 인식하기 위해 OpenCV 및 Dlib 라이브러리 모듈을 사용하였다. 특히 Dlib가 사람의 얼굴로부터 특징을 추출하기 위해 제공하는 68개의 얼굴 랜드마크 좌표를 사용하였다. 또한 제안 시스템은 학생의 얼굴 이미지 및 정보 입력, 얼굴 인식을 통한 출결 확인, 출석처리, 및 출석 현황 확인 기능을 제공한다.

구현 결과 제안 시스템을 통해 학생의 스마트폰 소지 여부와 상관없이 다수의 학생 얼굴을 동시에 인식하고 출석 현황을 체크할 수 있음을 확인하였다. 또한 제안 시스템은 강의실에 입장한 학생들의 얼굴만 인식하므로 대리 출석 문제를 원천적으로 방지할 수 있다.