AI가 운전자 심전도로 졸음 인식...매스웍스, '웨이블릿 & 딥러닝' 툴박스 활용

오스트리아 그라츠공과대학교 아르노 아이히베르거(Arno Eichberger) 교수 연구팀이 심장 전기 활동으로 졸음운전을 인식하는 인공지능을 개발했다. 이번 인공지능 알고리즘 개발에는 매스웍스(mathworks.com)의 매트랩(MATLAB) 웨이블릿 툴박스(Wavelet Toolbox)와 딥러닝 툴박스(Deep Learning Toolbox)가 활용됐다.

 

연구팀은 매트랩의 딥러닝 툴박스를 적용해 졸음운전자의 심전도(ECG) 신호를 분석하는 인공지능 알고리즘을 개발했고, 그 결과 운전자의 졸음 운전을 구분하는 새로운 방법을 선보인 것이다. 아이히베르거 교수 연구팀은 우선 졸음 운전자 데이터베이스 생성을 위해 총 92명의 데이터를 수집했다.

 

연구 참가자는 최소 16시간 동안 깨어 있거나 4시간 이하의 수면을 취한 상태로 연구팀이 제작한 운전 시뮬레이터의 수동 및 자동 운전 시나리오에 참여했고, 심전도(ECG) 전극으로 측정한 운전자의 심장 활동 데이터가 수집됐다.연구팀은 운전자를 녹화한 화면에서 하품, 머리의 꾸벅임, 길게 눈을 깜박인 정도를 기반으로 ‘경각 상태’, ‘보통 졸음’, ‘심한 졸음’, ‘수면’과 같이 네 가지 레이블로 분류했고, 알고리즘을 훈련하기 위해 딥러닝 기법을 활용했다.

 

심전도 신호 세그먼트의 예시와 (a) 경각 상태, (b) 보통 졸음, (c) 심한 졸음의 운전자 상태에 상응하는 웨이블릿. (자료 : Arefnezhad et al., TU Graz)

 

 

연구팀은 픽셀의 복잡한 패턴을 분간하고 특징을 추출하여 이미지를 식별할 수 있는 합성곱 신경망(CNN, Convolutional Neural Network)을 구축했다. 운전자 심전도 신호에 합성곱 신경망을 적용하기 위해 연구팀은 매트랩의 웨이블릿 툴박스를 사용해 웨이블릿 스케일로그램을 만들었고, 심전도 신호를 나타내는 파형을 음영 처리된 이미지로 변환해 여기에 실측 졸음 레이블을 입력했다. 

다음으로, 딥러닝 툴박스로 다양한 유형의 계층을 추가해 이 신경망이 심전도 신호를 ‘경각 상태’, ‘보통 졸음’, ‘심한 졸음’으로 분류하도록 훈련시켰다. 구축한 딥러닝 신경망은 수동 운전 모드에서 졸음을 분류할 때 77%의 정확도, 자동 모드에서는 79%를 달성하며, 영상으로는 구별할 수 없는 경각 상태의 운전자와 보통 졸음 상태 운전자의 차이를 쉽게 식별했다.

 아이히베르거 그라츠공과대학교 교수는 “매트랩의 웨이블릿 툴박스와 딥러닝 툴박스에 운전자의 심전도 신호를 활용해 졸음을 인식하고 분류하는 새로운 방식을 개발할 수 있었다”며 “앞으로도 자율주행에서 운전자의 졸음을 인식하는 인공지능에 대한 활발한 연구가 이뤄지길 기대한다”고 밝혔다.