Journal Archive

정보통신 기술의 발달은 사회관계망서비스(SNS)의 확산을 가져왔다. SNS의 주요 플랫폼인 스마트폰의 이용자 수는 2010년 기준 50,767천 명에서 2019년 기준 68,893천 명으로 증가하였고 동시에 웹사이트와 SNS의 영향력이 더욱 확대되었다[1]. 사이버공간의 익명성은 개인의 사회적 참여를 확대하는 긍정적인 영향을 가져왔지만, ‘악성 댓글’이라는 사이버 폭력 문제를 야기하였다[2]. 악성 댓글은 인터넷 댓글 중 특정 집단을 대상으로 하는 악의적인 혐오 표현을 의미한다. 악성 댓글은 전 세계에서 발생하지만, 웹 사이트와 SNS의 영향력이 큰 국내에서 상대적으로 빈번하게 발생하여 심각한 사회적 문제로 대두되고 있다. [그림 1]에서 보여지듯이 사이버 명예훼손ㆍ모욕 발생/검거 건수는 2014년 8,880건에서 2019년 16,633건으로 급격히 증가하였다[3].

Fig. 1. 
Status of occurrence and arrest for cyber defamation or insult

악성 댓글 문제를 해결하기 위한 접근법은 크게 규제적 관점과 기술적 관점에서 살펴볼 수 있다. 규제적 관점에서 국내 포털 사이트인 다음(연예 뉴스)과 네이버(연예 뉴스)는 댓글을 폐지하였고 다른 포털 사이트는 IP 블랙리스트, 비속어 키워드를 이용한 자동 치환 기능 등을 적용하였다[4]. 기술적 관점의 접근법은 크게 통계 기반의 방법과 인공지능 기반의 방법으로 구분될 수 있다. 통계 기반의 방법에서 단어의 출현빈도와 역 문헌 빈도의 가중치를 사용한 SVM 모델은 68.05%의 정확도를 보여주었으며, FFP(Feature Frequency Profile)를 활용한 RandomForest 모델은 76.50%의 정확도를 보여주었다[5,6]. 인공지능 기반의 방법은 최대한 많은 특징들을 문장에서 추출하여 이를 기반으로 악성 댓글을 분류할 수 있는 모델을 학습하는 것이다. 인공지능 기반의 연구는 악성 댓글 예측을 위해 CNN-LSTM 모델을 활용하여 80.94%의 정확도를 보여주었으며, 다른 연구는 CNN-Attention 모델을 활용하여 70.32%의 가중 평균 F1 점수를 보여주었다[7,8].

기존 악성 댓글 문제를 해결하기 위한 접근 방법은 다음과 같은 한계를 가진다.

우선, 규제적 관점의 경우 악성 댓글은 비속어, 공격적인 문장뿐만 아니라 혐오 표현이 나타난 문장도 포함되기 때문에 악성 댓글을 명확하게 분류하기 어렵다. 또한, 기존의 인공지능 모델은 자연어 처리에 특화된 모형 적용이 이루어지지 않았으며, 이로 인하여 성능과 학습 속도에 한계를 가지고 있다. 따라서 본 논문은 기존 인공지능 모델의 한계를 보완한 transformer 기반 비윤리적 문장 탐지 모델을 제안한다. Transformer 기반의 모델링은 기존의 인코디, 디코더 구조를 유지하면서 고속의 병렬 연산이 행렬곱으로 가능하다는 장점이 있습니다.

본 논문은 다음과 같이 구성되었다. 2장에서는 이론적 배경을 설명하고 비윤리적 문장 탐지와 관련된 연구를 비교 분석하였다. 3장에서는 학습에 사용된 데이터셋과 모델의 구조를 소개하고 4장에서는 모델의 성능을 평가하기 위한 실험 결과를 분석하였다. 마지막으로 5장에서는 결론 및 향후 연구에 관해 설명한다.

제안하는 방법의 정량적인 성능 평가를 수행하기 위하여 정확도, 정밀도, 재현율 및 the Area Under the Receiver Operating Characteristic(AUROC)를 확인하였다. [그림 4]의 성능 평가 결과에서 확인할 수 있듯이, 제안하는 transformer 기반의 모형이 LSTM 및 attention 기반의 모델과 비교하여 전반적으로 우수한 성능을 보이는 것을 확인할 수 있었다. 정확도의 경우 transformer 기반의 모델이 0.946의 성능을 가지는데 반해 LSTM과 attention 모델의 경우 각각 0.946, 0.941의 성능을 보여주었다. 하지만, 정밀도의 경우는 LSTM 모델이 0.950으로 제안하는 모델보다 성능이 높은 것을 확인할 수 있었다. 재현율의 경우는 transformer 모델의 성능이 0.970으로 LSTM 및 attention 모델의 성능인 0.949, 0.963보다 우수한 것을 확인할 수 있었다. 따라서, 정밀도와 재현율의 F1 점수를 계산하여 종합적인 성능 비교를 수행하였으며, 제안하는 transformer 기반 모델이 0.955로, LSTM 및 attention 모델의 성능인 0.949, 0.945보다 높은 성능을 가지는 것을 확인할 수 있었다. 마지막으로, AUROC 성능을 비교한 결과 역시 transformer 모델이 0.949로, LSTM 및 attention 모델의 성능인 0.946, 0.940보다 높은 성능을 가지는 것을 확인하였다.

Fig. 4. 
Comparison of the performance of the proposed Transformer-based method with the existing LSTM and attention-based methods.

다음으로 [그림 5]와 같이 실제 테스트 데이터 데이터셋에 예측 모형을 적용하였을 때 결과를 분석해 보았다. 문장에서의 감정 표현이 비교적 명확한 문장에서는 제안하는 예측 모형이 일반 댓글과 악성 댓글을 명확히 구분하는 것을 확인할 수 있었다. 하지만, 표현이 모호하거나 중의적일 경우에는 예측에 있어 한계점을 가지는 것을 확인할 수 있었다.

Fig. 5. 
Examples of prediction results

본 논문에서는 비윤리적 문장 탐지를 위한 transformer 기반 모델을 제안하였다. SNS 상에 등장하는 비윤리적 문장은 다양한 형태와 규칙을 가질 수 있기 때문에 기존의 규칙 및 통계 기반의 접근 방식은 한계를 가진다. 제안하는 transformer 기반의 접근 방식은 기존 인공지능 기반의 접근 방식인 LSTM 및 attention 모델보다 정량적으로 우수한 성능을 보여주는 것을 본 연구를 통하여 확인하였다. 해당 모델은 transformer의 높은 성능과 빠른 학습 속도를 바탕으로 비윤리적 문장 탐지에 적극적으로 기여할 것이다. 또한, SNS와 댓글뿐만 아니라 유튜브, 트위치 생방송 등 스트리밍 서비스에서 활용할 수 있을 것으로 예상된다.

데이터셋의 크기가 작고 신뢰성이 다소 부족하여 모델의 예측에 부정적인 영향을 준 것으로 생각된다. 향후 더 많은 데이터셋을 확보한다면, 다양한 표현을 모델에 반영하여 개선된 성능을 확보할 수 있을 것이다.

이진 분류를 수행하였기 때문에 실제 환경에서 존재하는 인종, 지역, 성별, 나이 등 다양한 범주가 반영되지 않았다. 여러 범주에 따른 분류를 수행한다면, 후속 연구를 이끌어낼 것으로 예상된다.