부호화된 이분 네트워크 기반 온라인 허위 평가자 탐지

3-1 직관적 가정과 관찰

제안하는 모델을 검증하고 실험하기 위해 직관적인 가정들이 사용될 수 있는데, 본 논문에서는 선행 연구[10]에서보다 더욱 현실적인 가정들을 추가하였다. 이로써 실세계에서의 평가자들의 취향이나 행태를 보다 실질적으로 반영하였다.

• • 평가는 긍정 혹은 부정으로 단순하게 이루어진다.
• • 신뢰 있는 스토어는 허위 평가자를 두지 않는다.
• • 신뢰 없는 스토어는 1명 이상의 허위 평가자를 둔다. 각 허위 평가자는 단 1개의 신뢰 없는 스토어와 공모한다.
• • 진실한 평가자 수는 허위 평가자 수보다 상대적으로 많다.
• • 신뢰 있는 스토어는 맛있을 수도 있고 맛없을 수도 있다. 신뢰 있는 스토어의 맛있거나 맛없는 비율은 다양하게 설정 가능하다.
• • 허위 스토어는 맛이 없다.
• • 진실한 평가자는 맛있는 스토어에는 일정 확률로 긍정 평가 점수를 주고, 맛없는 스토어에는 일정 확률로 부정 평가 점수를 준다. 일정 확률은 다양하게 설정 가능하다.
• • 허위 평가자는 자신과 공모한 신뢰 없는 스토어에는 긍정 평가 점수를 주고, 그 외의 모든 스토어에는 부정 평가 점수를 준다.
• • 각 평가자는 자신이 평가한 스토어에 대해 단 하나의 평가 점수를 지닌다. 한 평가자가 한 스토어를 여러 번 평가한 경우 여러 평가 점수의 평균을 최종 평가 점수로 한다.
• • 참여하는 평가자는 최소 한 개의 스토어를 평가하며, 한 평가자가 평가할 수 있는 최대 스토어의 개수를 다양하게 설정할 수 있다.

위의 가정은 아직도 현실적이지 않은 부분이 있다. 평가가 긍정 혹은 부정으로 단순하게 이루어진다는 가정, 허위 스토어의 음식이 다 맛없다는 가정, 허위 평가자들은 자신이 공모하지 않은 음식점에 모두 부정 평가를 한다는 가정 등은 향후 보완할 필요가 있다.

그림 1은 앞에서 제시한 가정에 근거하여 평가자–평가–스토어 관계를 부호화된 이분 네트워크를 이용하여 표현하는 예이다. 평가는 긍정(1) 또는 부정(–1)으로 표현된다. U_i에서 S_i로의 연결 간선에서 긍정평가(1)는 실선으로 표시하고, 부정평가(–1)는 점선으로 표시하였다.

Fig. 1.

Signed Bipartite Network for reviews(1/-1) of Reviewer(U) and Store(S)

스토어 3개 중 S₁, S₂는 신뢰 있는 스토어이고 S₃는 신뢰 없는 스토어이며, 평가자 4명 중 U₁, U₂, U₃는 진실한 평가자이고 U₄는 S₃와 공모한 허위 평가자이다. S₁은 신뢰 있으나 맛없는 스토어, S₂는 신뢰 있고 맛있는 스토어이며, 신뢰 없는 스토어 S₃는 앞의 가정에 따라 맛없는 스토어이다. 평가는 앞에서 제시한 가정대로 이루어진다. 이 중 U₃의 맛없는 스토어 S₁에 대한 평가는 취향의 다름을 반영하여 긍정 평가가 이루어졌다고 보았다.

3-2 평가자 진실성지수

선행 연구에서와 같이 평가자의 진실성을 도출하였으나 본 연구에서는 다른 계산 방법을 사용한다. 선행 연구에서는 다음과 같은 추정에 의거하여 진실성지수를 계산하였다.

“진실한 평가자가 허위 평가자보다 많은 상황에서는 하나의 스토어에 대한 긍정 평가자과 부정 평가자 중 다수인 쪽이 진실일 확률이 높다.”

의견이 같은 대다수에 진실성을 몰아주는 단순한 방법을 사용한 선행 연구보다 정교한 방법을 사용하기 위해 다음과 같은 직관적 추정을 이용한다.

“하나의 스토어에 대해서 다른 평가자들과의 평가 점수 차이가 클수록 평가가 허위일 가능성이 높다.”

이 추정을 기반으로 다음과 같은 방식으로 평가자 간의 평가 차이를 분석하여 신뢰성을 보여주는 지수를 도출한다.

하나의 스토어에 대해서 다른 평가자들과 평가 점수 차이의 평균을 자신의 차이점수(DS: Difference Score)라 하고 모든 스토어에 대해 얻은 차이점수의 평균 점수가 그 평가자의 차이지수(DF: Difference Factor)가 된다. 이렇게 계산된 DF 값이 작을수록 평가자가 진실하다고 추정할 수 있다. 마지막 단계로, 차이지수를 아래와 같이 0과 1 사이로 정규화하여 진실성지수(TF: Trustiness Factor)를 계산한다.

TF = (2 – DF) / 2

이러한 진실성지수가 높을수록 평가자의 신뢰성이 높다고 추정할 수 있다. 표 1은 그림 1의 이분 네트워크로부터 진실성지수를 구하는 과정을 보여준다.

Table 1.

Difference Score, Difference Factor and Trustiness Factor of each reviewer

본 연구에서는 평가를 긍정(1) 혹은 부정(-1)으로 단순화하였으나 현실세계의 평가는 일정 범위의 점수를 선택하는 방식을 사용한다. 예를 들어 5점 척도를 사용하여 1(매우 나쁨)부터 5(매우 좋음)까지의 정수 값으로 평가가 이루어진다. 이러한 경우 차이지수를 이용하여 얻은 진실성지수는 더욱 정교한 계산을 가능하게 하여 더욱 유의미한 결과를 낼 것이다.

3-3 평가자 관계지수

관계지수를 측정함에 있어 선행 연구[10]와 개념적으로는 유사하나 모든 평가자가 모든 스토어를 평가한다는 가정을 본 연구에서는 제외하였으므로 관계지수 계산에 있어 다른 방법이 필요하다. 또한 2차원 배열의 계산을 반복하는 선행 연구의 계산 방법을 효율적으로 개선하였다.

평가자–평가–스토어로 이루어진 이분 네트워크에서 스토어 기반의 프로젝션 네트워크(Projection Network)를 도출하였다. 그림 2는 그림 1의 이분 네트워크로부터 각 스토어에 대한 평가자–평가자 관계를 보여주는 프로젝션 네트워크를 도출한 것이다. 각 스토어에 대한 동일한 평가를 내린 평가자들 사이에 연결 간선을 삽입하고, 연결된 평가자들을 긍정평가군, 부정평가군으로 군집화하여 컴포넌트로 표현하였다. 이때 평가자들 사이의 간선과 컴포넌트 묶음을 나타내는 선은 긍정인 경우 실선으로, 부정인 경우 점선으로 표현하였다.

Fig. 2.

Projection Network for each store (a)S1 (b)S2 (c)S3

그림 2의 (a)는 스토어 S₁에 대해서 부정 평가를 한 U₁, U₂, U₄가 부정평가군을 이루고 긍정 평가를 한 U₃는 단독으로 긍정평가군을 이루는 것을 보여준다. (b)는 스토어 S₂에 대해서 U₂와 U₃가 긍정평가군을 이루고 U₁, U₄는 미평가임을 보여준다. (c)는 스토어 S₃에 대해서 U₄는 긍정평가군, U₁과 U₃는 부정평가군을 이루며, U₂는 미평가임을 보여준다. 평가자들간의 관계 분석을 위해 다음과 같은 직관적 추정이 가능하다.

“같은 군에 속한 평가자가 많을수록 평가자들 간의 관계성이 높다고 볼 수 있고 그 관계성이 신뢰를 대변한다.”

이 관계성을 계산하기 위해서 하나의 스토어에 대해서 각 평가자는 같은 군에 속한 평가자를 전체 평가 인원수로 나눈 값을 관계점수(RS: Relation Score)로 얻게 되고 각 평가자는 모든 스토어에 대해 얻은 관계점수를 누적하여 그 평균을 낸 값인 관계지수(RF: Relation Factor)를 계산해 낼 수 있다. 이러한 관계지수가 높을수록 평가자의 신뢰성이 높다고 추정할 수 있다. 표 2는 그림 2의 프로젝션 네트워크로부터 관계지수를 구하는 과정을 보여준다.

Table 2.

Relation Score and Relation Factor for each reviewer

4-1 이분 네트워크를 인접행렬로 표현

앞 장에서 제시한 그림 1과 같이 평가가 이루어졌다고 가정하자. 평가 결과는 그림 3과 같은 인접행렬 BRM(Binary Review Matrix)에 저장된다. 이 때 긍정 평가는 1로 표현하고 부정 평가는 –1로 표현하며, 다음과 같은 사실을 표현한다.

Fig. 3.

Adjacency Matrix representing Bipartite Review Network which shows review relationships between reviewers and stores

신뢰 있는 스토어 GS₁, GS₂ 중 GS₁은 맛이 없고, GS₂는 맛이 있다. 신뢰 없는 스토어 BS₁은 맛이 없다.

GU₁, GU₂, GU₃는 진실한 평가자이고 BU₁₁은 BS₁과 공모한 허위 평가자이다.

진실한 평가자는 진실하게 평가하나 취향 차이에 의해서 평가가 엇갈릴 수 있다(GU₃의 GS₁에 대한 평가).

BU₁₁은 공모한 스토어 BS₁ 외에는 다 부정적으로 평가한다.

4-2 평가자의 진실성지수(TF: Trustiness Factor) 계산

BRM에 그림 3과 같은 방식으로 평가 결과가 저장되었다고 가정하고 이를 이용하여 다음과 같은 알고리즘으로 각 평가자의 진실성지수 TF를 계산한다.

Input: 　　　　gsNb, bsNb, guNb, totalBuNb,
　　　　　　　a matrix of BRM, a vector of ReviewNum_u
Output:  　　　a vector of TF_u
     BRM으로부터 DS_us 를 계산
     for all s (1 ≤ s ≤ gsNb + bsNb)
          for all u (1 ≤ u ≤ guNb + totalBuNb)
               DS_u = DS_u + DS_us
     for all u (1 ≤ u ≤ guNb +  totalBuNb)
          DF_u = DS_u / ReviewNum_u
     for all u (1 ≤ u ≤ guNb +  totalBuNb)
          TF_u  = (2 – DF_u ) / 2

이 알고리즘은 다양한 수준의 평가 점수에 대해서 적용 가능하며, 평가 점수가 1, –1로만 구성됨을 고려하는 경우 실제 계산은 보다 효율적인 계산식을 이용할 수 있다. 이 알고리즘에 따라 그림 3의 예에 대해 TF 값을 계산한 결과는 다음과 같다.

TF₁ = 0.583333333
TF₂ = 0.833333333
TF₃ = 0.5
TF₄ = 0.333333333

여기서 TF 값이 상대적으로 높은 U₁, U₂, U₃는 진실한 평가자이고, TF 값이 낮은 U₄는 허위 평가자일 가능성이 높다고 판정할 수 있다. 그림 4는 이 평가 결과에 대한 TF 값 분포를 보여준다. 파란색 점으로 나타낸 진실한 평가자의 TF 값은 상단에 분포하고, 붉은색 x 표로 나타낸 허위 평가자의 TF 값은 하단에 분포함을 알 수 있다.

Fig. 4.

Scatter Plot representing the distribution of TF of 4 reviewers

4-3 평가자–평가자 관계 분석을 위한 프로젝션 네트워크 개념 구현

스토어 s에 대한 긍정 평가자 집합 PUS_s와 부정 평가자 집합 NUS_s를 이용하여 각 스토어에 대한 평가에서의 평가자–평가자 관계를 2차원 인접행렬인 프로젝션 네트워크를 표현할 수 있다. 그림 3의 BRM을 프로젝션 네트워크로 표현하면 그림 5와 같다. 하나의 스토어에 대해서 긍정평가를 한 평가자들끼리는 연결선을 가중치로 표현한다. 긍정은 1, 부정은 –1로 가중치를 준다.

Fig. 5.

Adjacency Matrix representing Projection Network for each store (a)S1 (b)S2 (c)S3

그림 5와 같은 프로젝션 네트워크를 표현한 인접행렬에서 관계지수를 계산할 수 있다. 계산의 효율성을 위해서 그림 5와 같은 인접행렬로 계산을 수행하는 대신 1차원 배열 RST_u를 이용하였으며 알고리즘은 다음과 같다.

Input: 　　　　gsNb, bsNb, guNb, totalBuNb, 
　　　　　　　a matrix of BRM,  a vector of ReviewNum_u
Output: 　 　　a vector of RF_u 
     for all s (1 ≤ s ≤ gsNb + bsNb)
          for all u (1 ≤ u ≤ guNb +  totalBuNb)
               if BRM[u][s]이 1이면    // U_u가 S_s에 긍정 평가
                    u를 집합 PUS_s에 넣음
               else if BRM[u][s]이 –1이면  // U_u가 S_s에 부정 평가
                    u를 집합 NUS_s에 넣음
          // RS 계산 및 누적
          for all u ∈ PUS
               RS_us = |PUS_s| / reviewedNum_s
               RST_u = RST_u + RS_us     // RS_us 누적
          for all u ∈ NUS
               RS_us = |NUS_s| / reviewedNum_s
               RST_u = RST_u + RS_us    // RS_us 누적
     for all u (1 ≤ u ≤ guNb + totalBuNb)
          RF_u = RST_u / reviewNum_u

이 알고리즘에 따라 그림 3의 평가 예를 이용하여 각 평가자의 RF 값을 계산한 결과는 다음과 같다.

RF₁ = 0.708333333
RF₂ = 0.875
RF₃ = 0.638888889
RF₄ = 0.541666667

이 4명의 평가자 중에서, RF 값이 상대적으로 높은 U₁, U₂, U₃는 진실한 평가자일 가능성이 높고, RF 값이 상대적으로 낮은 U₄는 허위 평가자일 가능성이 높다고 판정할 수 있다. 그림 6은 이 평가 결과에 대한 RF 값 분포를 보여준다. 이 그림에서 진실한 평가자의 RF 값은 상단에 분포하고, 허위 평가자의 RF 값은 하단에 분포함을 볼 수 있다.

Fig. 6.

Scatter Plot representing the distribution of RF of 4 reviewers

4-4 시뮬레이션

시뮬레이션을 위한 설정 및 진행은 다음과 같이 두 단계를 거친다. 첫 번째 단계에서는 본 논문에서 제시한 모델의 정당성 및 효과성을 검증하기 위한 선행 준비로서 실세계의 평가 행태를 반영하여 데이터를 발생시키는 데 집중한다. 이를 위해 3장 1절에서 제시한 관찰과 가정들을 사용하였다.

두 번째 단계에서는 앞 단계에서 발생된 평가 데이터에 본 연구의 모델을 적용한다. 이 단계에서는 앞에서 제시한 알고리즘으로 평가자의 신뢰성을 추정하기 위한 지표를 계산하고 타당성을 분석한다.

4-5 결과 분석

본 논문의 실험에서는 실제 평가 데이터를 사용하는 전 단계로 현실을 반영하도록 인위적으로 생성한 평가 데이터를 이용한다. 이러한 인공 평가 데이터에서는 진실한 평가자와 허위 평가자를 명확히 구분할 수 있다. 판별 결과를 미리 아는 상태에서 실험하여 본 논문에서 제시하는 모델이 실제로 허위 평가자를 어느 정도 판별해 낼 수 있는가를 정확히 검증할 수 있다.

다양한 크기의 평가 데이터를 생성하여 실험하여 유사한 수준으로 모델의 타당성을 확인하였다. 이 절에서 제시하는 결과 분석 예에서는 신뢰 있는 스토어 개수 1,000, 신뢰 없는 스토어 개수 20, 진실한 평가자 수 10,000, 총 허위 평가자 수 100의 크기로 평가 데이터를 생성하였다.

또한 현실 세계의 평가 행태를 다양한 측면에서 반영하여 평가 데이터를 생성했다. 이를 위해 아마존 웹 서비스(AWS)에서 제공하는 고객 평가 데이터(Amazon Customer Reviews Dataset)를 분석하여 현실 세계를 반영하도록 실험에 사용한 인자들의 값을 지정하였다. REVIEW_MAX는 30으로 설정하였다. 여기서 각 평가자의 평가 횟수는 REVIEW_MAX 이하의 랜덤 값으로 정하되, 평가 횟수가 적은 사용자가 대다수이고 평가 횟수가 많은 평가자는 소수가 되도록 가중치 랜덤(weighted random) 값으로 지정하였다. SAME_PREF_RATE는 90%로 설정하였다. 맛있는 스토어의 수가 맛없는 스토어의 수가 상대적으로 많다는 점을 반영하여 HOT_STORE_RATE는 75%로 설정하였다. 각 평가자의 허위 여부를 판별하는 기준인 LOWER_TRUST_RATE는 10%로 하여 결과를 분석하였다.

그림 7은 다음과 같은 입력 값으로 생성한 평가 데이터에 대해 TF 값을 분석한 결과를 보여준다.

Fig. 7.

Scatter Plot representing the distribution of TF of 10,100 reviewers

gsNb = 1,000
bsNb = 20
guNb = 10,000
totalBuNb = 100

이 그림에서 0에서 1 사이의 다양한 TF 값 분포를 볼 수 있다. 파란색 점은 진실한 평가자의 TF 값이며, 붉은색 x표는 허위 평가자의 TF 값이다. 대다수의 진실한 평가자의 TF는 상대적으로 1에 가까운 쪽에 위치하고, 허위 평가자의 TF는 상대적으로 0에 가까운 쪽에 위치한다. 하위 10% 선은 이 선 아래에 위치한 평가자, 즉 TF 값이 하위 LOWER_TRUST_RATE 비율(10%)에 속하는 평가자를 허위 평가자로 판단하여 유효 평가 데이터에서 제외하기 위한 것이다. 이 실험 예에서는 100명의 허위 평가자 중에서는 1명 이 선의 윗부분에 놓여 제외되지 않고, 10,000명의 진실한 평가자 중에서는 911명이 이 선의 아랫부분에 놓여 제외되는 결과를 얻는다. 즉, TF 값이 하위 10%인 평가자의 평가를 모두 제외하는 경우, 100명 중, 99명의 허위 평가자를 걸러내므로, 효과적으로 허위 평가자를 판별할 수 있음을 보여준다.

그림 8은 그림 7과 동일한 입력 평가 데이터에 대해 RF 값을 분석한 결과이다. 대다수의 진실한 평가자의 RF는 1에 가까운 쪽에 위치하고, 허위 평가자의 RF는 상대적으로 0에 가까운 쪽에 위치한다. 하위 10% 선을 기준으로 볼 때, 100명의 허위 평가자 중에서는 0명이 윗부분에 놓이고, 10,000명의 진실한 평가자 중에서는 910명이 이 선의 아랫부분에 놓인다. 즉, RF 값이 하위 10%인 평가자의 평가를 모두 제외하는 경우, 100명 중, 100명의 허위 평가자를 걸러내므로, RF를 이용한 방법 역시 허위 평가자를 판별하는 기능에서 높은 정확도를 보여 준다.

Fig. 8.

Scatter Plot representing the distribution of RF of 10,100 reviewers