Journal Archive

Collaborative Filtering 협업 필터링기반은 사용 고객의 행동을 분석하고 서로 비슷한 사용자들이 관심 있는 정보를 추천하는 유사도 분석 기술이다. 고객의 과거의 행동이 미래에도 유지된다는 가정에 근거하여 데이터를 분석하는 것이다. 이 시스템은 많은 사용자 관련 정보가 필요하지 않고도 양질의 추천 결과를 키워드 연관분석을 통해 제공할 수 있다. 다만 많은 수의 키워드 검색 결과와 검색 빈도수를 통해서 양질의 결과를 통해 안정적인 품질을 갖출 수 있다. [8], [9] 협업 필터링은 User-based filtering과 item-based filtering이 있다. 가장 직관적인 추천 방법은 어떤 사용자의A라는 상품 구매 를 예측하기 위해서 A상품을 선택한(구매한) 다른 사용자의 과거 검색 결과의 행동 데이터를( 검색 후 클릭을 하여 상품을 선택 했는가) 이용한다.

서포트 벡터 머신은 기계학습 중 패턴 인식을 통한 지도 학습 모델로 본 논문에서 추천 상품을 조금 더 빠르게 생성하기 위해서 SVM을 이용하여 데이터를 분류하는 Data Classification 모듈을 사용하여 검색 후 사용자가 입력한 키워드와 결과 중 선택된 상품을(item)을 이용하여 분류한다. 행을 사용자가 입력한 keyword로 열을 해당 키워드의 검색결과에서 표시된 items로 데이터를 구성하였고 선택된 item을 범주형 데이터 빈도수 값으로 변환하여 행렬을 구성하였다. [2]-[4]

Fig. 1. 
Sparse Matrix

Logistic Regression 분류 모형은 새로운 종속변수와 독립변수를 이용하여 사건의 발생 가능성을 예측 분류한다. 본 논문에서는 키워드를 통해 상품이 선택된 여부의 값(0과1)의 범주형 데이터를 이용하여 정보를 분류하고 추천하는데 사용하는 분석방법으로 채택한 모델이다. 실험에서는 키워드와 키워드간의 유사도를 측정하기 위한 모형으로 적용하였다.[8] 특정 검색 키워드를 통해 사용자가 선택한 상품을 또 다른 키워드의 검색 결과에서도 사용자가 선택하게 되는 패턴이 있는데 이런 경우 자연어처리 기술을 통하지 않아도 유사한 키워드라는 점을 예측할 수 있다는 접근이다. e커머스의 검색 결과에서 갖추고 있는 검색 엔진은 동의어사전, 유사어 사전등이 존재하지만 이 부분은 새로운 단어와 언어의 중의성을 맥락에 맞게 갖추기는 어렵다. 그러므로 사용자가 행동한 데이터가 어떤 결과를 과거에 갖고 있고 현재 새로 발생하는 패턴은 무엇인가를 계속 관리하여 키워드간의 사용자 행동 패턴 유사성을 관리할 필요가 있음을 분석하려는 목적에서 사용되었다.

본 논문에서 사용된 데이터셋은 실제 국내 운영되는 전자상거래에서 발생한 데이터를 활용한 것으로 연구하였다. 평균 월 190만 UV, 1천만 PV를 기록하는 전자상거래 사이트로 사용자는 주당 평균 10만 Buyer가 기록한 검색 트래픽을 추출하였고 데이터 셋에 포함된 상품수는 15만개 이다.

사용자로부터 얻는 행동 기반의 정보인 Search Keyword(검색키워드)를 새로운 데이터인 하나의 변수로 하고, 과거의 자료를 분석하는 벡터들은 Click이 발생한 상품코드(ItemCode)와 카테고리코드(CategoryCode), 검색 결과 페이지에서 상품마다 접속하기 전에 직전 페이지에서 입력한 검색키워드를 Referred Keyword로 별도로 추가 기록하여 이를 통한 Click이 발생한 키워드와 상품과의 관계를 연결점으로 두었고, Items의 사용자들의 선택 빈도 Click Frequency값을 범주형으로 변환하여 1 ~ 5값을 만들었다. 범주형으로 변환한 기준은 채택되지 않은 상품의 값은 NA(0)로 하였다. 그 외 1 ~ 5값의 범주는 전체 Site 방문자 트래픽의 검색 결과로 쌓인 Click의 정수를 분포하여 특정값 이상은 5로 지정하였고, 나머지를 1~4를 기록하였다. [4]-[7] Netflix의 영화 평점처럼 추천에서 사용할 값이다.

LR분류에서 사용할 또 다른 범주형 데이터 값으로 키워드를 과거에 선택된 값의 여부와 정도를 0과 1로 분류 한다. 분석에 필요한 Web Data를 수집하여 DB로 이관 작업을 진행하였으며, 정제된 데이터 구조는 다음 표1의 테이블정의서의 내용과 같다. 또한 논문에서 제안하는 키워드의 관계지수는 알고리즘을 통하여 User의 Search Keyword를 입력받아 분석에 필요한 Referred Keyword 포맷으로 재가공하여 주는 Create Keyword-item Network 과정을 거치게 된다. [8] 이 과정에서 검색어 중 사용자에게 선택된 검색어는 상품과 연관성을 갖게 되는 연관키워드로 기록된다. Item 기준으로 볼 때 나를 찾게 되는 과정에 사용되는 키워드가 어떤 키워들인지 쌓이는 것이다. 쌓인 키워들은 역시 Frequency가 발생하게 되고 각 상품과 키워드의 빈도로 인해 연관분석을 할 수 있는 데이터가 추출된다.

실험 과정에 관한 설명을 그림 2.로 프로세스를 정리하였다.

Fig. 2. 
Experimental Process

우선 준비된 데이터를 이용하여 Feature Selection 과정에서는 속성간의 상관관계를 분석하기 위해서 형변환을 한다. 1~5의 Frequency Rating점수를 행렬을 통해 변환한다. Rating 5를 받은 상품은 더 많은 사용자가 선택하였다는 것으로 이 해당 키워드에 가장 적합한 구매력이 있는 상품이라는 것으로 같은 상품이 서로 높은 Rating점수를 받은 키워드는 유사한 키워드라고 볼 수 있을 것이다. 예를 들어 “만두”라는 키워드와 “고기만두”라는 검색 키워드 일 수 있다. 기본 전제는 입력된 키워드를 통하여 사용자가 특정 상품을 더 많이 Click 하였다면 같은 상품군을 선택한 결과를 갖고 있는 또 다른 검색 키워드는 유사성을 갖는다는 점이다. 그리고 그 키워드가 찾는 상품을 이 가설을 통해 사용자에게 추천할 수 있다.

실험을 위하여 사용한 데이터는 평균 월 190만 UV, 1천만 PV를 기록하는 사이트의 데이터를 추출하여 사용하였다. 사용자는 주당 평균 10만 Buyer가 기록한 검색 트래픽을 추출하였고 데이터셋에 포함된 상품의 수는 품 15만개이다. 본 연구의 실험은 R-Programing을 통하여 데이터를 테스트 훈련데이터와 모델평가를 반복하였다. LR 모델평가는 키워드와 키워드의 유사도를 특징하는 것으로 0과 1 범주형으로 레이블 분류하는 목적으로 진행하였다. 기본 전제는 입력된 키워드를 통하여 사용자가 특정 상품을 더 많이 Click 하였다면 같은 상품군을 선택한 다른 키워드는 유사성을 같는다는 가설이다.

표 2.는 상품 중 하나를 예를 들어 00만두라는 상품에 방문한 빈도수 높은 검색 키워드가 “만두”인 검색어와 “군만두”, “냉동만두” 등인 검색어의 유사도를 측정한 것이다.

그림 3은 이 키워드들을 ROC 커브 그래프로 그린 것이다.

Fig. 3. 
Logistic Regression

AUC : 0.75 / P-Value : 5.757e-05 / 민감도: 0.90 / 특이값 : 0.42

SVM모델평가는 추천 상품을 조금 더 빠르게 생성하기 위해서 데이터를 분류하는 Data Classification 분류 모델을 사용하였다. 키워드 검색 후 사용자가 선택한 상품의 특징을 판단하여 분류 한다. 추천 상품을 조금 더 빠르게 생성하기 위해서 행을 사용자가 입력한 keyword로 열을 해당 키워드의 검색결과에서 표시된 items로 데이터를 구성하였고 선택된 item을 범주형 데이터 빈도수 값으로 변환하여 행렬을 구성하였다. 0은 선택되지 않은 값이며 1~ 5의 범주형으로 사용자의 행동 데이터를 변환하였다. 해당 e커머스의 데이터 사이즈가 크므로 1 클릭이 1의 범주형 값이 아니며 count를 5단계로 분포하였고 특정 click 이상은 5값으로 정의 하였다. 그림 4는 이 추천 상품의 평점 예측 민감도, 특이도를 ROC커브로 그린 것 이다.

Fig. 4. 
Support Vecter Machine

AUC:0.76/P-Value0.067 민감도 : 0.88 / 특이값 : 0.39

CF모델평가는 아이템기반과 키워드(유저)기반을 비교하였다. 키워드 기반의 RMSE값이 조금 더 좋은 성능을 보였다.

아이템 기반으로 추천할 때의 유사도 추천보다 키워드- 키워드의 협업필터링 결과가 높은 것으로 보았을 때 위 표 2. 기반으로 보면 “만두” 라는 검색어와 Referred Rate가 높은 “고향만두” 검색어의 결과에서 많이 채택된 상품은 “만두” 검색 결과에서 역시 추천하였을 때 고객 선택이 높을 것으로 예측 할 수 있다.

UBCF는 사용자=키워드라는 형태로 대입된 훈련데이터와 모델 평가 이다. 키워드에 따라 Click 선택된 유효값을 범주형 데이터로 적용하였으며 이를 Netflix의 평점처럼 생각하여 다른 유사한 키워드가 해당 상품을 Click할 추천 상품을 선별하는 것에 사용되었다.