Journal Archive

참고문헌 [7]에는 가중치를 학습 중에 +1 혹은 -1로 강제하여 학습시키는 BNN(Binarized Neural Networks) 알고리즘을 제안하였다. 이 방법은 XNOR과 popcount(바이너리 벡터의 맨해튼 거리) 연산을 모방하여 파라미터를 학습시킨다. 학습 중에 가중치를 바이너리로 변환시키는데, 이에 해당하는 함수 sign은 다음과 같다.

단, 바이너리 가중치를 이용하여 입력값에 행렬곱 하는 경우, 해당 학습 모델은 학습 속도가 늦는 뿐더러, 각 가중치가 학습 전반에 미치는 영향이 큰 것으로 판단된다. 때문에 정규화하는 과정이 필수인데, 이때 사용하는 BN (Batch Normalization) 알고리즘은 다음과 같다[8].

Fig. 2. 
Batch normalization(ϵ is a sufficiently small number)

BN을 취한 이후, 마지막 레이어를 제외한 출력값에 sign 함수를 취해준다. 마지막 레이어를 통과하여 결과값을 얻은 후, 역전파 알고리즘을 수행하여 기울기를 구한다. 이때 기울기는 바이너리 값이 아닐 수 있다. 구한 기울기 값을 바탕으로 ADAM(ADAptive Moment Estimation) 알고리즘을 활용해 파라미터를 업데이트한다[9]. 마지막으로, 파라미터의 값에 다음과 같은 clip 함수를 취한다.

일반적으로, 딥러닝에서의 다층 퍼셉트론 MLP (Multilayer Perceptron)는 입력값이 여러 개의 단층 퍼셉트론과 비선형함수 등을 통과하게 설계된 알고리즘을 말한다. 여기서 단층 퍼셉트론 Dense(x)는 입력값 x, 가중치 행렬 W, 편향값 b에 대해 다음과 같은 함수를 통과하는 알고리즘을 말한다.

단층 퍼셉트론을 통과한 출력값은 입력값과 선형 관계에 놓이는데, 이를 ReLU와 같은 비선형함수를 통과하게 하여 선형성을 지울 수 있다. 그리고 이 과정을 여러 번 거치는 것이 MLP가 된다. 최근에는 MLP를 다른 딥러닝 모델의 일부로 사용하는 추세이다.

LSTM에서는, 순환 모델의 장기 의존성 문제를 해결하기 위해 LSTM 이라는 순환 인공 신경망 (RNN)을 제안하였다[10]. 이 방법은 시계열 데이터의 서로 멀리 떨어진 값 간의 관계를 학습하기 힘들어하는 문제를 해결하기 위해, 입력 게이트, 출력 게이트, 망각 게이트를 도입하여 메모리를 선별적으로 갱신한다.

Fig. 3. 
Outline of LSTM processing time series data

LSTM에서 입력값 x에 대해 입력 게이트 i, 출력 게이트 o, 망각 게이트 f는 각각 다음과 같다.

여기서, W, U는 가중치 행렬, b는 편향값, σ는 시그모이드 함수, t는 time step이다. 그리고 h는 LSTM의 은닉 상태 벡터이자 출력값으로, 그 수식은 다음과 같다.

여기서, c는 셀 상태 벡터로, 그 수식은 다음과 같다.

여기서 c₀ = 0, h₀ = 0이다.

BLL은 입력값에 선형변환 가중치 W를 행렬 곱한 후, Slope 함수를 취해준다.

Fig. 5. 
Graph of Slope function

여기서 Slope 함수는 HardTanh 함수를 누수(leaky)하게 구현한 것으로, 한쪽으로 크게 치우친 값이 역전파를 통해 학습이 진행되도록 한다. Slope 함수는 입력값 x, 기울기 α에 대해 다음과 같다.

다만, 가중치 또한 0 혹은 1로 고정되어야 한다. 여기서는 가중치에 sigmoid 함수를 취하여 그 역할을 모방하였다. 따라서, BLL을 수식화하면 다음과 같다.

DANN에 사용되는 두 번째 모델로는 RBL이며, BLL에 기억 능력을 더한 것으로, 이전의 행동을 0 혹은 1로 기억해 두었다가, 새로운 입력이 들어오면 이에 반영한다. RBL를 이용하면 시계열 데이터에 대한 처리가 가능하다. RBL의 각 시계열 입력값의 뉴런들은 순서를 섞을 수 있다고 가정한다. 또한 이를 구현하는 함수를 shuffle 함수라고 가정하겠다.

RBL을 활용하려면, 먼저 메모리 h를 0으로 초기화시킨다. 메모리는 이전 행동의 형태를 기억했다고 간주한다. 그리고 x_t와 h_t을 결합하여 shuffle 함수를 취해준 a_t을 만들고, 또 a_t과 1 - a_t을 결합하여 b_t를 만든다. 이를 통해 b_t는 x_t, x_t´, h_t, h_t´을 모두 표현할 수 있다. 이후 BLL에 b_t를 입력하여 c_t을 만들고, 여기서 k_t = 1 - c_t을 구한다. 여기서 k_t는 b_t에 대한 부울 함수의 관계를 가진다. 마지막으로, k_t를 BLL에 입력하여 각각 y_t과 h_t+1을 구한다.

Fig. 6. 
Outline of RBL

제안된 방법의 성능을 평가하기 위해, 32비트의 부호 없는 두 정수의 덧셈을 출력하는 모델을 구현한다. 두 입력값 x,y가 기댓값 z에 대해 다음의 관계(식 10)를 가진다.

식 (10)에서 add는 두 부울 벡터 x,y를 전가산기를 이용하여 덧셈 연산하는 함수를 의미한다. 다음 실험의 평가를 위한 오차 loss는 제곱평균오차를 사용하며, 기댓값 z와 예측값 z´에 대해 다음의 관계를 가진다.

실험에 사용될 데이터 셋으로는 훈련 데이터 셋, 평가 데이터 셋이 있다. 훈련 데이터 셋은 0부터 10,000 사이의 세 개의 수 x,y,z의 쌍 중 10,000 개를 가진다. 평가 데이터 셋은 100,000부터 1,000,000 사이의 세 개의 수 x,y,z의 쌍 중 1000 개를 가진다. 본 실험은 [Ubuntu 18.04.1 LTS (Bionic Beaver)] 운영체제, 64GB 메모리, CPU로 [Intel(R) Core(TM) i7-8700K CPU @ 3.70GHz]를 사용한다.

DANN의 RBL을 이용하여 실험군 모델은 그림 7에 나타내었다. 여기서 add = RBL이며, 학습은 Adam을 이용하여 훈련 데이터 셋에 대해 10개 배치 단위로 학습한다. 만약 loss가 0.001 이하로 감소할 경우, 데이터 셋을 모두 학습하지 않고 마친다.

Fig. 7. 
Outline of experimental group model

실험의 비교를 위한 대조군은 LSTM과 MLP를 이용한다. 그림 8은 LSTM 모델 개요도를 보이고 있고, 여기서 add는 순서대로 LSTM, BatchNorm, Dense 레이어를 통과하는 것을 의미한다. 학습은 Adam을 이용하여 훈련 데이터 셋에 대해 10개 배치 단위로 학습한다. 만약 loss가 0.001 이하로 감소할 경우, 데이터 셋을 모두 학습하지 않고 마친다.

Fig. 8. 
Outline of comparative group(LSTM) model

그림 9는 MLP 모델 개요도를 보이고 있고, 여기서 add는 순서대로 Dense, ReLU, Dense 레이어를 통과하는 것을 의미한다. 학습은 Adam을 이용하여 훈련 데이터 셋에 대해 10개 배치 단위로 학습한다. 만약 loss가 0.001 이하로 감소할 경우, 데이터 셋을 모두 학습하지 않고 마친다.

Fig. 9. 
Outline of comparative group(Dense) model

실험군과 대조군의 성능을 평가하기 위해, 두 척도를 이용하기로 한다. 첫 번째로 평가 데이터 셋의 loss를 단순 비교한다. 두 번째로 예측값의 정확도를 측정한다. 정확도는 예측값과 기댓값의 각 자릿값의 맨해튼 거리가 0.5 이하일 때 1점, 아닐 때 0점을 주어 전체 자릿값에서 그 평균을 구한 것이다. 각 척도는 위의 실험을 30번 반복하여 그 평균을 낸 값을 기록한다.

실험군과 대조군 모두 훈련 데이터 셋의 loss는 학습이 중단되는 지점인 0.001에 접근하였다. 표 1은 위의 평가 방법을 토대로 각 모델의 성능을 평가한 것이다. 표에서 DANN은 실험군을, LSTM은 LSTM을 이용한 대조군을, Dense는 Dense를 이용한 대조군을 의미한다. 제안 방법은 100%의 평균 정확도를 가졌다. 반면 LSTM과 Dense는 0%의 평균 정확도를 가졌다. 결론적으로 제안 방법은 학습이 정상적으로 이루어졌으나, 대조군의 경우 학습이 이루어졌다고 볼 수 없었다.