Dynamic Stale Synchronous Parallel 기법을 활용한 분산 병렬 딥러닝 구조

2-1 동기식 학습 방법의 특징 및 한계점

동기식 학습 방법에는 대표적으로 BSP(bulk synchronous parallel) 학습 방법이 있다 [4]. Fig.2(a)에 보이는 것처럼, 동기식 학습 방법은 ‘빠른 worker’들이 한 번의 학습 과정을 완료한 뒤, 다음의 학습 과정을 독립적으로 진행하지 않고, ‘느린 worker’들의 학습 과정도 완료가 될 때까지 대기하는 학습 방법이다. 이에 모든 worker들은 다음과 같은 방법으로 새로운 global parameter를 동기화 받아서 다음의 학습 과정을 진행한다.

Fig. 2.

Synchronous vs. Asynchronous Learning Progress

각 worker는 한 번의 학습 과정을 통해서 계산한 gradient를 parameter server에 전송한다. 이에 parameter server는 모든 worker들로부터 전송받은 gradient들을 차례로 global parameter에 적용한 뒤, 모든 worker들에게 새로운 global parameter를 동기화 한다. 그렇기 때문에 worker들은 서로 동일한 global parameter를 제공받아서 다음 학습 과정을 진행한다. 즉, 동기식 학습 방법은 worker들의 local parameter들이 parameter server의 global parameter를 대표하면서 학습을 진행하기 때문에 학습 정확도를 보장할 수 있게 한다. 그러나, 매 학습 과정마다 ‘빠른 worker’들이 ‘느린 worker’들을 대기하면서 발생되는 barrier overhead(배리어 동기화 비용)로 인하여 학습 속도가 저하된다는 한계점을 가지고 있다. 동기식 학습 방법의 이러한 한계점은 노드의 수가 많을수록, 노드들 간 성능 차이가 클수록 분명하게 나타난다.

2-2 비동기식 학습 방법의 특징 및 한계점

비동기식 학습 방법에는 대표적으로 Downpour SGD(stochastic gradient descent) 학습 방법이 있다 [9]. 비동기식 학습 방법은 동기식 학습 방법의 barrier overhead를 제거함으로써 학습 속도를 높여 학습 시간을 단축시키기 위한 학습 방법이다. Fig.2(b)에 보이는 바와 같이, 비동기식 학습 방법은 각 worker가 한 번의 학습 과정을 완료한 뒤, 다른 worker들을 기다리지 않고, 독립적으로 다음의 학습 과정을 진행하는 학습 방법이다. 이에 각 worker는 다음과 같은 방법으로 새로운 global parameter를 동기화 받아서 다음의 학습 과정을 진행한다.

각 worker는 한 번의 학습 과정을 통해서 계산한 gradient(파라미터 변화속도)를 parameter server에 전송한다. 이에 parameter server는 Fig.3에 보이는 것처럼, 특정 worker로부터 전송받은 gradient를 그 즉시 global parameter에 적용한 뒤, 해당 worker에게만 새로운 global parameter를 동기화 한다. 그렇기 때문에 worker들은 서로 동일하지 않은 global parameter를 동기화 받아서 다음의 학습 과정을 진행한다. 즉, 비동기식 학습 방법은 각 worker의 독립적인 학습으로 barrier overhead가 발생되지 않기 때문에 빠른 학습 속도를 지원한다. 그러나, 대다수의 ‘빠른 worker’들이 상당한 학습 진도를 진행한 상황에서 ‘느린 worker’들의 유효도 낮은 gradient들이 global parameter에 적용되어 학습 정확도가 저하된다는 한계점을 가지고 있다.

Fig.3.

Global parameter Update Process in Asynchronous Learning

2-3 SSP 학습 방법의 특징 및 한계

SSP 학습 방법은 동기식 학습 방법과 비동기식 학습 방법의 한계점을 threshold와 각 노드의 local cache를 운용함으로써 학습 속도와 학습 정확도 개선을 고려한 학습 방법으로 다음의 특징을 갖는다.

• (1) worker는 학습을 진행하는 thread를 의미하며, 특정 worker가 완료한 학습 과정의 총 Iteration 수를 ‘학습 진도’라고 정의하고, 이를 c로 표현한다.
• (2) 특정 worker의 local parameter에 대한 gradient 계산 과정을 ‘학습 과정’이라고 정의하고, 해당하는 worker의 local parameter를 W_{i, j, c}로 표현하며, W_{i, j, c}에 대한 gradient는 G_{i, j, c}로 표현한다. 이때, 아래 첨자 i는 worker가 존재하는 노드의 인덱스(Index), j는 worker의 인덱스, c는 worker가 G_{i, j}를 계산한 시점의 학습 진도를 의미한다.
• (3) Bounded Iteration Difference:
•     ‘빠른 worker’와 ‘느린 worker’ 간 학습 진도의 차이는 threshold를 통해서 일정량으로 제한되며, threshold는 s로 표현하며 다음 조건을 만족한다.
•     → (가장 ‘빠른 worker’의 학습 진도 ― 가장 ‘느린 worker’의 학습 진도) ≤ s
• (4) Time Stamp gradient:
•     worker가 계산한 G_{i, j}는 c와 함께 parameter server에 전송되어 global parameter를 갱신하는데 사용된다.
•     → parameter server에 전송되는 gradient의 형식: G_{i, j, c}
• (5) Model State Guarantee:
•     학습 진도 c에 있는 worker가 동기화 받는 parameter는 모든 worker들에 대하여 time stamp ≤ c ― s ― 1인 모든 G들이 적용된 것임을 보장한다.
• (6) Read Local Write:
•     각 worker는 항상 자신이 계산한 G_{i, j, c}가 적용된 W_{i, j, c}를 가진다.

SSP 학습 방법의 첫 번째 특징적 요소는 threshold를 운용하는 것이다. 한 예로 Fig. 4와 같이, 가장 ‘느린 worker’의 학습 진도를 기준으로 학습 진도의 차이가 threshold를 초과하는 worker들은 가장 ‘느린 worker’가 진행 중인 학습 과정을 완료할 때까지 대기하고, 학습 진도의 차이가 threshold를 초과하지 않는 worker들은 독립적으로 다음의 학습 과정을 진행한다. 이와 같이 threshold는 worker들에게 부분적인 독립성을 부여함으로써 동기식 학습 방법에서 매 학습 과정마다 ‘빠른 worker’들로 인하여 발생되는 barrier overhead를 감소시켜 학습 시간을 단축할 수 있게 한다. 이 때, threshold는 비동기식 학습 방법에서 ‘빠른 worker’들과 ‘느린 worker’들 간 학습 진도의 차이가 벌어지면서 발생하는 ‘느린 worker’들이 너무 오래된 parameter를 활용한 학습을 제한하는 역할을 담당한다.

Fig. 4.

SSP Learning Process

SSP 학습 방법의 두 번째 특징적 요소는 local cache를 운용하는 것이다. 한 예로 기존의 동기식 학습 방법과 비동기식 학습 방법은 local cache를 운용하지 않았기 때문에 parameter server 동기화로 인한 server의 부하 집중현상과 과도한 network traffic이 불가피하였다. 그러나 SSP 학습 방법은 Fig. 5와 같이, 각 노드의 processor cache와 각 worker thread마다 thread cache를 두어 parameter server 동기화 회수를 줄임으로써 network traffic overhead를 감소시켜 학습 시간을 단축시킬 수 있다.

Fig. 5.

Parameter server and Cache Structure in SSP Learning

3-1 DTSSP 방법의 제안 동기

일반적으로 분산컴퓨팅에 참여하는 다양한 노드들은 선천적으로 성능 차이를 가지고 있고, 경우에 따라 딥러닝 이외의 외부 프로세스의 영향을 받아서 노드 간 성능 차이는 적잖이 커질 수 있다. 이 경우, SSP 학습 방법은 노드들 간 성능 차이에 적합한 threshold를 채택하는 수동적인 테스트 과정을 필요로 한다. 하지만 이렇게 채택된 threshold를 운용한다고 할지라도 멀티 노드들 간 성능 차이가 큰 경우에는 worker들 간 학습 진도의 차이는 매 학습 과정마다 threshold를 초과하여 barrier overhead가 계속 반복적으로 발생되는 특징적인 실행 흐름이 나타나게 된다. 그런데, SSP 학습 방법의 고정적인 threshold로는 위와 같은 특징적인 실행 흐름에서 지속적으로 발생되는 barrier overhead를 탄력적으로 감소시킬 방법이 없어 학습 속도가 저하되고, 결국에는 학습 시간을 효과적으로 단축할 수 없는 문제가 발생한다.

본 연구에서 제안하는 DTSSP(dynamic threshold stale synchronous parallel) 학습 방법은 분산 병렬 딥러닝 시스템의 실시간 ‘학습 진전율(learning progress ratio, LPR)’을 기반으로 SSP threshold를 동적으로 결정하는 학습 방법이다. 동적인 threshold를 운용하기 때문에 선천적 혹은 후천적으로 발생하는 노드들 간 성능 차이에도 탄력적인 대응이 가능하여 기존의 동기식 학습 방법은 물론 SSP 학습 방법의 한계점을 효과적으로 보완할 수 있다.

3-2 DTSSP 학습 방법의 병렬 학습 과정

본 절에서는 Fig. 6과 같이 두 노드 상에서 실행되는 worker thread들의 예를 들어, DTSSP 학습 방법의 global parameter 버전 관리, 동적인 threshold 결정, worker들의 학습 진도 관리 및 대기 과정에 대하여 설명한다.

Fig. 6.

worker threads Example running in Two Nodes

(1) global parameter 버전 관리:

Fig. 6의 상황에서 가장 ‘느린 worker_{1, 2}’(즉, Node 1의 thread 2)가 현재 진행 중인 학습 과정을 완료하면, Fig. 7에 보이는 바와 같이 모든 worker들은 각자 계산한 학습 진도 3에 대한 모든 gradient들을 parameter server에 전송한다. parameter server는 전송받은 학습 진도 3에 대한 모든 gradient들을 차례로 global parameter에 적용하고, global parameter 버전은 3에서 4로 갱신된다.

Fig. 7.

Processing When Completing a Learning Step at the Lowest worker

(2) 동적인 threshold 결정:

본 논문에서 제안하는 동적 threshold는 아래의 ‘학습 진전율(learning progress ratio, LPR)’에 따라 결정된다.

즉, 계산된 LPR이 미리 설정된 ‘threshold 증가 한도 (이하, (+)한도)’보다 클 경우에 학습의 진전 정도가 빠르고 학습 정확도가 보장되고 있다고 판단하고, LPR이 ‘threshold 감소 한도(이하, (-)한도)’보다 작을 경우에는 학습의 진전 정도가 낮아서 학습 정확도가 보장되지 않는다고 판단한다. 따라서 LPR이 ‘(+)한도’보다 크면 threshold를 늘림으로써 worker들의 자율성을 높여 학습 속도를 높이고, LPR이 ‘(-)한도’보다 작으면 threshold를 줄임으로써 worker들의 자율성을 제한하고 학습 속도를 늦추는 한편, 학습 정확도를 보장할 수 있게 한다.

(3) worker들의 학습 진도 관리 및 대기 과정 :

Fig. 8에 보이는 바와 같이, 학습 진도 3에 대한 학습 과정을 완료한 worker_{1, 2}는 자신의 학습 진도를 3에서 4로 갱신한 뒤, 그내용을 parameter server에 보고한다. parameter server는 worker_{1, 2}의 학습 진도 4를 보고받은 뒤, 가장 ‘느린 worker’의 학습 진도를 3에서 4로 갱신한다. 이때 worker_{1, 1}은 자신의 학습 진도 7과 가장 ‘느린 worker’의 학습 진도 4의 차이가 threshold(이 때는, 4)를 초과하지 않기 때문에 대기 과정에서 벗어난다.

Fig. 8.

Learning Progress Management and Waiting Process of a worker

4-1 실험 방법

(1) 학습 성능 비교 및 분석 방법: 4-노드 분산 병렬 딥러닝 시스템을 구축하여 worker의 개수를 2ⁿ (n = 0, 1, 2, 3, 4)개로 변경하면서 동기식 학습 방법, SSP 학습 방법 그리고 DTSSP 학습 방법에 대한 실험 결과들을 가지고 학습 정확도 및 학습 속도를 비교 분석하였다. 동기식 학습 방법은 threshold를 0으로 설정하였고, 기존 연구의 SSP 학습 방법과 DTSSP 학습 방법 모두 초기 threshold를 3으로 설정하였다. DTSSP 학습 방법은 threshold를 최소 3부터 최대 10까지 동적으로 설정할 수 있게 하였으며, LPR의 ‘(+)/(-) 한도’는 각각 ± 5%로 설정하였다.

(2) 학습 dataset: CIFAR-10 dataset을 가지고 실험을 진행하였다. CIFAR-10 dataset은 비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭 10가지 종류의 이미지들로 구성되어 있다. 각 종류는 32 * 32 사이즈의 컬러 이미지들로 6,000장씩 구성되어 CIFAR-10 dataset은 총 60,000장의 이미지들로 구성되어 있다. 이 중에 50,000장을 학습 dataset으로 사용하였고, 나머지 10,000장을 테스트 dataset으로 사용하였다.

(3) 학습 과정: 총 60,000장의 CIFAR-10 dataset 중에 50,000장의 학습 dataset을 가지고 학습을 진행하였다. 학습 과정은 mini-batch size를 128로 설정하여 총 100,000번 즉, 256 epoch 만큼 반복하였다. 이에 4-노드 분산 병렬 딥러닝 시스템을 구축하여 학습을 진행한 본 실험에서는 각 노드가 총 256 epoch을 균등하게 분할하여 64 Epoch씩 학습을 진행하였다.

(4) 학습 모델: 두 개의 convolution 계층과 두 개의 fully connected 계층으로 학습 모델을 구성하였다. 각 convolution 계층과 fully connected 계층을 실행한 직후에는 ReLU 활성화 함수(activation function)를 적용하였으며, cross entropy 비용 함수를 통해서 계산한 비용은 Adam optimizer를 통하여 최소화 하였다.

(5) 분산 병렬 딥러닝 시스템의 전체 구조: 한 개의 parameter server를 통해서 global parameter 버전과 값들, worker들의 학습 진도, threshold 그리고 LPR을 관리하였고, 각 노드에서는 한 개의 Process가 여러 개의 thread들을 생성하여 학습 과정을 분산 병렬적으로 진행하였다.

4-2 실험 결과 및 분석

Fig. 9는 본 실험에서 thread가 1개일 경우의 학습시간과 (총 58,404초), 이를 각 요소별로 분석한 그래프이다. Fig.9에서 구분된 요소 1(BATCH)은 worker가 Mini-Batch를 제공받는데 소비한 시간, 요소 2(COMPUTE_GRADS)는 worker가 thread cache의 local parameter를 가지고 gradient를 계산하는데 소비한 시간, 요소 3(APPLY_GRADS)은 요소 2에서 계산한 gradient를 thread cache의 local parameter에 적용하는데 소비한 시간, 요소 4(PS_APPLY_GRADS)는 요소 2에서 계산한 gradient를 parameter server의 global parameter에 적용하는데 소비한 시간, 요소 5(STEP)는 worker가 다음의 학습 진도를 parameter server에 보고하는데 소비한 시간, 요소 6(barrier)은 threshold를 초과한 worker들이 대기 과정에서 소비한 시간 그리고 요소 7(PS_PARAM), 요소 8(P_CACHE_PARAM), 요소 9(T_CACHE_PARAM)는 worker가 parameter server, Process cache 또는 thread cache에서 새로운 parameter를 제공받는데 소비한 시간을 의미한다.

Fig. 9.

Learning Time Analysis of a Single thread

Fig. 10은 성능 차이를 갖는 4개 노드로 구성된 분산 딥러닝 시스템에서, 각 노드가 4개씩의 worker thread를 실행한 경우에 동기식 학습 방법(BSP), SSP 학습 방법, 그리고 DTSSP 학습 방법의 각 요소 별 수행 시간을 측정한 그래프이다. Fig. 9와 비교할 때, 다중 thread 처리는 각 노드에서의 gradient 계산 시간을 단축하지만, 반대로 다음 학습 단계의 진행을 위해 다중 thread 간 barrier overhead가 증가함을 볼 수 있다. 그러나, 이 효과가 BSP나 SSP에 비해, DTSSP에서는 상당히 감소했는데, 그 이유는 각 노드가 갖는 자율성 때문에 barrier 효과가 상대적으로 적었기 때문으로 분석된다.

Fig. 10.

Execution Time Comparison with Distributed Processing Methods (thread: 16)

간단히 정리하면, BSP를 기준으로 SSP 학습 방법보다 DTSSP 학습 방법에서 barrier overhead가 대폭 감소되었음을 확인할 수 있다. 이는 노드들 간 성능 차이가 큰 경우에 고정적인 threshold를 운용하는 SSP 학습 방법보다 동적인 threshold를 운용하는 DTSSP 학습 방법이 barrier overhead를 효과적으로 줄일 수 있음을 의미한다. 또한, 노드들 간 성능 차이가 큰 경우에 고정적인 threshold를 운용하는 SSP 학습 방법보다 동적인 threshold를 운용하는 DTSSP 학습 방법이 worker들에게 parameter server 동기화보다는 local cache 동기화의 기회를 더 많이 제공함으로써 network traffic overhead를 효과적으로 줄일 수 있음을 알 수 있다.

Table 1은 동일한 4 노드 분산환경에서 실행 thread의 수를 변경하면서 얻은 실험 결과 자료로서, DTSSP 학습 방법은 BSP 학습 방법에 비해 thread가 4개일 경우 3.65%, thread가 8개일 경우 9.31%, thread가 16개일 경우 18% 각각 학습시간이 단축되었고, SSP 학습 방법에 비해서는 학습 시간이 thread가 4개일 경우 1.49%, thread가 8개일 경우 8.52%, thread가 16개일 경우 14.72% 단축되었다. 이에 DTSSP 학습 방법은 thread의 개수가 16개일 경우에 동기식 학습 방법을 기준으로 최대 18%, SSP 학습 방법을 기준으로 최대 14.72% 학습 시간이 단축되었다. 한편, Table 2는 다중 thread의 학습 시간 개선에 따른 학습 정확도 변화를 관찰한 결과인데, 학습 정확도는 thread의 개수와 관계없이 81%를 일정하게 유지함을 볼 수 있다.

Table 1.

Learning Time Reduction with the Number of worker threads

Table 2.

Learning Accuracy with the Number of worker threads