Current Issue

임베딩 모듈은 가로 H, 세로 W, 3채널의 데이터 증강이 적용된 이미지 xin∈RH×W×3를 입력으로 사용한다. 이를 합성곱 레이어를 통해 다운샘플링한다. 이는 표 5와 같이, 합성곱 필터의 stride를 2와 1을 교차하여 사용하고 합성곱을 총 6회 반복한다. stride 1을 기반한 합성곱 레이어를 교차한 이유는 이미지의 지역적인 정보 추출하기 위함이다. 수식 1에 따르면, 합성곱 다운샘플링의 출력값 X_out이 출력된다.

이후 입력 이미지 x_in에 대해 합성곱 레이어를 통과하고, GELU[18] 활성화 함수를 사용한다. 이를 통해 비선형 특징을 추출하고 배치정규화(BatchNormalization)[19]하여 X_out가 얻어진다. 반복된 합성곱 레이어로부터 얻어진 X_out은 슈퍼토큰 클러스터링을 위한 입력으로 사용된다.

합성곱 다운샘플링의 출력값 X_out을 기반으로 슈퍼토큰 클러스터링을 수행한다. 슈퍼토큰 클러스터링 모듈은 합성곱 다운샘플링 된 가로 H^, 세로,W^, 채널 수가C인 특징맵 Xout∈RH^×W^×C을 입력으로 사용하여 클러스터링 데이터 X_s의 초기값을 연산한다. 이때 t는 클러스터링을 반복하는 횟수를 의미한다. 이후 수식 2와 3에 따라서 클러스터링 반복 횟수 t를 증가시킨다. 초기 클러스터링 데이터 Xs0는 다운샘플링 된 출력값 X_out을 P×P 평균 풀링하여 얻은 Xs0∈RHP×WP×C 이다. 그리고 수식 4와 같이, 유사도 S^t는 X(t = 1일 때, X = X_out)와 Xst-1의 토큰 간의 유사도 계산을 위해 내적합 연산을 한다. 연산된 유사도는 소프트맥스 함수로 확률화 한다. 최종적으로 확률화 된 유사도 정보를 정규화한 유사도 정보 S^t는 식4와 같이 가중합되어 X_s의 값에 재입력된다.

최종적으로 합성곱 연산된 특징맵 X의 28×28개의 토큰 은 2×2개의 유사한 토큰끼리 클러스터링 된다. 이는 그림 2의 최종 출력 이미지와 같이 유사한 토큰끼리 클러스터링 되는 것을 알 수 있다. 그리고 이것은 전역 연결 레이어 1개를 통해 차원을 맞추어 최종적인 임베딩 출력값을 얻는다.

제안하는 경량 모듈에서 사용하는 합성곱 레이어는 EarlyConv에서 제안하는 합성곱 레이어 보다 채널수가 3배 적은 합성곱을 사용하였지만, 지역적인 정보를 추출하는 합성곱 레이어와 학습 파라미터를 사용하지 않은 슈퍼토큰 클러스터링으로 표 1처럼 합성곱 임베딩 모듈에 10배 적은 학습파라미터를 사용한다. 또한 ViT에서 제안한 패치 임베딩에 비해서도 3배 적은 학습 파라미터를 사용한다.

제안하는 슈퍼토큰 합성곱 임베딩 모듈에 대한 정량적 성능 평가를 위해 ViT 논문에서 제안한 패치 임베딩 방법, EarlyConv에서 제안한 합성곱 임베딩 방법과 함께 이미지 분류 성능을 비교하였다. 실험을 위해 GPU는 NVIDIA Titan-V 두 개를 병렬구조로 사용하였다.

모든 실험에는 ViT-S(Small) 모델을 사용하였고, 각 임베딩에 따라 생성되는 토큰의 개수는 ViT의 기존 패치 임베딩 과정과 동일하게 196개로 설정하였다.

제안하는 모듈은 28 × 28 이미지 크기까지 합성곱 다운샘플링하여 클러스터링을 하였다. 초기 클러스터링 데이터를 생성하기 위한 평균 풀링은 2 × 2로 설정하였다. 그리고 클러스터 과정에서 유사도 갱신 횟수는 t = 3으로 설정하였다.

각 임베딩 모듈을 학습 시 설정한 하이퍼파라미터는 표 2와 같이 동일하게 적용하였다. 데이터 증강 기법은 DeiT[20]의 설정과 동일하다. 실험 및 평가를 위해 ImageNet-1k 데이터셋을 랜덤하게 100개의 클래스만을 샘플링한 ImageNet100 데이터셋을 사용하였다. 총 100개 클래스의 학습 데이터셋 130,000장, 테스트 데이터셋 5,000장으로 구성되어 있다. 본 실험은 사전학습 없이 스크래치부터 학습하였으며, 평가는 정확도 지표를 사용하였으며, 수식 5와 같이 계산한다.

각 임베딩 모듈의 실험을 위한 구성은 다음과 같다. 첫 번째 ViT의 임베딩 모듈의 구성은 표 3과 같다. 텐서의 재배열과 레이어 정규화(Layer Normalization)[21] 이후 전역 연결 레이어를 통하여 임베딩 차원을 맞추는 단순한 구조이다.

두 번째, 합성곱 임베딩은 ViT의 임베딩 과정을 합성곱 연산과 텐서 재배열만 사용하였다. 구체적인 합성곱 임베딩의 모듈 구성은 표 4와 같다.

마지막으로, 본 논문에서 제안하는 슈퍼토큰 합성곱 임베딩 모듈은 표 5와 같다. 이는 합성곱 임베딩 모듈과 채널 수 및 합성곱 이후 토큰 클러스터링을 수행하는 차이가 있다. 기존 합성곱 임베딩 모듈과 동일하게 합성곱 세부 모듈은 수식 1과 같이 합성곱, GELU, 배치정규화 순서로 구성되어 있다.

임베딩 모듈에 따른 이미지 분류 성능 결과는 표 6에 따르면, 제안하는 슈퍼토큰 합성곱 임베딩 방법은 83.52%로 기존 패치 임베딩 방법에 비해 5.08% 성능이 향상되었다. 또한 합성곱 임베딩 방법과 비교하여 2.38% 성능이 향상하였다.

그림 3의 (a)와 (b)에 따르면, 총 300번의 epoch에 따라 제안하는 방법이 다른 모듈에 비해 학습 수렴속도가 가장 빠르고 안정적임을 알 수 있다. 학습 초기에는 합성곱 임베딩보다는 낮은 정확도를 보였으나, 학습이 진행됨에 따라 더 빠르게 개선되어 나중에는 가장 높은 성능을 달성한다.

Fig. 3. 
Model training results by embedding module

하지만 각 임베딩 모듈의 최적의 수렴 구간이 다르기 때문에 보다 정확한 비교가 필요하다. 이에 따라 패치 임베딩, 합성곱 임베딩은 추가적인 학습이 필요하다. 수렴 속도를 고려하여 총 500 epoch 횟수에 따라 두 개의 모듈을 재학습하였다. 기존 300 epoch 횟수의 학습 결과 대비 패치 임베딩은 0.76%, 합성곱 임베딩은 1.58% 성능이 향상한다. 실험 결과에 따르면 두 모듈은 최적의 수렴을 달성했지만, 제안하는 방법에 비교하여 성능이 여전히 낮은 것을 관찰할 수 있다.

결론적으로 제안하는 슈퍼토큰 합성곱 임베딩 모듈은 ViT 모델의 학습 과정의 효율성 향상에 도움 될 뿐 아니라, 가장 적은 파라미터를 사용하면서 높은 분류 성능을 도출하였다.

제안하는 방법은 합성곱 세부 모듈의 계층 구조에 따라 출력 특징맵의 정보량 차이가 발생하고, 그로 인한 슈퍼토큰 클러스터링에 직접적인 영향을 미친다. 저수준에서 고수준에 이르기까지 복잡한 특징맵을 형성하기 위해서 합성곱 세부 모듈의 최적 계층화가 필요하다.

합성곱은 이미지의 공간적 해상도를 점진적으로 감소시키지만, 이는 동시에 중요한 특징을 더욱 효율적으로 강조하는 결과를 만든다. 이에 따라 합성곱 세부 모듈의 계층화 구조에 따른 이미지 분류 성능을 실험적으로 확인하였다. 본 실험은 공통적으로 300 epoch만을 실험하였다.

표 7에 따르면, 합성곱 세부 모듈의 계층화는 세부 모듈의 구성을 점진적으로 늘릴수록 분류의 성능이 높아지는 경향이 있다. 이는 제안하는 합성곱 세부 모듈이 클러스터링에 매우 효과적으로 동작함을 입증한다. 가장 높은 성능을 달성하는 계층화는 83.52%인 모듈 1~6까지 계층화한 구조이다. 모듈 1~6에서 추가 레이어(합성곱 연산)를 통해 출력 특징맵을 14 × 14을 사용하면 성능이 2.02% 하락한다. 이는 반복되는 다운샘플링으로 인해 원본 이미지의 정보 손실량이 기준치를 초과하여 유의미한 클러스터링이 원활하게 동작하지 않음을 시사한다.

제안하는 슈퍼토큰 합성곱 임베딩 모듈 설계 시, 임베딩 모듈의 경량화를 위한 합성곱 세부 모듈 전체를 제거하고 슈퍼토큰 클러스터링만을 사용하는 실험을 하였다.

표 7의 ‘모듈 제거’는 합성곱 세부 모듈을 사용하지 않으며 오직 슈퍼토큰 클러스터링만을 사용한 실험이다. 그 결과 정확도는 48.26%를 보여준다. 이는 동일한 이미지 크기 대비 31.94% 성능이 하락하였다.

일반적으로 ViT는 합성곱 신경망에 비해 귀납적 편향 약하기 때문에 Mixup[22], Cutmix[23]와 같은 정규화(Regularization)가 학습에 필요하다. 하지만 이러한 정규화는 원본 이미지의 혼합된 레이블을 생성하기 때문에 이에 직접적인 슈퍼토큰 클러스터링을 적용한다면 의미론적인 토큰의 그룹화가 어려워진다. 이것은 모델이 이미지의 중요한 관계를 포착하기에 정보 손실이 높아져 있기 때문에 객체, 텍스쳐, 모양과 같은 특징을 학습하기 어렵다. 그렇기 때문에 제안하는 모듈은 합성곱 레이어를 통해서 원본 이미지를 저차원의 특정 공간에 매핑하여 보편화된 특징을 갖도록 유도한다. 그리고 강한 정규화로 인한 혼합된 레이블의 학습 악영향을 최소화하면서 유의미한 특징을 더욱 잘 학습할 수 있게 돕는다. 본 실험을 통하여 합성곱 세부 모듈은 슈퍼토큰 클러스터링을 위하여 반드시 필요한 모듈임을 입증하였다.

토큰 클러스터링에서 입력 데이터 X_in의 토큰과 클러스터링 된 데이터 X_s의 토큰의 유사도를 연산하는 과정은 반복적으로 수행한다. 실험적으로 유사도 정보 갱신 횟수가 많을수록 성능은 향상이 향상되지만, 갱신하는 정보의 횟수가 많아지며 학습 속도가 느려지는 문제가 발생한다. 따라서 최적의 반복 횟수를 찾기 위하여 반복 횟수에 따른 이미지 분류 성능 및 이미지의 초당 처리속도인 Throughput을 계산한다. 실험에서 t = 1인 경우는 X_s의 초기값이 갱신되지 않은 상태를 의미한다. 모든 실험은 Batch를 128로 고정하여 학습하였으며, Throughput은 RTX-3060ti에서 계산하였다.

실험 결과인 표 8에 따르면, 갱신 횟수가 증가함에 따라 Throughput이 초당 766개 이미지에서 718개로 점진적으로 감소한다. 이는 갱신 횟수가 반복 진행됨에 따라 클러스터링의 복잡성이 증가 및 연산 비효율성으로 인해 처리 속도가 느려진다. 분류 성능의 결과로 초기값을 사용하였을 때 82.96%로 시작하여 점진적으로 증가하여, t = 2일 때 83.52%로 증가한다. 이러한 경향성은 유사도 갱신 과정의 반복을 거치면서 모델이 이미지 분류 능력을 개선하고 있음을 시사한다. 하지만 t = 4 일 때, 성능이 소폭 하락하는 것으로 보아 유사도 갱신 횟수의 지나친 반복은 모델의 이미지 분류 정확도에 악영향을 미치는 것을 알 수 있다.

결과적으로 유사도 정보 갱신의 반복은 모델을 학습하기 위한 최적화 과정에 도움 되지만, Throughput과 정확도에 Trade-off 관계가 있음을 확인하였다. 실험적으로 제안하는 슈퍼토큰 합성곱 임베딩 모듈은 t = 3으로 설정하는 것이 최적이다.