Current Issue

CBM은 Koh et al.에 의해 처음 제안된 설명 가능한 딥러닝 아키텍처로, 입력에서 최종 분류까지의 과정을 두 단계로 분리한다. 그림 1과 같이 입력 이미지 X에서 사람이 이해 가능한 개념 집합 C를 추론하는 g(x)단계, 개념 C를 통해 최종 클래스 라벨 Y를 예측하는 f(c)단계로 이루어져 있다.

Fig. 1. 
The basic architecture of a Concept Bottleneck Model

CBM의 핵심 기여점은 중간 bottleneck 표현을 의미론적으로 이해 가능한 개념들로 구성한다는 점이다. 그림 1에서 확인할 수 있듯, 새 분류 작업에서 ‘날개 색’, ‘꼬리 색’, ‘부리 길이’ 등의 개념들이 중간 표현으로 사용된다. 예를 들어, 새 사진(X)이 입력되면 모델은 ‘부리의 모양이 뾰족하다.’, ‘머리 색이 붉다.’와 같은 개념 집합 C를 먼저 예측하고, 이러한 개념들을 통해 ‘홍관조’(Y)라는 최종 분류를 한다. 이는 기존의 End-to-End 모델의 고차원 잠재 표현과 달리, 각 표현이 명확한 의미를 가지며 사람이 직관적으로 이해할 수 있다.

개입(Intervention)은 CBM의 또 다른 핵심 특징이다. 테스트 시점에서 예측된 개념 값을 수정하고 이에 따른 최종 분류의 변화를 관찰함으로써, 각 개념이 최종 결정에 미치는 인과적 영향을 확인할 수 있다. 이러한 특성은 모델의 추론 과정을 검증하고 편향을 발견하는데 유용하다. 또한, 모델이 실제로는 ‘초록색 날개’를 가지는 새를 입력받았으나 ‘날개 색이 빨갛다’라고 중간 개념을 잘못 예측하여 최종 분류를 잘못 내렸을 경우, 외부에서 이를 수정하여 모델이 더 정확한 분류를 하도록 유도할 수 있다.

이러한 장점에도 불구하고 CBM은 개념-분류 함수 f(c)의 불투명성이라는 근본적인 한계를 가진다. 대부분의 구현에서 f(c)는 선형 분류기 혹은 MLP로 구성되는데, 선형 모델은 개념 간 복잡한 상호작용을 모델링하지 못하고, MLP는 높은 표현력을 가지지만 내부 동작의 해석이 어렵기 때문이다.

CBM의 후속 연구들은 이러한 한계 속에서 다양한 방향으로 연구가 진행되었다. 대표적인 예시로, Post-hoc CBM은 사전 학습된 모델로부터 개념을 추출하는 방법을 제안하였다[4]. 이러한 사후 분석 기법들과 더불어 CBM의 가장 큰 제약 중 하나인 개념 주석 데이터 구축의 어려움을 해결하기 위한 방향으로 주로 발전하였다. GPT(Generative Pre-trained Transformer)등을 활용해 개념을 생성·정제하는 Label-Free CBM[5], 비전-언어 모델(Vision-Language Model)을 활용하여 개념 학습을 보조하는 VLG-CBM[6], 대규모 언어 모델(Large Language Models, LLM)을 병목 구조에 통합한 접근[7], 연속 학습 시나리오[8], Incremental/Residual 구조[9] 등이 제안되었다. 그러나 이들 연구 모두 개념-분류 함수의 설명 가능성 문제는 근본적으로 해결하지 못하였다.

이미 학습이 완료된 모델을 블랙박스(black-box)로 간주하고, 모델의 예측 결과를 설명하기 위해 사용되는 기법을 사후 설명(post-hoc explanations)이라고 한다. 이미지 분야에서는 CAM(Class Activation Mapping)계열의 연구들이 CNN(Convolutional Neural Network)의 마지막 레이어(layer)의 활성화 맵을 활용하여 예측에 근거가 되는 이미지상의 중요 영역을 시각화한다[10]-[13]. 또 다른 대표적인 기법으로는 게임 이론(game theory)에 기반한 SHAP(SHapley Additive exPlanations)이다[14]. SHAP은 특정 예측값에 대한 각 입력 특성(feature)의 기여도를 정량적으로 계산하여, 어떤 모델에도 적용할 수 있는 model-agnostic 방식으로 모델의 결정을 투명하게 설명한다.

이러한 SHAP의 특성은 CBM의 설명 가능성을 보완하는 데 사용될 수 있다. 앞서 지적한 CBM의 불투명한 개념-분류 함수 f(c)에 SHAP을 적용할 수 있다. 이때, 입력 특성은 CBM의 개념들이 되며, SHAP 분석을 통해 각 개념이 최종 분류 과정에서 어떤 개념이 중요하게 작용했는지에 대한 사후적으로 추정할 수 있다.

하지만 SHAP을 포함한 모든 사후 설명 기법은 이미 학습 완료된 블랙박스 모델의 입출력 관계를 외부에서 근사적으로 추정한다는 근본적인 한계를 가진다. 즉, 각 개념의 중요도는 대략적으로 알 수 있지만, 개념 값 변화가 최종 분류에 어떤 함수적 관계로 작용하는지에 대한 내부 매커니즘을 직접 제시하지는 못한다. 따라서, 이러한 사후 분석의 추정적 한계를 넘어 결정 과정 자체의 투명성을 확보하려면, 모델 내부 구조에 설명 가능성을 직접 부여하는 접근이 필요하다.

KAN은 다변수 함수를 간단한 1차원 함수들의 합과 중첩으로 분해할 수 있다는 KAT(Kolmogorov-Arnold representation Theorem)에 이론적 기반을 둔 신경망 아키텍처이다. KAT에 따르면, 수학적으로 모든 다변수 함수 f는 수식 (1)과 같이 표현될 수 있다.

이 정리는 복잡한 고차원의 함수도 내부 함수 ϕ와 외부함수 Φ라는 두 종류의 1차원 함수들로 분해 가능함을 시사한다. 여기서 n은 입력 차원, x_p는 p번째 입력값이며, q은 외부함수 Φ 인덱스 값이다.

KAN은 이러한 KAT를 학습 가능한 신경망 형태로 재해석한 것이며, 그림 2에서 볼 수 있듯, 기존의 MLP가 노드(node)에 고정된 활성화 함수를 사용하는 것과 달리, KAN은 엣지(edge)에 학습 가능한 1차원 활성화 함수를 배치하여 KAT를 모방하며, 각 입력 변수가 출력에 미치는 영향을 개별적으로 학습한다. 이러한 제안 방법은 모델의 예측 정확도 성능의 저하 없이 최종 예측 단계의 설명 가능성을 확보한다.

Fig. 2. 
Structural comparison of MLP and KAN

KAN의 하나의 레이어는 KAT의 내부 합 ∑ϕq,pxp에 대응하도록 설계되며, 입력 벡터(x₁,...,x_n)가 주어졌을 때, 다음 레이어의 j번째 출력값은 수식 (2)와 같이 계산된다.

수식 (2)에서 l은 레이어 인덱스이며 n_l은 노드 수이다. i는 l번째 레이어의 노드 인덱스이고 j는 l+1번째 레이어의 노드 인덱스를 뜻한다. ϕ는 이전 레이어와 이후 레이어를 연결하는 엣지에 위치한, 학습 가능한 1차원 함수이다. KAN에서는 이러한 1차원 함수를 유한한 수의 기저 함수(basis function)의 선형 결합으로 근사하는데 주로 B-spline이 사용되며 수식 (3)과 같이 구성된다.

수식 (3)에서 b(x)는 잔차 기본 함수이며 보편적으로는 SiLU(Sigmoid Linear Unit)를 사용한다. B_i(x)는 미리 정의된 B-spline 기저 함수이다. w_b, w_s는 각 함수에 대한 가중치이며, c_i는 학습을 통해 최적화되는 계수이다. 학습이 완료되면, 각 계수 c_i가 결정되어 1차원 함수 ϕ의 최종적인 형태가 만들어진다.

결론적으로, KAN의 이러한 구조는 모델에 내재된 설명 가능성(Inherent Interpretability)을 부여한다. 각 엣지의 학습된 ϕ_i,j를 직접 시각화함으로써, 특정 입력 개념(c_i)이 최종 클래스(y_i)에 어떤 명시적인 함수 관계로 기여하는지 직관적으로 파악할 수 있다. 이는 기존 CBM이 가지는 개념-분류 함수 f(c)의 불투명성 문제를 해결할 가능성을 보인다.

본 논문에서는 CBM의 최종 분류 함수 f(c)가 가지는 설명 가능성의 한계를 극복하기 위해, KAN을 결합한 새로운 CBM-KAN 아키텍처를 제안한다. CBM의 장점인 중간 개념 표현의 설명 가능성은 그대로 유지하면서, 최종 클래스 분류 단계의 설명 가능성 또한 확보하는 것을 목표로 한다.

제안하는 모델 전체 데이터 흐름은 그림 3과 같다. 입력 이미지(X)는 기존 CBM과 동일한 방식인 ImageNet으로 사전학습된 Inception-v3 백본 네트워크 g(x)를 통과하여, 사람이 이해할 수 있는 개념 집합 C을 생성한다. 예를 들어, 조류 이미지에 대해 ‘부리의 모양이 뾰족하다.’와 같은 각 개념의 신뢰도를 예측하여 개념 집합 C을 생성한다. 이후, 생성된 개념 벡터는 제안 모델의 핵심인 KAN 기반의 최종 분류 f(c)의 입력으로 전달된다. KAN 분류기는 각 개념의 신뢰도 값이 최종 클래스 분류에 미치는 함수적 관계를 학습하여 최종 클래스 라벨 Y를 예측한다. 이는 각 개념의 중요도만 알려주었던 기존의 CBM 모델과 달리 개념 값의 변화가 예측에 ‘어떻게’ 영향을 미치는지 직접 확인할 수 있어 설명의 연쇄가 단절되는 기존의 문제점을 해결할 수 있다.

Fig. 3. 
The proposed CBM-KAN architecture

제안 모델의 핵심인 KAN 기반 분류기는 입력을 통해서 개념을 예측하는 g(x)의 출력을 입력으로 받아 최종 클래스를 분류하는 단일 KAN 레이어 구조를 갖는다. KAN이 학습 가능한 1차원 함수 ϕ를 구현함에 있어서, KAN 논문의 원저자가 제안하는 B-spline 대신하여 가우시안 RBF(Radial Basis Function)를 기저 함수로 사용하였다. B-spline은 높은 표현력을 가지나 다수의 기저 함수로 인하여 느린 학습 속도를 보인다. 이를 보완하기 위해 RBF를 활용하는 방법[15], 사인(sinusoidal) 기반 함수를 사용하는 방법[16], 위 두 가지 방법을 혼합 적용하는 방법[17] 등을 통해 B-spline 함수를 효율적으로 근사하려는 연구가 주목받고 있으며, 본 논문에서도 이러한 접근 방식들 중 RBF를 채택하였다. RBF 기반 활성화 함수는 수식 (4)와 같다. 수식 (4)의 μ은 RBF의 중심, σ은 표준편차를 의미한다.

제안하는 CBM-KAN은 개념을 예측하는 g(x)와 KAN 기반 최종 분류 함수 f(c)를 End-to-End 방식으로 함께 학습시키는 Joint Training 방식을 사용한다. 이를 위해 전체 손실 함수는 최종 클래스 분류의 정확도를 위한 분류 손실과 중간 개념 예측의 정확도를 위한 개념 손실의 가중합으로 구성된다. 전체 손실 함수는 수식 (5)와 같다.

수식 (5)에서의 L_label은 분류 문제에서 표준적으로 사용되는 Cross Entropy 손실 함수이며, L_concept은 각 개념의 유무를 예측하는 다중 이진 분류 문제이므로 Binary Cross Entropy 손실 함수를 사용한다. λ는 두 손실 간의 중요도를 조절하는 하이퍼파라미터이다.