AI의 시각적 표현을 인간의 지식과 일치시키기: Google DeepMind의 연구

이 글은 시각적 인공지능(AI) 시스템이 세상을 인간과 다르게 "인식"하여 발생하는 문제점과 이를 해결하기 위한 Google DeepMind의 새로운 연구를 종합적으로 다룹니다. 핵심 문제는 AI가 시각적 정보를 인간의 개념적 계층 구조와 다르게 구성하여, 예측 불가능하고 신뢰도가 떨어지는 결과를 낳는다는 것입니다.

 

본 연구는 이러한 불일치를 해결하기 위해 3단계 정렬 방법론을 제시합니다. 첫째, 기존의 강력한 비전 모델을 기반으로 소규모 인간 판단 데이터셋(THINGS)을 활용하여 '교사 모델'을 훈련시킵니다. 둘째, 이 교사 모델을 사용하여 인간과 유사한 판단을 담은 대규모 합성 데이터셋(AligNet)을 생성합니다. 셋째, 이 새로운 데이터셋으로 다른 AI 모델('학생 모델')을 미세 조정하여 내부 표현 지도를 인간의 지식 구조와 유사하게 재구성합니다.

 

결과적으로, 정렬된 모델은 인간의 판단과 훨씬 더 높은 일치도를 보였을 뿐만 아니라, 단일 이미지로 새로운 카테고리를 학습하는 '퓨샷 학습'이나 다양한 이미지 유형에 대한 안정적인 결정을 내리는 '분포 변화'와 같은 핵심 AI 과제에서도 월등한 성능을 보였습니다. 이 연구는 AI 시스템을 더욱 직관적이고, 견고하며, 신뢰할 수 있도록 만드는 중요한 진전을 나타냅니다.

 

AI의 시각적 표현을 인간의 지식과 일치시키기

1. 서론: AI 시각 시스템의 근본적인 불일치

시각적 AI는 사진 분류, 사물 식별, 자율 주행 등 우리 생활 곳곳에서 활용되고 있습니다. 그러나 이러한 강력한 시스템은 인간과 동일한 방식으로 세상을 인식하지 않으며, 때로는 예상치 못한 방식으로 작동합니다. 예를 들어, 수백 개의 자동차 제조사와 모델을 구별할 수 있는 AI 시스템이라도 자동차와 비행기 사이의 공통점(예: 둘 다 주로 금속으로 만들어진 대형 운송수단)과 같은 고차원적 개념을 파악하지 못할 수 있습니다.

 

인간의 뇌가 고양이를 볼 때 색상과 털의 질감 같은 기본 개념부터 '고양이성(cat-ness)'이라는 추상적 개념까지 포착하는 정신적 표상(mental representation)을 만드는 것처럼, AI 비전 모델 또한 이미지를 고차원 공간의 점으로 매핑하여 표상을 생성합니다. 이 공간에서는 유사한 항목(예: 양 두 마리)은 가깝게, 다른 항목(예: 양과 케이크)은 멀리 배치됩니다. 이 연구는 인간과 AI의 표상 구성 방식의 차이점을 분석하고, 이를 인간의 지식과 더 잘 일치시키는 방법을 제시합니다.

 

2. 문제 식별: '셋 중 다른 하나 고르기' 과제

연구팀은 인간과 AI 모델의 표상 구조 차이를 이해하기 위해 인지 과학에서 고전적으로 사용되는 '셋 중 다른 하나 고르기(odd-one-out)' 과제를 활용했습니다. 이 과제는 세 개의 이미지를 제시하고 어떤 것이 나머지 둘과 어울리지 않는지 선택하게 함으로써, 실험 대상이 어떤 두 항목을 가장 유사하게 "인식"하는지 드러냅니다.

• 인간과 모델이 일치하는 경우: 테이퍼, 양, 생일 케이크 이미지가 주어지면 인간과 모델 모두 케이크를 다른 하나로 선택합니다.
• 체계적 불일치 발생: 인간은 압도적으로 불가사리를 다른 것으로 선택하는 이미지 그룹(예: 고양이, 다른 동물, 불가사리)에서, 대부분의 비전 모델은 배경색이나 질감과 같은 피상적인 특징에 더 집중하여 고양이를 선택하는 경향을 보였습니다.

이러한 불일치는 이미지 분류기부터 비지도 학습 모델에 이르기까지 다양한 비전 모델에서 체계적으로 관찰되었습니다. AI의 내부 표상 지도를 2차원으로 투영해 보면, 정렬 전에는 동물, 음식, 가구 등 여러 범주가 뒤섞여 구조가 없는 것처럼 보이지만, 정렬 후에는 범주별로 명확하게 구성된 구조를 나타냅니다.

 

3. 해결책: 3단계 정렬 방법론

이 문제를 해결하기 위해 연구팀은 인지 과학자들이 수집한 수백만 개의 인간 '셋 중 다른 하나 고르기' 판단이 포함된 THINGS 데이터셋을 활용하고자 했습니다. 그러나 이 데이터셋은 수천 개의 이미지만을 포함하고 있어, 강력한 비전 모델을 직접 미세 조정하기에는 너무 작아 즉시 과적합(overfitting)이 발생하고 기존의 능력을 잃어버리는 문제가 있었습니다. 이를 해결하기 위해 다음과 같은 3단계 방법론이 제안되었습니다.

1. 교사 모델 생성 (Teacher Model Creation):
   • 강력한 사전 훈련된 비전 모델(SigLIP-SO400M)을 기반으로 시작합니다.
   • 주요 모델의 가중치는 고정(freeze)하고 그 위에 작은 어댑터(adapter)를 추가하여 THINGS 데이터셋으로 신중하게 훈련시킵니다.
   • 이를 통해 기존 지식을 잊지 않으면서 인간과 유사한 판단을 내리는 '교사 모델'을 만듭니다.
2. 대규모 데이터셋 생성 (Large-Scale Dataset Generation):
   • 생성된 교사 모델을 인간 판단의 대리인으로 사용하여, 백만 개의 서로 다른 이미지를 기반으로 수백만 개의 인간과 유사한 '셋 중 다른 하나 고르기' 결정으로 구성된 방대한 신규 데이터셋 AligNet을 생성합니다.
3. 학생 모델 미세 조정 (Student Model Fine-Tuning):
   • AligNet 데이터셋의 규모와 다양성 덕분에 과적합 문제 없이 다른 AI 모델('학생 모델')을 완전히 미세 조정할 수 있습니다.
   • 이 과정을 통해 학생 모델은 자신의 내부 표상 지도를 깊이 있게 재구성하게 됩니다.

 

4. 결과 및 검증

이 방법론을 통해 정렬된 모델은 여러 측면에서 상당한 개선을 보였습니다.

평가 영역	세부 결과
개념적 재구성	모델의 표상 지도가 무질서한 상태에서 동물(파란색), 음식(녹색) 등 고차원적 개념이 명확히 구분되는 구조로 변화했습니다. 이러한 재구성은 인간의 개념적 계층 구조를 따르며, 명시적인 지시 없이도 학습되었습니다. 예를 들어, 개념적으로 가까운 두 마리의 개는 표상 공간에서 더 가까워지고, 멀리 떨어진 부엉이와 트럭은 더 멀어졌습니다.
인간과의 정렬	연구팀이 새로 수집한 'Levels' 데이터셋을 포함한 여러 인지 과학 과제(다중 배열 등)에서, 정렬된 모델은 인간의 판단과 훨씬 더 자주 일치하며 극적으로 향상된 정렬 수준을 보였습니다.
인간과 유사한 불확실성	모델의 결정 불확실성은 인간이 선택하는 데 걸리는 시간(일반적인 불확실성 대리 지표)과 강한 상관관계를 보였습니다. 이는 모델이 인간과 유사한 형태의 불확실성을 학습했음을 시사합니다.
AI 과제 성능 향상	인간과의 정렬은 모델을 전반적으로 더 나은 비전 모델로 만들었습니다. 정렬된 모델은 단일 이미지에서 새로운 범주를 학습하는 '퓨샷 학습(few-shot learning)'이나 테스트 이미지 유형이 변경될 때 신뢰할 수 있는 결정을 내리는 '분포 변화(distribution shift)'와 같은 까다로운 AI 과제에서 기존 모델보다 훨씬 뛰어난 성능을 보였습니다.

 

5. 결론 및 시사점

기존의 많은 비전 모델들은 인간 지식의 고차원적 구조를 포착하는 데 실패합니다. 본 연구는 이 문제를 해결할 수 있는 구체적인 방법론을 제시하며, AI 모델을 인간의 판단과 더 잘 일치시킴으로써 다양한 표준 AI 과제에서 더 견고하고 신뢰성 있는 성능을 발휘할 수 있음을 입증했습니다.

 

아직 더 많은 정렬 연구가 필요하지만, 이 작업은 더 직관적이고 신뢰할 수 있는 AI 시스템을 구축하는 과정에서 중요한 진전을 이루었음을 보여줍니다.

 

 

참고 정보:

• 논문 저자: Andrew Lampinen, Klaus Greff
• 주요 논문 저자: Lukas Muttenthaler
• 협력 연구원: Frieda Born, Bernhard Spitzer, Simon Kornblith, Michael C. Mozer, Klaus-Robert Müller, Thomas Unterthiner