인공지능(AI)은 세상을 어떻게 인식할까요?

인간과 AI의 객체 분류는 한 가지 중요한 측면에서 차이가 있다.

비슷하지만 같지는 않다. 인공지능은 이제 이미지, 영상, 그리고 주변 세계를 관찰하고 분류할 수 있다. 하지만 과연 인간과 같은 방식으로 분류할까요? 한 실험 결과가 이를 보여준다. 객체 인식 결과는 매우 유사하지만, AI는 다른 방법을 사용하여 이를 수행한다. 연구자들이 밝혀낸 바와 같이, AI는 순전히 시각적인 특징을 기반으로 사물을 분류하는 경향이 있는 반면, 인간은 의미적 속성에 더 중점을 둔다.

▲ AI는 세상을 어떻게 인식할까? 사물은 어떻게 인식할까? © thinkhubstudio/ Getty Images

인공지능은 이미 우리의 많은 업무를 대체하고 있다. 데이터 평가, 질병 진단, 이미지와 영상 생성, 컴퓨터 프로그램 작성 등이 그 예다. 어떤 상황에서는 AI 시스템이 놀라울 정도로 인간적인 행동을 보이기도 한다. 속이고, 거짓말하고, 비이성적으로 반응하고, 심지어 자유 의지의 기준을 충족하기도 한다.

AI는 어떻게 객체를 인식할까?

하지만 인공지능은 사물과 주변 세계를 어떻게 인식할까? AI 모델은 객체와 관계를 얼마나 정확하게 인식할까? 라이프치히 막스 플랑크 인간 인지 및 뇌 과학 연구소의 플로리안 마너와 그의 동료들은 이 문제를 더욱 자세히 연구했다. 그들은 인간과 신경망이 물체를 인식하는 방식과 분류에 어떤 핵심 차원을 사용하는지 비교했다.

마너는 "이러한 핵심 차원은 '둥글다' 또는 '흰색'과 같은 순수한 시각적 측면부터 '동물 관련' 또는 '불 관련'과 같은 더 의미론적인 속성까지 물체의 다양한 속성을 나타내며, 많은 차원이 시각적 요소와 의미론적 요소를 모두 포함한다"고 설명했다.

어떤 물체가 다른 물체와 맞지 않을까?

연구팀은 비교 실험을 위해 소위 "홀수(odd-one-out)" 과제를 사용했다. AI와 인간은 각각 세 개의 물체를 보고 나머지 두 물체와 가장 일치하지 않는 물체를 선택하도록 요청받았다. 이 과제를 해결하려면 물체의 다양한 시각적 및 의미적 특징을 인식하고 비교해야 한다. 연구진은 인간의 행동을 분석하기 위해 1,854개의 서로 다른 물체 이미지에서 약 470만 건의 결정으로 구성된 데이터 세트를 평가했다.

▲ 홀수-1 과제의 두 가지 예. 이 과제는 다른 것들과 가장 일치하지 않는 객체를 식별하는 것이다. © Mahner et al./ Nature Machine Intelligence, CC-by 4.0

 AI 연구진으로서, 마너와 그의 팀은 해당 과제를 위해 사전 훈련된 여러 신경망을 사용했다. 그런 다음 인간 실험과 동일한 이미지를 제공받고, 이상치와 비교하여 총 24,102개의 물체 이미지를 평가하도록 했다. 분석 알고리즘을 사용하여 실험 대상의 결정에 영향을 미치는 특징을 파악했다.

"인지 행동 실험에서 인간 피험자에게 적용했던 것과 동일한 방식으로 신경망을 처리했다. 이러한 접근 방식을 통해 두 가지 신경망을 직접 비교할 수 있다"고 연구진은 설명했다.

의미론적 vs. 시각적

"연구 결과는 중요한 차이점을 보여준다. 인간은 주로 의미와 관련된 차원, 즉 사물의 본질과 우리가 그것에 대해 무엇을 알고 있는지에 초점을 맞추는 반면, AI 모델은 사물의 모양이나 색상과 같은 시각적 속성을 포착하는 차원에 더 크게 의존한다. 우리는 이러한 현상을 AI에서 '시각적 편향'이라고 부른다"고 마너는 보고했다.

또 다른 주목할 만한 점은 인간과 AI가 동의하는 핵심 차원에서도, 연구팀은 면밀한 분석을 통해 눈에 띄는 차이점을 발견했다. MPI 인간 인지 및 뇌 과학 부문의 선임 저자인 마틴 헤바르트는 "네트워크가 이러한 차원들을 대략적으로만 포착한다는 것을 발견했다"고 보고했다.

예를 들어, 동물이 우리 안에 묘사되면 인간은 일반적으로 그것을 동물 관련으로 분류했다. 반면 AI는 이미지를 격자, 우리, 또는 철사와 같은 의미 범주에 할당하는 경우가 많았다.

헤바르트는 "동물 관련 차원에서는 많은 동물 이미지가 제외되었고, 동물이 아닌 이미지도 많이 포함되었다. 이는 표준 기법을 사용했다면 놓쳤을 부분이다"고 설명했다.

▲ 인간과 AI가 작업에 사용하는 주요 차원 비교. © Mahner et al./ Nature Machine Intelligence, CC-by 4.0

숨겨진 차이점, 하지만 중요한 차이점

연구진에 따르면, 이는 인공지능이 표면적으로는 인간과 동일한 결론과 분류에 도달하는 경우가 많다는 것을 보여준다. 그러나 이러한 결론에 도달하기 위해 인공지능은 근본적으로 다른 전략을 사용하는 경우가 많다. 마너는 "이러한 차이점은 AI 시스템이 인간과 유사하게 행동하더라도 상당히 다르게 생각하고 결정을 내릴 수 있다는 것을 의미하기 때문에 중요하다"고 말했다.

한편으로는 인공지능이 겉보기에 단순한 작업에서도 때때로 엄청난 실수를 저지르는 이유를 설명할 수 있다. 하지만 AI의 판단과 결정이 잘 들어맞는 것처럼 보일 때에도 신중해야 함을 보여준다. 마너는 "이러한 차이점은 AI 시스템을 얼마나 신뢰할 수 있는지에도 영향을 미친다"고 말했다.

과학자들은 다른 분야에서도 인공지능과 인간을 보다 직접적으로 비교할 것을 주장했다. 이것이 AI가 세상을 어떻게 인식하는지 더 잘 이해할 수 있는 유일한 방법이다. 헤바르트는 "우리 연구는 AI가 인간에 비해 정보를 처리하는 방식을 더 잘 이해하는 데 도움이 되는 명확하고 해석 가능한 방법을 제공한다"고 말했다. "이러한 지식은 AI 기술을 개선하는 데 도움이 될 뿐만 아니라 인간의 인지에 대한 귀중한 통찰력을 제공할 수 있다."

참고: Nature Machine Intelligence, 2025; doi: 10.1038/s42256-025-01041-7

출처: 유스투스 리비히 기센 대학교