[AI 기본이해] AI가 스스로 배우는 시대, '자기지도학습'이란?

AI가 스스로 배우는 시대, '자기지도학습'이란?

사람 없이도 배우는 인공지능의 새로운 학습법

인공지능(AI)의 발전 과정에서 가장 큰 걸림돌 중 하나는 바로 '데이터 라벨링' 문제였습니다. 수백만 장의 이미지에 일일이 "이것은 고양이", "이것은 자동차"라고 사람이 표시해야 했고, 이는 엄청난 시간과 비용을 요구했습니다. 그런데 만약 AI가 사람의 도움 없이 스스로 데이터의 패턴을 찾아 학습할 수 있다면 어떨까요? 바로 이것이 '자기지도학습(Self-Supervised Learning)'의 핵심입니다.

자기지도학습은 레이블이 없는 데이터에서 스스로 규칙을 찾아내 학습하는 AI 기술입니다. 최소한의 데이터만으로도 스스로 대상을 인지하고 의미를 부여하며, 새로운 문제를 주도적으로 해결하는 차세대 AI 학습 방법으로 주목받고 있습니다.

 

자기지도학습이란 무엇인가?

자기지도학습은 기계학습의 한 방법으로, 레이블이 지정되지 않은 데이터에서 학습을 진행합니다. 지도학습과 비지도학습의 중간 형태로 볼 수 있으며, 데이터 자체의 정보를 적절히 변형하거나 활용하여 자동으로 '의사 레이블(pseudo-label)'을 생성합니다.

AI 분야의 권위자인 얀 르쿤(Yann LeCun)은 자기지도학습을 "기계가 관측치를 이용한 입력값의 일부를 예측하는 것"이라고 정의했습니다. 즉, 데이터의 다른 부분을 활용해 일부분을 예측하는 방식으로 학습이 이루어집니다.

자기지도학습 모델은 크게 두 단계로 학습합니다. 첫 번째로 모델 파라미터를 초기화하는 데 도움이 되는 의사 레이블을 기반으로 사전학습(Pre-training) 작업을 수행합니다. 이 단계에서는 연구자가 직접 만든 '프리텍스트 태스크(Pretext Task)'를 정의하고, 레이블 없는 데이터로 모델을 학습시킵니다. 두 번째로 지도 또는 비지도 학습을 통해 실제 목적에 맞는 '다운스트림 태스크(Downstream Task)'에서 모델을 미세조정(Fine-tuning)합니다.

왜 자기지도학습이 중요한가?

전통적인 딥러닝 모델은 막대한 양의 레이블링된 데이터를 필요로 합니다. 뉴럴 네트워크 기반 모델들은 레이블이 정확하게 있는 학습 데이터가 많아야 높은 성능을 발휘할 수 있었습니다. 하지만 현실에서는 비용 등의 문제로 레이블이 없는 데이터가 훨씬 더 많습니다.

자기지도학습의 가장 큰 매력은 낮은 품질의 데이터나 레이블이 없는 데이터로 모델을 학습시키더라도 최종 결과물의 품질을 높일 수 있다는 점입니다. 이는 의료 영상처럼 전문가의 주석이 필요한 분야나 데이터 수집이 어려운 영역에서 특히 유용합니다.

2018년 구글 AI의 SimCLR(Simple Framework for Contrastive Learning of Visual Representations) 프로젝트는 이러한 가능성을 극적으로 보여주었습니다. 연구팀은 사전학습 단계에서 단 하나의 사람 레이블도 사용하지 않고 ImageNet 분류에서 기존 지도학습 방법을 뛰어넘는 성과를 달성했습니다. 특히 ImageNet 전체 레이블의 단 1%만 사용했을 때도 85.8%의 정확도를 기록하며, 레이블 데이터 부족 문제를 극복할 수 있음을 입증했습니다.

자기지도학습의 세 가지 유형

자기지도학습은 크게 세 가지 방식으로 분류됩니다.

1. 생성적(Generative) 방법 인코더가 입력 데이터를 받아 잠재 벡터를 생성하고, 디코더가 이를 다시 원본 데이터로 복원합니다. 목적함수로는 원본 데이터를 얼마나 잘 복원하는지를 측정하는 재구성 손실(reconstruction loss)을 사용합니다. VAE(Variational Autoencoder) 같은 모델이 대표적입니다.

2. 대조적(Contrastive) 방법 인코더가 여러 입력 데이터를 받아 잠재 벡터를 생성하고, 이를 이용해 데이터 간 유사도를 측정합니다. 같은 데이터에서 나온 다른 변형(증강)들은 가까운 표현을 갖도록, 다른 데이터들은 먼 표현을 갖도록 학습합니다. SimCLR, MoCo 등이 이 방식을 사용합니다.

3. 생성-대조적(Adversarial) 방법 인코더-디코더가 입력 데이터와 유사한 데이터를 생성하고, 분류기가 이를 실제 데이터와 구분합니다. GAN(Generative Adversarial Network)이 대표적인 사례입니다.

실생활 속 자기지도학습 사례

자기지도학습은 이미 우리 생활 곳곳에서 활용되고 있습니다.

언어 모델: BERT와 GPT 자기지도학습의 가장 성공적인 사례는 자연어 처리 분야의 BERT와 GPT입니다.

구글이 2018년 발표한 BERT(Bidirectional Encoder Representations from Transformers)는 마스크 언어 모델(Masked Language Model) 방식을 사용합니다. 문장 중간에 빈칸을 만들고 해당 빈칸에 어떤 단어가 적절할지 맞추는 과정에서 사전학습합니다. "어제 카페 갔었어 [MASK] 사람 많더라"라는 문장이 주어지면, BERT는 빈칸 앞뒤 문맥을 모두 참고하여 "거기에"라는 단어를 예측할 수 있습니다.

반면 OpenAI의 GPT(Generative Pre-trained Transformer)는 이전 단어들이 주어졌을 때 다음 단어가 무엇인지 맞추는 언어 모델 방식으로 사전학습합니다. "어제 카페 갔었어"까지 주어지면 다음에 올 "거기"를 예측하는 식입니다. 이 때문에 GPT는 문장 생성에, BERT는 문장의 의미를 추출하는 데 각각 강점을 보입니다.

놀라운 점은 BERT와 GPT 모두 레이블링되지 않은 방대한 텍스트 데이터로 사전학습을 진행한다는 것입니다. 위키백과, 뉴스 기사, 웹페이지 등 인터넷에 있는 수십억 개의 문장을 읽으면서 스스로 언어의 패턴과 의미를 학습합니다. 이렇게 사전학습된 모델은 이후 감성 분석, 문서 분류, 질의응답 등 다양한 구체적 과제에 미세조정되어 활용됩니다.

한국에서도 ETRI가 'KorBERT'를 개발하여 한국어 자연어 처리에 활용하고 있으며, 기계 독해와 주제 분류에서 93% 이상의 정확도를 달성했습니다.

컴퓨터 비전: 이미지 인식과 복원 이미지 분야에서도 자기지도학습이 광범위하게 활용됩니다. 대표적인 방법으로는 이미지 회전 예측(이미지를 0도, 90도, 180도, 270도 회전시킨 후 어느 각도로 회전했는지 맞추기), 직소 퍼즐 풀기(이미지를 조각내어 섞은 후 원래 위치 찾기), 컬러화(흑백 이미지를 컬러로 복원하기) 등이 있습니다.

이러한 작업을 수행하면서 모델은 물체의 형태, 질감, 공간 관계 등 이미지의 근본적인 특징들을 학습하게 됩니다. EU의 옥스퍼드대에서 진행 중인 'Seebibyte' 프로젝트는 자기지도학습 기법으로 얼굴의 구조와 표정을 학습하여 빅데이터 영상 검색에 활용하고 있습니다.

의료 분야와 자율주행 자기지도학습은 특히 레이블링 비용이 매우 높은 의료 산업에서 주목받고 있습니다. 로봇 수술 시 수술 대상의 깊이 정보를 알아내 더 정교한 수술을 가능하게 하고, 신체 구조상 가려진 부분에 대한 추정을 통해 수술 능력 배양에도 활용됩니다.

자율주행 분야에서는 장애물 및 거리 인지에 자기지도학습 기술이 크게 활용되고 있습니다. 카메라로 촬영한 연속적인 프레임들 사이의 관계를 스스로 학습하여, 사람이 일일이 레이블을 달지 않아도 주변 환경을 3차원으로 이해하고 물체까지의 거리를 추정할 수 있습니다.

음성 인식과 처리 페이스북을 비롯한 여러 기업들이 자기지도학습을 음성 인식에 활용하고 있습니다. 레이블이 없는 방대한 음성 데이터에서 음향적 패턴을 학습한 후, 소량의 레이블 데이터로 미세조정하여 높은 성능의 음성 인식 시스템을 구축합니다.

자기지도학습의 장점과 한계

주요 장점

• 레이블링 비용 절감: 사람이 일일이 데이터에 레이블을 달 필요가 없어 시간과 비용을 대폭 줄일 수 있습니다
• 대규모 데이터 활용: 인터넷에 있는 무한에 가까운 레이블 없는 데이터를 모두 활용할 수 있습니다
• 일반화 능력 향상: 다양한 데이터에서 근본적인 패턴을 학습하기 때문에 새로운 작업에도 잘 적응합니다
• 공정성 개선: 연구에 따르면 자기지도학습으로 사전학습된 모델이 지도학습만 사용한 모델보다 인구통계학적 공정성 측면에서 최대 30% 향상된 결과를 보였습니다

현재의 한계

• 계산 자원 요구: GPT-3의 경우 1750억 개의 파라미터를 가진 초거대 모델로, 학습에 막대한 GPU 자원이 필요합니다
• 프리텍스트 태스크 설계: 효과적인 사전학습 과제를 설계하는 것이 여전히 연구자의 직관과 실험에 의존합니다
• 평가의 어려움: 사전학습이 얼마나 잘 되었는지를 직접 평가하기 어렵고, 다운스트림 태스크의 성능으로만 간접 평가가 가능합니다

자기지도학습의 미래

자기지도학습은 AI 발전의 핵심 트렌드로 자리잡았습니다. OpenAI의 GPT 시리즈가 GPT-1, GPT-2, GPT-3로 발전하면서 모델 크기가 기하급수적으로 증가했고, 이에 따라 성능도 크게 향상되었습니다. GPT-3는 단 몇 개의 예시만으로도 새로운 작업을 수행하는 'Few-shot Learning' 능력을 보여주며 AI의 가능성을 한 단계 더 끌어올렸습니다.

최근에는 모델 성능을 유지하면서도 크기를 줄이려는 연구도 활발합니다. ALBERT(A Lite BERT) 같은 모델은 파라미터 공유와 행렬 분해 기법을 통해 모델 크기를 줄이면서도 성능은 유지하는 방법을 제시했습니다.

자기지도학습의 원리는 이제 텍스트와 이미지를 넘어 오디오-비주얼 멀티모달 학습, 그래프 데이터, 시계열 데이터 등 다양한 분야로 확장되고 있습니다. 사람처럼 여러 감각을 통합하여 세상을 이해하는 AI를 만드는 것이 궁극적인 목표입니다.

마치며

자기지도학습은 AI가 사람의 도움 없이 스스로 학습할 수 있는 능력을 부여합니다. 이는 단순히 레이블링 비용을 절감하는 것을 넘어, AI가 인간처럼 세상을 이해하고 추론하는 능력을 갖추는 첫 걸음입니다.

이미 우리가 매일 사용하는 검색 엔진, 번역 서비스, 음성 비서 등에는 자기지도학습 기술이 숨어 있습니다. 앞으로 더 많은 분야에서 자기지도학습이 활용되며, AI는 더욱 똑똑해지고 실용적으로 변화할 것입니다.

AI와 머신러닝의 최신 트렌드가 궁금하시다면 블로그를 구독해주세요! 복잡한 AI 기술을 쉽게 풀어드리며, 실생활에 미치는 영향까지 알려드립니다. 지금 바로 구독 버튼을 눌러 최신 정보를 받아보세요!

 

[AI 기본이해] AI가 말하는 데이터의 힘: 학습과 편향의 딜레마

[AI 기본이해] AI가 말하는 데이터의 힘: 학습과 편향의 딜레마

 

[AI 기본이해] ChatGPT는 어떻게 '생각'할까? 생성형 AI의 작동 원리

[AI 기본이해] ChatGPT는 어떻게 '생각'할까? 생성형 AI의 작동 원리