전이 학습(Transfer Learning)은 대규모 데이터셋으로 미리 학습된 모델의 지식을 새로운 작업에 재사용하는 방법입니다.
핵심은 “처음부터 다 학습하지 않고, 이미 학습된 특징 추출 능력을 가져와 빠르게 적응시키는 것”입니다.

1. 전이 학습이란?

사전학습 모델(Pre-trained Model)의 가중치를 새 문제에 전이해 사용하는 기법입니다.

  • 예: ImageNet으로 학습된 모델 사용
  • 초기 합성곱 계층은 에지/텍스처/패턴 같은 일반 특징을 이미 학습
  • 새 데이터가 적어도 성능과 학습 효율을 확보하기 유리

즉, 전이 학습은 데이터/시간/컴퓨팅 비용을 줄이면서 성능을 높이는 실전 전략입니다.

2. 이미지 분류/객체 탐지에서의 활용 방식

객체 탐지는 내부적으로 분류 + 위치 회귀를 함께 수행하므로, 전이 학습의 기본 흐름은 분류 모델에도 동일하게 적용됩니다.

1단계: 사전학습 모델을 백본으로 가져오기

  • VGG, ResNet 등 사전학습 모델 로드
  • 전체가 아니라 특징 추출부(Backbone/Feature Extractor) 중심으로 사용
  • 예: models.vgg16(...).features

2단계: 작업 맞춤 헤드로 교체/추가

  • 백본 위에 새 작업용 헤드 연결
  • 분류: 새 클래스 수에 맞는 분류기 교체
  • 탐지: 분류 헤드 + 박스 회귀 헤드 구성
  • 예: Faster R-CNN에서 num_classes를 새 데이터셋 기준으로 설정

3단계: 미세 조정(Fine-tuning)

  • 새 데이터셋으로 재학습
  • 전략:
    • 백본 일부 고정(freeze) + 헤드 중심 학습
    • 또는 백본까지 낮은 학습률로 함께 업데이트

이 과정으로 모델이 새 도메인에 점진적으로 적응합니다.

3. 실무 관점 요약

  • 사전학습 백본 재사용 -> 개발 속도 향상
  • 데이터 적은 환경에서도 성능 확보 가능
  • 분류/탐지 모두 동일한 전이학습 프레임으로 운영 가능

결론적으로, 전이 학습은 “검증된 특징 추출기 + 작업 맞춤 헤드 + 미세 조정”의 조합으로 실무 효율과 성능을 동시에 확보하는 핵심 방법입니다.