Semantic Segmentation이란?

Semantic Segmentation은 이미지의 각 픽셀에 클래스 라벨을 부여해, “무엇이 어디에 있는지”를 픽셀 단위로 이해하는 기술입니다.
객체의 경계와 형태를 정밀하게 추론해야 하므로, 공간 정보 유지가 매우 중요합니다.

주요 특징 및 목표

1) 픽셀 단위 분류 (Pixel-wise Classification)

  • 모든 픽셀에 클래스 라벨 부여
  • 객체/배경 포함 전 영역을 분류

2) 정밀한 공간 정보 추출

  • 객체 경계(윤곽) 보존이 핵심
  • 입력과 유사한 고해상도 출력 필요

3) 클래스 단위 분할

  • 같은 클래스 픽셀은 동일 라벨
  • 인스턴스 구분은 하지 않음
    • 예: 차량 3대가 있어도 모두 “Car” 라벨

4) 네트워크 구조

  • 주로 FCN 계열의 end-to-end 구조
  • 다운샘플링으로 특징 추출 후 업샘플링으로 원 해상도 복원
  • Autoencoder 형태(U-Net, DeepLab 계열 포함)와 유사한 흐름

이미지 분류와의 차이

구분 Semantic Segmentation Image Classification
목표/출력 픽셀 단위 라벨 맵 이미지 단일 라벨
작업 단위 픽셀 하나하나 분류 이미지 전체 분류
인스턴스 구분 하지 않음 보통 단일/주요 클래스 중심
구조 FCN/Encoder-Decoder CNN 백본 + 분류기
핵심 정보 경계/공간 정밀도 의미적 압축 표현

핵심 요약:

  • 분류: “무엇인가?”
  • 세그멘테이션: “무엇이 어디에 있는가?”

주요 응용 분야

1) 자율 주행

  • 도로/차량/보행자/표지판 픽셀 단위 분할
  • 주행 경로 의사결정에 핵심 입력

2) 의료 영상 분석

  • 종양, 병변, 장기 영역 정밀 분할
  • 진단 보조 및 치료 계획 수립 지원

3) 위성/항공 영상 분석

  • 토지 이용 분류
  • 재난 지역 분석
  • 농업 모니터링

4) AR/VR

  • 전경/배경 분리
  • 가상 객체 자연스러운 합성

마무리

Semantic Segmentation은 단순 인식이 아니라 픽셀 수준의 장면 이해를 목표로 하는 기술입니다.
정밀한 공간 추론이 필요한 자율주행, 의료, 원격탐사, AR/VR 분야에서 핵심 기반 기술로 활용됩니다.