CNN (Convolutional Neural Networks)

개념 

: Convolutional Neural Network (합성곱 신경 망)

이미지 처리와 컴퓨터 비전 분야에서 널리 사용되는 딥러닝 알고리즘 

 

CNN 아키텍처 

1. 입력 계층 : 원본 이미지 데이터 입력
2. 합성곱 계층 : 이미지 특징 추출, 공간 정보 유지 
3. 풀링 계층 : 특징 맵 크기 감소, 중요한 정보 유지
4. 완전 연결층 : 최종 분류 수행 
5. 출력층 : 확률 분포로 변환하여 최종 예측  

 

1. 입력층 (Input layer)

• 이미지 데이터는 3D 텐서 데이터이며, (가로 크기 X 세로 크기 X 채널 수)를 통해 정보를 담고 있음 

출처: saturncloud (A Guide to Convolutional Neural Networks — the ELI5 way)

 

 

2. 합성곱 계층 (Convolution layer)

• 설명 : 입력 데이터와 커널 (= 필터) 간의 합성곱 연산을 통해 특징을 추출하는 과정 
• 목적 : 3차원 이미지 정보에서 이미지의 특징을 뽑아내는 계층 = 이미지 특징 추출 
• 이때 추출된 특징을 Feature map 이라고 한다 

 

Kernel

• 커널 (Kernel) = 필터 (Filter)
• 이미지에서 특징 (엣지, 패턴, 질감 등..)을 감지하는 작은 행렬

커널은 CNN이 학습하는 가중치에 해당하며, 학습을 통해 최적의 값을 찾는다. 

따라서 CNN에서 학습하는 파라미터, 매우 중요한 핵심 요소이다!

 

 

* 그럼 커널 값은 누가 결정하는 것인지❓

사람이 결정하는 것이 아니라 딥러닝 모델이 학습을 통해 최적의 가중치로 자동 조절하는 것이다 
= 일반적인 신경망의 가중치 역할을 수행한다고 이해~!

즉, 학습 과정에서 손실 함수와 역전파를 통해 가중치 (= 커널 값)이 업데이트가 된다. 

 

또한, 커널 자체의 크기를 결정하는 것도 매우 중요한 하이퍼 파리미터 중 하나이다. 
일반적으로 3x3, 5x5 크기의 커널이 가장 많이 선택되지만, 복잡한 특징을 학습하기 위해서는 
여러 개의 필터 (= 커널)을 쌓는 것이 효과적이다. 

 

 

합성곱 연산 (= 필터 연산)

• 입력 데이터 (이미지)와 필터 (커널)를 곱한 후 합산하여 새로운 출력 값 (특징 맵, feature map)을 생성하는 연산

출처: saturncloud (A Guide to Convolutional Neural Networks — the ELI5 way)

하지만, 이렇게 하면 공간 정보가 줄어드는 문제가 발생한다. 
따라서 padding을 사용해야 한다!

 

 

Padding

• 합성곱 연산 후 출력 크기가 줄어드는 문제를 해결하기 위해 입력 데이터 주변을 특정 값 (보통 0)으로 채우는 기법 
• 패딩을 사용하면, 연산 후에도 정보의 크기를 유지할 수 있음 = 정보 손실 방지

출처: saturncloud (A Guide to Convolutional Neural Networks — the ELI5 way)

위의 이미지는 현재 Zero-Padding (제로 패딩)을 적용해 입력 크기를 유지하면서
합성곱 연산을 수행하고 있음 

 

3. 풀링 계층 (Pooling layer)

• 입력 데이터에서 대표값 추출을 통해 크기를 줄이지만, 중요한 정보는 유지 
• 장점
  • 계산량이 적어짐 
  • 과적합 방지 (= 모델 성능 개선) : 모델이 불필요한 노이즈에 과적합하는 것을 방지할 수 있음 
  • 위치 변화에 강함 : 이미지가 이동하는 것과 같은 작은 위치 변화에도 특징이 유지되는 효과 

* 사진 축소를 통해 더 좋은 이미지를 얻을 수 있으며, 대표적으로 Max-pooling 사용 

 

Max-pooling

• 각 영역의 최댓값 선택 
• 가장 뚜렷한 특징을 유지할 수 있음 
• 가장 일반적으로 사용 

출처: paperwithcode (Max Pooling)

max pooling 외에도 Average pooling도 있으며,
특징을 부드럽게 유지해준다는 장점이 있지만 중요한 정보를 강조하는 효과가 적다는 특징을 갖고 있다. 

 

최근에는 global average pooling (전체 특징 맵에서 평균값 1개 출력)도 많이 활용된다. 

 

 

* pooling은 학습 파라미터가 없다! 이 의미는❓

pooling은 학습 과정 없이 그냥 정해진 규칙에 따라 작동하는 것이다 = 단순 연산만 수행!
즉, weight나 bias와 같은 학습 파라미터를 학습하지 않음

 

 

4. Flatten layer

• 다차원 데이터를 1차원 벡터로 변환하는 계층 
• 이를 통해 Dense layer에 입력될 수 있다 

CNN의 convolution layer에서 추출한 특징을 1차원 벡터로 변환하여 Dense layer에 전달하는 과정!!!

 

 

5. Fully Connected Layer (Dense Layer)

• 일반적인 인공신경망처럼 뉴런이 모든 입력과 연결된 층 
• 합성곱을 통해 추출한 특징을 바탕으로 최종 분류를 수행

 

CNN의 마지막 단계에서 Dense layer을 통해 최종 분류 수행!!!!
여기서 Action Function 적용 

 

 

6. Output layer - SoftMax

• softmax 적용
• 뉴런 개수는 라벨 개수와 동일 (출력 뉴런의 개수 = 클래스 개수)

 

분류 문제에서 모델 결과값을 확률값으로 만드는데 사용되는 함수!!!