[CNN] CNN feature map과 filter 시각화

목적 : CNN layer들 중간중간 추출되는 feature들을 시각화해보면서 layer를 거치면서 어떠한 변화가 일어나는지 알아본다.

 

 

CNN architecture

들어가기전에, CNN을 이해하기 위해 꼭 필요한 정보들에 대해서 정리해본다.

 

1. input image에 우리는 filter(=mask=kernel)를 적용하여 feature map을 생성한다. 이때 filter는 이미지가 가지고 있는 edge, vertical line, horizontal line, bends와 같은 여러 feature들을 나타내주도록 도와준다.

 

2. 생성된 feature map에 pooling을 적용한다. min, avg, max pooling등을 쓸 수 있고, 그 중에서 max pooling을 사용했을 때 성능향상을 기대해볼 수 있다.

 

참고로, pooling은 subsampling이라고도 불리는데 image data의 size를 줄이기 때문이다. size를 어떻게 줄일 지에 따라 min/max/avg sampling 등으로 나뉜다.

    - pooling의 목적 : 이미지 크기를 줄임 = parameter수 줄임 = 과적합 방지

    - pooling의 장점 : channel수에 영향을 주지 않는다. channel 수 유지 (independent)
                            input feature map에 벼화가 있어도 pooling의 결과에는 변화가 적다 (robustness)

                            학습할 parameter가 없다

 

 

3. flatten시킨 후 deep neural net의 input으로 넣어준다. 이 neural net은 output으로 분류될 class를 내뱉어준다. (classify)

 

---

 

CNN의 과정을 읊어보았다.
그런데 가끔,, CNN을 사용하다보면 결과가 왜 이렇게 나오지? 혹은 데이터가 CNN을 통과하는 과정중의 결과가 궁금할 때가 있다.
모델이 어떤식으로 학습하고 있는지 intermediate representation을 시각화해보면 좋을 것 같다.
이렇게 하면 모델의 결과에 대한 해석, model fine tuning 등 더 용이해질 것이다. 

 

filter와 feature map을 시각화하는 법을 배우기 전에, convolutional layer와 filter에 대해 짚고 넘어가야할 중요한 point들을 remind 해본다. 

 

Convolution layer와 Filter (중요 point)

1. CNN의 filter의 depth는 input image의 depth와 같아야한다. 여기서 depth가 의미하는 것은 color channel 수이다.

 

2. color image의 3개 channel마다 각각 다른 Conv2D filter가 생성된다.

 

3. 각 layer의 filter는 random하게 initialize된다. 학습을 통해서 feature가 두드러지는 filter로 만들어진다.

학습 전 : 무작위로 분포된 filter / 학습 후 : edge filter

 

4. 앞에 있는 layer일수록 high-level feature를 추출한다. layer가 깊어질수록 filter 개수를 증가시킨다.

 

5. 더 깊은 layer에 있는 filter일수록 더 많은 feature를 학습하지만 계산량이 크다. 

 

 

 

 

filter의 개수 = feature map개수

즉, 내가 6개의 filter를 사용한다 -> 6개의 서로 다른 feature를 뽑겠다 -> filter 6개를 convolve한 결과 convolution layer에는 서로다른 6개의 feature map 이 생성된다