배치 정규화
1. 배치 정규화? 앞 절에선 가중치 초기화를 적절히 설정해서 각 층의 활성화값 분포를 적당히 퍼뜨려 원활한 학습을 유도했다. 이와 달리 배치 정규화는 각 층의 활성화값을 적당히 퍼뜨리도록 강제하는 기법이다. 배치 정규화의 장점은 아래와 같다. 학습 속도를 빠르게 한다. 가중치 초깃값에 크게 의존하지 않는다. 오버피팅을 억제한다. 2. 배치 정규화 알고리즘 배치 정규화는 그 이름과 같이, 학습 시 미니배치 단위로 정규화를 한다. 구체적으로는 한 배치안의 값의 분포를 평균이 0, 분산이 1이 되도록 정규화한다. 수식으로는 위와 같다. 이러한 변환을 활성화 함수의 앞 혹은 뒤에 삽입함으로써 데이터 분포가 덜 치우치게 강제한다. 배치 정규화를 활성화 함수의 앞과 뒤 중 어느 쪽에 삽입할 지에 대한 정답은 없다..
밑바닥부터 시작하는 딥러닝1
2023. 12. 9. 20:50