학습 알고리즘
1. 학습 알고리즘 신경망에는 매개변수(가중치, 편향)이 있고, 이를 데이터에 적응하도록 조정하는 과정을 학습이라고 한다. 학습은 다음과 같은 4단계로 수행된다. 1단계 : 미니배치 : 학습 데이터의 일부를 무작위로 가져온다. 선별된 데이터를 미니배치라고 한다. 2단계 : 기울기 산출 : 미니배치의 손실 함수 값을 줄이기 위해, 손실 함수에 대한 각 매개변수의 기울기를 구한다. 3단계 : 매개변수 갱신 : 가중치 매개변수를 기울기 방향으로 아주 조금 갱신한다. 4단계 : 1~3단계를 반복한다. 무작위 확률적으로 골라낸 데이터에 대해 수행하는 경사 하강법이므로, 이를 확률적 경사 하강법이라고 부른다. 2. 그라디언트를 구하는 방법 수치 미분 방식(아주 작은 차분으로 미분)으로 각각의 매개변수의 손실 함수에..
밑바닥부터 시작하는 딥러닝1
2023. 11. 30. 21:38