핑거 스냅? 기울기가 사라진다!

다시 마주친 장벽, Vanishing Gradient Problem

 오차역전파의 등장으로 신경망에서 최적의 가중치를 찾아낼 수 있으며 이를 통해 오차가 적은, 정답과 가까운 출력을 갖는 신경망을 만들 수 있음을 보이게 되었다. 사람들은 신경망이 XOR 문제 뿐만 아니라 더 복잡한 문제도 해결할 수 있다는 생각에 다시 관심을 갖기 시작했다. 연구진들은 복잡한 문제를 해결할 수 있는 신경망을 만들기 위해 은닉층을 깊게 쌓아보았으나 결과가 기대만큼 좋지 않게 되며 신경망은 두번째 침체기에 들어서게 된다. 도대체 어떠한 문제가 생긴 것인지 알아보자.

 

핑거 스냅? 기울기가 사라진다!

분명 우리는 앞의 글에서 신경망이 깊이가 얕은 다층 퍼셉트론의 모양을 할 때 오차 역전파가 잘 동작함을 알고 있다. 오차역전파는 출력층에서 시작해 입력층에 도달할 때까지 각 층의 가중치를 수정하는 방법이다. 이때 가중치를 수정하기위해 미분 즉 기울기를 이용하는데 층을 깊게 쌓았더니 입력층에 도달하기 전 기울기가 0이 되어버리는 문제가 발생했다. 

 

 

이렇게 역전파의 기울기 값이 사라져 버리는 문제를 기울기 소실(vanishing gradient) 이라 한다.

 

 

다음 글에서 기울기 소실 문제를 해결할 아이디어에 접근해 보도록 하겠다.

 

 

 

---

작성자 홍다혜 ghdek11@gmail.com / 이원재 wonway333@gmail.com