【1】Deep Learning 시작하기/딥러닝이 알고 싶다! (5) 썸네일형 리스트형 경사하강법(Gradient Descent Optimizer) 작성자 홍다혜 ghdek11@gmail.com / 이원재 wonway333@gmail.com 가중치 업데이트 이전 글에서 설명한 바와 같이 오차가 최소가 되는 가중치 값을 찾기 위해 오차가 작아지도록 가중치를 수정해 나간다. 가중치는 너무 작아도 혹은 너무 커져도 오차가 커지므로 이러한 관계를 그래프로 표현하면 다음과 같다. 그림에서 보듯 오차를 최소로 하는 최적의 가중치 값을 m이라고 했을 때 이를 찾기 위해서는 랜덤하게 설정한 초기 가중치 값 w1을 시작으로 w1->w2->w3->m으로 이동시켜야 한다. 그렇게 하려면 초기w1보다 w2가, w2보다는 w3가 우리가 찾으려는 m에 가깝다는 것을 알아야 한다. 컴퓨터가 최적의 m값에 가까워지는지 어떻게 알 수 있을까? 바로 그래프에서 기울기를 구해 판단하는데 이러한 방법을 경사하강법이라고 한다. 경사하강법은 말 그대로 기울어진 정도인 경사가 낮아지도록 하는 방법.. 퍼셉트론 동작 작성자 홍다혜 ghdek11@gmail.com / 이원재 wonway333@gmail.com 퍼셉트론이 마주친 장벽 퍼셉트론은 출력 값이 1 또는 0이므로 선형 분류(linear classifier) 모델이라고 볼 수 있다. 선형 분류는 평면 상에 선을 긋고 그 선을 기준으로 A와 B로 분류하는 것을 말한다. 위의 그림에서 보다시피 2차원 ○과 □를 선으로 분류할 수 있는 문제를 선형 문제라고 한다. 그렇다면 다음 문제를 함께 생각해보자. 위 그림처럼 종이 위에 검은 점과 흰 점이 놓여 있다면 선 하나만을 이용해서 두 종류의 점을 분류할 수 있을까? 아무리 선을 그려보아도 선 하나만으로는 검은 점과 흰 점을 분류할 수 없을 것이다. 이것이 퍼셉트론의 한계로 많이 등장하는 XOR(exclusive OR) 문제다. XOR문제는 논리회로에 등장하는 개념이다. 논리회로란 논리 연산에 의해 입력에 대한 출력을 얻는 회로를 말하.. 딥러닝의 뿌리를 찾아서, 퍼셉트론은 누구인가? 인공지능 연구진들은 ‘사람을 대신해서 문제를 해결하는 기계’를 만들기 위해 사람의 뇌 구조를 분석하고 이를 컴퓨터세계로 가져옴으로써 인공신경망을 만들 수 있을 것이라고 생각했다. 1957년 블랜트(Frank Rosenblatt)가 제안한 인공 뉴런인 퍼셉트론은 신경망(딥러닝)으로 나아가는데 중요한 아이디어가 되었다. 이번장에서는 딥러닝의 핵심이 되는 인공신경망의 구성원인 인공뉴런 즉, 퍼셉트론의 동작원리를 간단히 소개하겠다. 먼저 퍼셉트론의 동작을 이해하기 위해 생물학적 신경망을 보도록 하자. 사람의 뇌는 뉴런이라고 불리는 신경세포로 구성되어 있다. 뉴런은 다수의 입력이 합산되어 하나의 통로로 출력이 되는데 합산된 값이 일정 값 이상이면 다음 뉴런으로 신호를 전달하고, 그 이하면 아무것도 하지 않는다. .. 이전 1 다음
