MLP(Multilayer Perceptron)

하나 이상의 은닉층을 가진 네트워크를 심층 신경망(deep neural network)이라고 한다.

 

아달린에서 여러개로 분신술을 펼친 것이 바로 MLP라고 할 수 있으며, 사실상 요즘 ML에서 가장 핫한놈이라고 할 수 있겠다. 이놈들은 대충 아래와 같은 과정을 통해서, 학습을 진행하고 출력한다고 할 수 있다.

1. Input Layer에서 시작해서 정방향으로 훈련데이터의 패턴을 네트워크에 Propagate해 출력을 만든다.
2. 출력을 기반으로 비용 함수를 이용해 최소화 해야할 오차를 계산한다.
3. 네트워크에 있는 모든 가중치에 대한 도함수를 찾아 오차를 역전파하고 모델을 업데이트 한다.

여기서 알 수 있듯이 MLP는 피드포워드 인공신경망이다. 이때 feed forward란 각 층에서 입력을 순환시키지 않고 다음층으로 전달한다는 의미다. (RNN과는 다르다는 소리다.) 다만 이의 Back Propagation과정은 상당히 서술하기에 머리가 아픈데.... 일단 아래와 같이 기호들을 정의해보자.

 

Back Propagation of MLP

 

위대한 GEMINI님의 결과물을 심의해서 첨부한다.

 

일단 출력층 가중치(w2)에 대한 미분을 갈겨보자.

 

 

다만 여기서...

 

 

임으로, 이를 대입하면 출력층의 가중치에 대한 Gradient는 아래와 같이 나온다.

라 정의해보자.

와 같이 심플하게 된다.

 

 

 

그리고 입력층 가중치(w1)에 대해서도 똑같이 갈겨주면 결국엔 아래와 같이 생각할 수 있겠다.

 

근데 이래서 뭐가 좋냐면은, 단일 퍼셉트론은 선형적으로 분리되나 MLP는 비선형적으로 가능하다! 쉽게 말해서 단일 퍼셉트론은 생선을 반토막 내는게 전부라면, MLP는 여러번 칼질이 가능하기에 구역을 아름답게 썰어서 회로 내던 사시미로 내던 탕류로 만들던 할 수 있는 셈이라고 할 수 있겠다. 즉 단일 퍼셉트론으로는 못푸는 문제 (예:XOR)에 대한 설명력을 MLP는 가진다고 볼 수 있겠다.

 

참고로 Loss function의 경우 Regression의 경우 MSE, Classification의 경우 Cross Entropy를 사용한다.