IT/딥러닝

다층 퍼셉트론에서 비선형 활성화 함수의 사용 이유

비선형 활성화 함수: 선형 연산 결과 뒤에 적용되어 퍼셉트론의 출력을 변형시키기 위해 추가한 장치 다층 퍼셉트론에서의 은닉계층은 비선형 활성화 함수를 사용하여 선형 연산 결과를 변형시키고 이를 통해 퍼셉트론의 최종 출력 결과를 만들어 낸다. 다층 퍼셉트론에서 은닉계층의 뒤에는 또다른 은닉계층 또는 출력계층이 존재한다. 따라서 각 계층의 선형 연산 사이마다 비선형 활성화 함수가 존재하게 된다. (단, 출력계층에는 비선형 활성화 함수를 두지 않는다) 그렇다면 왜 다층 퍼셉트론에는 꼭 비선형 활성화 함수를 사용할까? 선형 처리는 여러 단계를 거듭해도 하나의 선형 처리로 나타낼 수 있기 때문이다. 직렬로 연결되고 비선형 활성화 함수를 사용하지 않는 두 퍼셉트론을 보자. 첫 계층 퍼셉트론의 입력값, 가중치, 편향..