전체 글

다층 퍼셉트론에서 비선형 활성화 함수의 사용 이유

비선형 활성화 함수: 선형 연산 결과 뒤에 적용되어 퍼셉트론의 출력을 변형시키기 위해 추가한 장치 다층 퍼셉트론에서의 은닉계층은 비선형 활성화 함수를 사용하여 선형 연산 결과를 변형시키고 이를 통해 퍼셉트론의 최종 출력 결과를 만들어 낸다. 다층 퍼셉트론에서 은닉계층의 뒤에는 또다른 은닉계층 또는 출력계층이 존재한다. 따라서 각 계층의 선형 연산 사이마다 비선형 활성화 함수가 존재하게 된다. (단, 출력계층에는 비선형 활성화 함수를 두지 않는다) 그렇다면 왜 다층 퍼셉트론에는 꼭 비선형 활성화 함수를 사용할까? 선형 처리는 여러 단계를 거듭해도 하나의 선형 처리로 나타낼 수 있기 때문이다. 직렬로 연결되고 비선형 활성화 함수를 사용하지 않는 두 퍼셉트론을 보자. 첫 계층 퍼셉트론의 입력값, 가중치, 편향..

오늘 밤, 세계에서 이 사랑이 사라진다 해도

들어가며 인터넷 광고를 통해 이 책을 접하게 되었는데 마침 즐겨읽는 책들과 비슷해 보여서 읽어보게 되었다. 전격소설대상 미디어워크스문고상을 수상하기도 했고, 책의 띠지에 아마존 독자가 남긴 평을 보니 여러모로 기대가 되는 책이었다. But... "병이 있어. 선행성 기억상실증이라는 건데. 밤에 자고나면 잊어버리거든. 그날 있었던 일을 전부." 또 기억상실증이다... 기억상실증 소재는 너무 자주봐서 이 책 또한 진부한 내용과 결말이 될것이라 생각했다. 진부한 소재는 독자들이 많이 접해온 만큼 내용의 흐름과 결말을 예측하기 쉬워 작품의 재미를 떨어뜨리는 요인이 되는 경우가 많다고 생각한다. 줄거리 가미야 도루는 괴롭힘을 당하는 친구를 위해 히노 마오리에게 거짓고백을 한다. 하지만 히노 마오리는 다음 세가지 ..