고 입력과 (바라건대) 매우 가까워 보이는 어떤 것을 출력합니다. 오토인코더는 항상 두 부분으 로 구성되어 있습니다. 입력을 내부 표현으로 바꾸는 인코더 encoder (또는 인지 네트워크 recognition network
)와 내부 표현을 출력으로 바꾸는 디코더 decoder (또는 생성 네트워크 generative network )입니
다(그림 15-1 ). 그림에서 볼 수 있듯이 출력층의 뉴런 수가 입력 개수와 동일하다는 것을 제외하면, 일반적으 로 오토인코더는 다층 퍼셉트론( MLP, 10장 참조)과 동일한 구조를 가집니다. 이 예에서는 두 개의 뉴런으로 구성된 하나의 은닉층이 있습니다(인코더). 그리고 세 개의 뉴런으로 구성 된 출력층이 있습니다(디코더). 오토인코더가 입력을 재구성하기 때문에 출력을 종종 재구성 reconstruction
이라고 부릅니다. 비용 함수는 재구성이 입력과 다를 때 모델에 벌점을 부과하는 재
구성 손실을 포함하고 있습니다.5 그림 15-1 체스 기억 실험(왼쪽)과 간단한 오토인코더(오른쪽)
출력(≈입력)
인코더
내부 표현 디코더
입력
내부 표현이 입력 데이터보다 저차원이기 때문에(즉, 3차원 대신 2차원) 이런 오토인코더를 과소완전 undercomplete 6이라고 합니다. 과소완전 오토인코더는 입력을 코딩으로 간단히 복사할
5 옮긴이_ 즉, 오토인코더는 입력이 곧 타깃이 됩니다. 입력을 타깃으로 사용하는 이런 알고리즘을 일반적인 비지도 학습과 구분하여 자기 지도 학습(self-supervised learning )이라고 부르기도 합니다. 6 옮긴이_ undercomplete의 대수학적 정의를 보면 기저(basis )보다 적은 개수로 표현되는 것을 말하며 overcomplete는 그 반대의 경우입니다. 이 두 용어에 대한 적절한 번역 사례를 찾지 못했으나 underfitting/overfitting (과소적합/과대적합)의 경우를 참고하여 과 소완전, 과대완전이라고 옮겼습니다.
15장 오토인코더 523