방송대 인공지능 15강: 잔차 연결과 어텐션 기반 시퀀스 처리 신경망은 깊어질수록 표현력이 커지지만 학습이 어려워지고, 시퀀스가 길어질수록 앞쪽 정보가 희미해집니다. 이 글은 ResNet이 깊이의 병목을, LSTM·GRU가 기억의 병목을, 어텐션과 트랜스포머가 고정 문맥과 순차 처리의 병목을 어떤 정보 경로로 해결하는지 하나의 흐름으로 연결합니다. 세 모델의 차이는 정보가 이동하는 경로에서 시작한다 15강의 세 주제를 따로 외우면 모델 이름은 남지만 왜 그런 구조가 필요한지는 흐려진다. 심층 합성곱 신경망, 순환 신경망, 트랜스포머는 모두 필요한 정보를 먼 위치까지 충분히 보존해 전달하기 어렵다 는 문제에서 출발한다. 다만 막히는 축이 서로 다르다. 문제가 생기는 축 대표 병목 새로 만든 정보 경로 대표 구조 층의 깊이 층을 더 쌓았는데도 일반 심층망의 최적화 품질이 저하됨 층 묶음을 건너 입력을 직접 더하는 스킵 연결 ResNet의 잔차 블록 시간의 길이 기본 RNN에서 오래된 정보가 점차 소실됨 유지·삭제·출력을 제어하는 게이트 LSTM, GRU 토큰 사이 거리 고정 길이 문맥 벡터에 긴 입력을 모두 압축하기 어려움 출력 시점마다 필요한 입력 상태를 다시 참조 어텐션 계산 순서 RNN은 앞 시점 계산을 기다려야 다음 시점을 처리함 전체 토큰 관계를 셀프 어텐션으로 한꺼번에 계산 트랜스포머 판단 핵심: 새 모델을 볼 때 구성 요소부터 암기하지 말고, 먼저 “어떤 정보가 어디까지 가야 하는데 어느 경로에서 막히는가?”를 찾는다. 그러면 스킵 연결·게이트·어텐션의 역할을 같은 원리로 설명할 수 있다. 깊은 합성곱망은 특징의 수준과 학습 가능성을 함께 확보해야 한다 합성곱 신경망의 낮은 층은 선이나...