확산 모델의 창의성을 명확히 이해하기 위한 여정

확산 모델의 창의성은 학습 데이터의 단순 암기가 아니라, 신경망이 점수 함수(score function)를 완벽하지 않고 매끄럽게 학습하는 데서 비롯됩니다. 정규화와 신경망의 암묵적 정규화는 점수 함수의 급격한 변화를 완화하고, 생성 과정이 학습 샘플 사이를 보간하도록 만듭니다. 그 결과 모델은 데이터의 구조를 유지하면서도 학습 데이터에 없는 새롭고 그럴듯한 샘플을 생성할 수 있습니다.

확산 모델의 생성과 점수 함수

• 확산 모델은 실제 데이터를 노이즈로 오염시킨 뒤, 이를 단계적으로 되돌리는 디노이징 과정을 학습합니다.
• 생성 과정에서 점수 함수는 현재 데이터가 어느 방향으로 이동해야 하는지 알려주는 일종의 힘의 장 역할을 합니다.
• 점수 함수를 완벽하게 학습한다면 노이즈 입자들은 특정 학습 샘플로 수렴할 수 있습니다.
  • 이 경우 모델은 새로운 데이터를 만드는 생성기보다 학습 데이터를 찾아내는 검색 도구에 가까워집니다.
  • 즉, 점수 함수의 완벽한 재현은 오히려 암기를 유발할 수 있습니다.

1차원 사례에서 나타나는 보간 효과

• 학습 데이터가 -1과 +1 두 점뿐인 1차원 세계를 생각할 수 있습니다.
• 완벽한 점수 함수는 0 부근에서 방향이 급격히 바뀝니다.
  • 왼쪽의 입자는 -1로 이동합니다.
  • 오른쪽의 입자는 +1로 이동합니다.
  • 결과적으로 모든 입자가 두 학습 데이터 중 하나에 도달합니다.
• 신경망이 학습한 점수 함수는 이처럼 급격한 변화를 그대로 표현하기 어렵습니다.
• 특히 weight decay 같은 정규화는 급격한 절벽 형태를 완만한 경사로 바꿉니다.
• 중앙 영역의 힘이 약해지면서 입자들이 학습 데이터에 즉시 수렴하지 않고, 두 점 사이의 보간 영역(interpolation zone) 에 머무를 수 있습니다.
• 이 보간 영역에서 생성된 샘플이 학습 데이터에는 없지만 두 데이터의 특성을 공유하는 새로운 결과가 됩니다.

정규화가 만드는 점수 함수의 평활화

• 연구진은 1차원 점수 함수를 두 층 ReLU 신경망으로 학습하고 AdamW와 다양한 weight decay 설정을 비교했습니다.
• weight decay가 강할수록 점수 함수의 중앙 부분이 더 부드러워졌습니다.
• 점수 함수가 부드러워지면 데이터 사이를 흐르는 입자의 속도가 느려지고, 특정 학습 샘플로의 붕괴가 완화됩니다.
• 명시적인 weight decay를 사용하지 않아도 경사 기반 학습 알고리즘 자체의 암묵적 정규화 때문에 같은 평활화가 나타날 수 있습니다.
• 따라서 확산 모델의 창의성은 우연한 학습 실패가 아니라, 신경망 학습 방식에서 자연스럽게 발생하는 수학적 결과로 해석할 수 있습니다.

데이터 매니폴드 복원

• 고해상도 이미지처럼 복잡한 데이터는 고차원 픽셀 공간에 존재하지만, 의미 있는 이미지가 차지하는 영역은 극히 일부입니다.
• 이 의미 있는 데이터들의 집합을 데이터 매니폴드라고 하며, 확산 모델은 유한한 학습 데이터로부터 이 숨겨진 구조를 추정해야 합니다.
• 생성은 단순히 학습 샘플을 복사하는 것이 아니라, 데이터 매니폴드 위에서 새로운 점을 찾는 문제로 볼 수 있습니다.
• 다차원 공간에서 점수 평활화는 모든 방향에 동일하게 작용하지 않습니다.
  • 매니폴드에 접하는 방향에서는 학습 샘플로 지나치게 수렴하는 경향을 늦춥니다.
  • 매니폴드를 향하는 방향에서는 이동을 크게 방해하지 않습니다.
• 이 특성 덕분에 입자는 무의미한 고차원 공간에서 매니폴드로 이동하면서도, 매니폴드 위에서는 특정 학습 데이터에 과도하게 붕괴하지 않습니다.
• 결과적으로 생성물의 현실성과 새로움 사이에서 균형이 형성됩니다.

실용적 의미

확산 모델의 창의성을 이해하려면 단순히 데이터 암기 여부만 볼 것이 아니라, 학습된 점수 함수가 얼마나 매끄러운지와 정규화가 생성 궤적에 미치는 영향을 함께 분석해야 합니다. 적절한 평활화는 학습 데이터에 대한 충실도와 새로운 샘플 생성 능력을 동시에 확보하는 핵심 메커니즘으로 볼 수 있습니다.