핵심은 각도: 사진의 재구성 (새 탭에서 열림)
구글은 기존 사진의 구도와 카메라 각도를 촬영 후에 자유롭게 재구성할 수 있는 '오토 프레임(Auto frame)' 기능을 구글 포토에 도입했습니다. 이 기술은 단순한 크롭(자르기)이나 줌을 넘어, 2D 사진을 3D 장면으로 해석하고 생성형 AI를 활용해 가상의 카메라 위치에서 바라본 새로운 시점의 이미지를 구현합니다. 이를 통해 사용자는 인물의 왜곡을 바로잡거나 촬영 당시 놓쳤던 배경까지 포함된 완벽한 구도의 사진을 얻을 수 있습니다. **기존 편집 방식의 한계와 새로운 접근법** * 전통적인 크롭이나 줌 방식은 이미 고정된 시점 내에서만 작동하므로 시차(Parallax)를 변경하거나 프레임 밖의 영역을 보여줄 수 없다는 근본적인 한계가 있었습니다. * 구글의 새로운 방식은 사진을 단순한 평면이 아닌 '시간 속에 얼어붙은 3D 장면'으로 취급하여, 가상 공간 안에서 카메라의 위치와 각도를 자유롭게 이동시키는 방식을 취합니다. * 이 과정은 원래 보였던 부분을 유지하면서도 이전에 가려졌던 콘텐츠를 지능적으로 생성하여 실제와 같은 새로운 원근감을 형성합니다. **3D 장면 추정과 카메라 파라미터 최적화** * 내부적인 3D 포인트 맵(3D point map) 추정 모델을 통해 사진 속 모든 픽셀의 깊이와 표면 정보를 파악하며, 특히 인물의 정체성을 보존하기 위해 신체와 얼굴 재구성에 특화된 모델을 사용합니다. * 원래 사진 촬영 당시의 초점 거리(Focal length)를 근사치로 계산하여 가상 카메라의 위치(Pose)와 내부 파라미터(Intrinsics)를 정교하게 조정할 수 있게 합니다. * 이러한 3D 추정 단계와 이미지 생성 단계를 분리함으로써, 단순한 픽셀 변형이 아닌 물리적으로 타당한 카메라 조작이 가능해졌습니다. **생성형 잠재 확산 모델을 통한 공백 보완** * 가상 카메라를 이동시키면 원래 렌즈에 포착되지 않았던 배경 영역에 '구멍(Holes)'이 생기는데, 이를 해결하기 위해 생성형 잠재 확산 모델(Latent Diffusion Model)을 사용하여 자연스럽게 채워 넣습니다. * 이 모델은 카메라 파라미터 데이터셋을 기반으로 훈련되었으며, 렌더링된 추정치를 보정하고 보충하여 최종 이미지를 완성합니다. * 추론 시에는 특정 지역 스케일링(Regional scaling) 기법이 포함된 분류기 가이드 방식을 사용하여 원본의 핵심 콘텐츠를 충실히 유지하면서도 생성형 AI의 창의성을 발휘해 빈 공간을 메웁니다. **지능형 자동 프레이밍 및 왜곡 수정** * 머신러닝 모델이 주요 피사체의 얼굴 위치와 3D 방향을 감지하여 포트레이트 사진에 최적화된 구도를 자동으로 계산하고 제안합니다. * 특히 광각 전면 카메라로 촬영 시 발생하는 원근 왜곡(가까운 피사체가 비정상적으로 크게 보이는 현상)을 자동으로 감지합니다. * 가상 카메라의 특성을 조정해 피사체에서 물리적으로 한 발짝 뒤로 물러나 찍은 듯한 효과를 주어, 훨씬 더 자연스럽고 보기 좋은 비율을 복원합니다. 현재 이 기술은 구글 포토의 '오토 프레임' 기능 내에서 자동 편집 옵션으로 제공되고 있습니다. 사용자는 별도의 복잡한 작업 없이 클릭 한 번으로 3D 인지 기술이 적용된 최적의 구도를 추천받을 수 있으므로, 구도가 아쉬운 인물 사진이나 왜곡이 심한 셀피를 개선하는 데 유용하게 활용할 수 있습니다.
