스마트폰 카메라를 활용한 수동적 심장 건강 모니터링을 향하여

스마트폰 전면 카메라로 일상적인 얼굴 영상을 촬영해 심박수(HR)와 안정시 심박수(RHR)를 수동 개입 없이 추정하는 연구 시스템 PHRM이 소개되었습니다. PHRM은 8초 영상과 딥러닝을 활용해 심전도(ECG) 대비 HR 오차 10% 미만을 달성했고, 하루 단위 RHR도 웨어러블 수준의 정확도로 추정했습니다. 특히 다양한 피부색을 포함한 대규모 데이터로 학습해 피부색에 따른 성능 격차를 줄인 점이 핵심입니다.

스마트폰을 활용한 수동 심박 모니터링

• 심박수는 활동량, 스트레스, 질병 등 생리 상태를 반영하는 주요 생체 지표입니다.
• 안정시 심박수는 심혈관 건강과 장기적인 건강 위험을 나타내며, 높은 RHR이나 장기적 상승은 심혈관 질환 및 사망 위험 증가와 관련됩니다.
• PHRM은 얼굴 잠금 해제 직후 전면 카메라로 약 8초간 얼굴 영상을 촬영합니다.
• 사용자가 별도로 손가락을 카메라에 대거나 측정을 시작하지 않아도 일상적인 스마트폰 사용 중 데이터를 수집합니다.
• 스마트폰은 전 세계 약 50억 명이 사용하는 기기이므로 웨어러블 접근성이 낮은 환경에서 건강 모니터링을 확대할 가능성이 있습니다.

카메라 기반 PPG와 PHRM 기술

• PHRM은 광용적맥파(PPG) 원리를 사용합니다.
  • 혈액이 맥박에 따라 흐를 때 피부와 빛의 상호작용이 변하는 현상을 카메라로 감지합니다.
• 얼굴 영상에서 심박 신호를 추출하는 원격 PPG(rPPG) 모델을 적용합니다.
• 기기 내에서 실행 가능한 효율적인 시계열 이동 합성곱 신경망을 사용해 HR과 예측 신뢰도 점수를 계산합니다.
• 하루 동안 얻은 여러 HR 측정값을 신뢰도 점수와 칼만 필터로 통합해 일일 RHR을 추정합니다.
• 웨어러블처럼 지속적으로 착용해야 하는 센서가 아니라 스마트폰 사용 순간에 자연스럽게 측정하는 방식입니다.

피부색 다양성을 고려한 모델 설계

• 기존 rPPG 연구는 소규모·통제된 환경에 치우쳤고, 어두운 피부를 가진 참가자가 충분히 포함되지 않았습니다.
• 멜라닌은 카메라가 PPG 신호를 감지하기 어렵게 만들 수 있어 피부색별 정확도 격차가 발생할 수 있습니다.
• PHRM은 약 700명의 참가자로부터 35만 개 이상의 영상 클립을 수집했습니다.
• 피부색 분포를 Monk Skin Tone 기준으로 설계했습니다.
  • 밝은 피부 그룹: 최소 25%
  • 중간 피부 그룹: 최소 25%
  • 어두운 피부 그룹: 최소 33%
• 가장 측정이 어려운 사례에 더 많은 학습을 할당했습니다.
• 피부색 그룹별 HR MAPE 차이가 5%포인트 미만이어야 한다는 비열등성 기준을 설정했습니다.

실험실 검증 결과

• 365명의 다양한 참가자로부터 조명과 활동 상태가 다른 환경에서 얼굴 영상과 ECG를 동시에 수집해 학습했습니다.
• 별도의 104명 테스트 세트에서 최소 신뢰도 기준을 적용한 뒤 모든 피부색 그룹에서 MAPE 10% 미만을 기록했습니다.
• 같은 데이터에서 비교한 15개 주요 rPPG 모델보다 우수한 성능을 보였습니다.
• 모든 피부색 그룹에서 MAPE 10% 미만을 달성한 모델은 PHRM뿐이었습니다.
• 신뢰도 점수가 낮은 측정값을 제외하는 confidence gating이 정확도 개선에 기여했습니다.

실제 생활 환경에서의 검증

• 231명이 개인 스마트폰에 연구 앱을 설치하고 8일 동안 평소처럼 사용했습니다.
• 참가자들은 ECG 흉부 스트랩과 Fitbit Charge 6를 함께 착용해 비교 기준 데이터를 제공했습니다.
• 얼굴 잠금 해제 직후 하루 평균 231개의 8초 영상 클립을 수집했습니다.
• 참가자는 매일 영상 내용을 검토한 뒤 서버 업로드를 명시적으로 승인했습니다.
  • 민감한 장면이나 다른 사람의 얼굴이 포함된 영상은 제외할 수 있었습니다.
  • 데이터는 암호화된 보안 서버에 업로드되었습니다.
• 별도로 확보한 101명 검증 세트에서 신뢰도 필터 적용 후 전체 MAPE는 6.09%였습니다.
  • 밝은 피부 그룹: 5.04%
  • 중간 피부 그룹: 5.12%
  • 어두운 피부 그룹: 7.84%
• ECG 대비 평균적으로 HR을 0.64bpm 낮게 추정했으며, 95% 일치 한계는 -11.3~10.3bpm이었습니다.
• 실제 생활 환경에서도 기존 15개 rPPG 모델보다 크게 우수했고, 모든 피부색 그룹에서 MAPE 10% 미만을 유지했습니다.

일일 안정시 심박수 추정

• PHRM은 하루 중 여러 번 측정한 심박수를 단순 평균하지 않고 신뢰도와 시간적 변동을 함께 고려합니다.
• 칼만 필터를 사용해 잡음이 있는 개별 측정값을 통합하고 하루의 RHR을 추정합니다.
• 연구 결과 일일 RHR 추정 정확도는 웨어러블 추적기와 비교해 평균 절대 오차(MAE) 5bpm 미만으로, 웨어러블 수준에 해당했습니다.
• 따라서 스마트폰 사용만으로 장기적인 심박 변화와 건강 추세를 관찰할 가능성을 보여줍니다.

연구 데이터와 남은 과제

• 연구진은 지금까지 공개된 스마트폰 영상 기반 rPPG 데이터셋 중 가장 크고 다양한 데이터셋을 공개했습니다.
• 자격을 갖춘 연구자는 데이터셋과 사전 학습 모델인 ‘PHRM-mini’에 접근을 신청할 수 있습니다.
• 다만 연구 시스템은 스마트폰 전면 카메라가 얼굴을 안정적으로 촬영할 수 있어야 하며, 조명·움직임·카메라 성능에 따라 결과가 달라질 수 있습니다.
• PHRM은 연구용 시스템이므로 질병 진단이나 응급 판단을 대신하는 의료기기로 사용해서는 안 됩니다.

스마트폰 카메라 기반 PHRM은 웨어러블이 없어도 심박수와 RHR을 수동적으로 추적할 수 있는 현실적인 접근입니다. 특히 피부색 다양성을 반영한 학습과 실제 생활 환경 검증이 강점이며, 향후에는 개인정보 보호, 배터리·성능 부담, 다양한 기기에서의 일관성 검증이 상용화의 핵심 과제가 될 것입니다.