프로메테우스 구축: 백엔 (새 탭에서 열림)

Meta는 기가와트(GW)급 규모의 AI 클러스터인 '프로메테우스(Prometheus)'를 구축하기 위해 백엔드 집선(Backend Aggregation, 이하 BAG) 기술을 핵심 아키텍처로 도입했습니다. BAG는 수만 개의 GPU를 여러 데이터 센터와 지역에 걸쳐 원활하게 연결하는 이더넷 기반의 슈퍼 스파인(Super Spine) 네트워크 계층입니다. 이를 통해 Meta는 페타비트(Pbps)급의 대역폭을 확보하고, 서로 다른 네트워크 패브릭 간의 유연한 통합과 높은 신뢰성을 구현하여 차세대 AI 인프라의 토대를 마련했습니다.

BAG의 역할과 네트워크 구조

• 중앙 집중식 연결: 여러 데이터 센터와 지역에 분산된 스파인 패브릭을 하나로 묶는 슈퍼 스파인 역할을 수행하며, 지역 간 16~48 Pbps에 달하는 초대용량 대역폭을 지원합니다.
• 하이브리드 패브릭 통합: 스케줄링 방식의 DSF(Disaggregated Schedule Fabric)와 비스케줄링 방식의 NSF(Non-Scheduled Fabric)라는 두 가지 서로 다른 L2 네트워크 기술을 BAG 계층에서 안정적으로 통합합니다.
• 토폴로지 전략: 관리 효율성을 강조한 평면(Planar) 토폴로지와 경로 다양성을 통해 회복 탄력성을 높인 분산(Spread) 연결 토폴로지를 사이트 규모와 광케이블 가용성에 따라 선택적으로 운용합니다.

하드웨어 사양 및 라우팅 최적화

• 고성능 ASIC 활용: 최대 432개의 800G 포트를 제공하는 Jericho3(J3) ASIC 기반 모듈형 샤시를 채택하여 확장성과 대역폭 요구사항을 충족합니다.
• 지능형 부하 분산: eBGP와 링크 대역폭 속성을 활용한 UCMP(Unequal Cost Multipath) 라우팅을 통해 효율적인 트래픽 분산과 신속한 장애 복구 기능을 제공합니다.
• 보안 아키텍처: 지역 간을 잇는 BAG-to-BAG 연결에는 MACsec 암호화를 적용하여 대규모 네트워크 인프라의 보안성을 강화했습니다.

장애 대응 및 성능 유지 기술

• 딥 버퍼(Deep Buffer) 도입: 지역 간 장거리 연결에서 발생하는 지연과 혼잡을 관리하기 위해 딥 버퍼 스위치를 사용하여 PFC(Priority Flow Control) 기반의 무손실 전송을 지원합니다.
• 오버서브스크립션 관리: L2 계층에서 BAG로 이어지는 구간의 오버서브스크립션 비율을 약 4.5:1 수준으로 정밀하게 제어하여 규모 확장과 성능 유지 사이의 균형을 맞춥니다.
• 가용성 극대화: 포트 스트라이핑(Port Striping) 및 조건부 경로 요약 기술을 통해 특정 구간 장애 시 데이터가 유실되는 블랙홀링(Blackholing) 현상을 방지합니다.

실용적인 결론

단일 데이터 센터를 넘어 수만 개의 GPU를 연결하는 기가와트급 AI 클러스터를 설계할 때는 물리적 거리에 따른 지연과 대역폭 병목을 해결하는 것이 최우선 과제입니다. Meta의 BAG 사례처럼 딥 버퍼 스위치와 고성능 ASIC을 결합한 계층형 집선 구조를 도입하고, 네트워크 상황에 맞는 유연한 토폴로지를 설계하는 것이 미래 AI 인프라의 확장성을 결정짓는 핵심 요소가 될 것입니다.