낮은 테스트 커버리지 문제를 해결하기 위해 AI를 활용한 테스트 자동화 도구를 개발하고 적용한 과정을 담고 있습니다. 처음에는 AI에게 모든 것을 맡기는 완전 자동화를 시도했으나 높은 컴파일 오류율로 인해 실패했고, 대신 플러그인이 구조적 템플릿을 생성하고 AI가 로직을 채우는 협업 모델을 통해 30분 만에 100개의 테스트 코드를 성공적으로 생성했습니다. 결과적으로 AI의 할루시네이션(환각) 문제를 개발 도구의 맥락 파악 능력으로 보완하여 운영 안정성을 확보할 수 있었습니다.
**AI 에이전트 도입과 초기 한계**
* 팀의 생산성을 위해 IntelliJ와 통합이 원활하고 프로젝트 전체 컨텍스트 이해도가 높은 Amazon Q를 도입했습니다.
* 단순 AI 사용 시 매번 팀 컨벤션을 설명해야 하는 번거로움과 클래스당 약 10분의 소요 시간, 그리고 15% 정도의 빌드 오류가 발생하는 한계가 있었습니다.
* 반복적인 프롬프트 작성과 의존성 수집 작업을 자동화하기 위해 IntelliJ 플러그인 개발을 결정했습니다.
**플러그인 첫 버전의 실패와 문제 패턴**
* 플러그인이 클래스 코드를 수집해 AI API로 직접 전체 테스트 코드를 생성하는 방식을 시도했으나, 컴파일 성공률이 10%에 불과했습니다.
* 주요 실패 원인은 존재하지 않는 클래스를 참조하는 할루시네이션, Import 오류, 기존 테스트 코드를 덮어씌워 삭제하는 문제 등이었습니다.
* 특히 실제 운영 환경의 멀티모듈 구조에서는 동일한 이름의 클래스가 여러 패키지에 존재하여 AI가 정확한 의존성을 판단하지 못하는 복잡성이 장애물이 되었습니다.
**'컴파일 보장 템플릿'을 통한 해결**
* AI에게 모든 생성을 맡기는 대신, 플러그인이 PSI(Program Structure Interface) 분석을 통해 정확한 의존성과 메서드 구조가 포함된 템플릿을 먼저 생성하도록 전략을 수정했습니다.
* 플러그인은 팀의 테스트 컨벤션(Kotest, MockK 등)을 반영한 골격과 정확한 Import 문을 작성하여 컴파일 오류 가능성을 원천 차단합니다.
* 이렇게 생성된 안전한 기반 위에서 Amazon Q가 구체적인 테스트 로직만 채워 넣게 함으로써 생성 정확도를 획기적으로 높였습니다.
AI는 복잡한 프로젝트의 구조와 의존성을 파악하는 데 한계가 있으므로, 이를 플러그인과 같은 도구로 보완하는 '하이브리드 접근법'이 실질적인 생산성 향상의 핵심입니다. 단순히 AI에게 모든 것을 요청하기보다, AI가 가장 잘할 수 있는 '로직 구현'에 집중할 수 있도록 개발자가 정확한 맥락과 구조를 먼저 설계해 주는 도구를 구축하는 것이 권장됩니다.
마이크로소프트는 단순한 도구로서의 AI를 넘어, 개발 생명 주기 전반에서 함께 기획하고 분석하며 실행하는 ‘지능형 협업자’로서의 에이전트 활용 모델을 제시했습니다. 특히 수백 개의 리포지토리에 걸친 Entra SDK v1에서 v2로의 복잡한 마이그레이션 프로젝트에서, 에이전트를 팀원의 정체성을 가진 파트너로 대우함으로써 4~6주가 소요되던 작업을 2시간 이내로 단축하고 80~90%의 높은 정확도를 달성했습니다. 기술적 자동화의 한계를 극복하기 위해서는 AI에게 단순한 지시 사항을 나열하기보다 판단력을 발휘할 수 있는 역할과 맥락을 부여하는 프레임워크가 핵심입니다.
### 단순 자동화 사고방식의 한계
복잡한 기술적 마이그레이션은 단순히 기계적인 단계의 반복이 아니며, 맥락에 따른 판단과 보안 경계에 대한 세심한 평가가 필수적입니다.
* 기존의 체크리스트나 스크립트 방식의 자동화는 모호한 상황이나 문서화되지 않은 커스텀 로직에 직면했을 때 반복적으로 실패했습니다.
* 복잡한 작업에는 상황에 따른 판단(Judgment)이 필요하며, 이는 단순한 자동화 대상이 아니라 지능적인 협업을 통해 해결해야 할 영역입니다.
* AI에게 단순히 "이 단계를 따르라"고 명령하는 방식은 에이전트가 예외 상황에서 잘못된 추측을 하거나 조용히 실패하게 만드는 원인이 됩니다.
### 지시를 넘어선 정체성 부여의 힘
성공적인 협업의 전환점은 AI 에이전트에게 단순한 작업 목록이 아닌, 구체적인 팀 내 역할과 미션을 부여했을 때 나타났습니다.
* 에이전트를 '스크립트 실행자'가 아닌 '공동 창작 엔지니어(Co-creative engineer)'로 정의함으로써 문제 해결 능력이 극대화되었습니다.
* 정체성이 부여된 에이전트는 단순한 패턴 매칭을 넘어 보안 경계를 인식하고, 불확실한 상황에서는 임의로 처리하는 대신 사람에게 질문을 던지기 시작했습니다.
* 이러한 접근법은 에이전트가 작업의 중요성을 이해하고 우선순위가 충돌할 때 적절한 판단을 내릴 수 있는 심리적·맥락적 토대가 되었습니다.
### 공동 창작 파트너십 프레임워크의 8가지 요소
마이크로소프트가 실제 프로젝트에 적용한 프레임워크는 AI 에이전트가 인간과 같은 수준의 판단력을 발휘하도록 설계되었습니다.
* **정체성과 미션(Identity & Mission):** 에이전트가 누구인지, 왜 이 일이 중요한지 설명하여 목표가 충돌할 때 우선순위를 정할 수 있게 합니다.
* **목적과 의도(Purpose & Intent):** 속도보다 보안, 완료보다 정확성 같은 핵심 가치를 명시하여 판단의 기준을 제공합니다.
* **우선순위가 지정된 목표(Key Goals):** 1차 목표부터 품질 목표까지 순위를 매겨 에이전트가 트레이드오프 상황에서 최선의 결정을 내리게 돕습니다.
* **판단 지침이 포함된 단계별 가이드:** 단순한 행동 지침뿐만 아니라, 무엇을 보존해야 하는지 그리고 어떤 경우에 인간에게 에스컬레이션(보고)해야 하는지를 구체적으로 명시합니다.
복잡한 기술 부채 해결이나 대규모 아키텍처 변경을 고민하고 있다면, AI를 단순한 자동화 봇으로 활용하는 단계에서 벗어나야 합니다. 800줄의 상세 로직보다 더 중요한 것은 에이전트에게 팀의 일원으로서의 책임과 권한을 부여하는 프레임워크입니다. AI가 판단력을 발휘할 수 있도록 명확한 역할과 가치 기준을 제공할 때, 비로소 인간 개발자는 단순 코더가 아닌 '에이전트 오케스트레이터'로 거듭날 수 있습니다.
Amazon Bedrock AgentCore는 AI 에이전트가 자율적으로 동작할 때 발생할 수 있는 보안 및 품질 제어 문제를 해결하기 위해 정책 제어와 품질 평가 등 새로운 기능을 도입했습니다. 이를 통해 개발자는 에이전트의 권한을 세밀하게 제한하고 실제 운영 환경에서의 성능을 지속적으로 모니터링함으로써, 기업용 수준의 신뢰할 수 있는 AI 에이전트를 대규모로 안전하게 배포할 수 있습니다.
**신규 정책 제어(Policy)를 통한 보안 경계 구축**
* AgentCore Gateway를 활용하여 에이전트가 도구(Tool)를 호출하기 직전에 정책에 따른 세밀한 권한 검사를 수행함으로써 부적절한 데이터 접근이나 승인되지 않은 작업을 차단합니다.
* 정책 제어는 에이전트의 자체 추론 루프(Reasoning Loop) 외부에서 독립적으로 작동하므로, 에이전트의 판단과 상관없이 비즈니스 가드레일을 강제로 적용할 수 있습니다.
* 에이전트를 통제 가능한 자율적 행위자로 정의하여 민감한 시스템이나 데이터와 상호작용할 때 발생할 수 있는 리스크를 최소화합니다.
**품질 평가(Evaluations)를 활용한 에이전트 신뢰도 검증**
* 에이전트의 실제 행동 데이터를 기반으로 정확성(Correctness)과 유용성(Helpfulness) 등의 핵심 지표를 측정할 수 있는 기본 평가 도구를 제공합니다.
* 기업의 특정 비즈니스 요구사항에 맞춘 커스텀 평가 지표를 생성하여 실제 고객 대응이나 내부 업무 프로세스에 적합한지 정밀하게 분석할 수 있습니다.
* 에이전트 배포 전후의 성능을 정량화함으로써 불확실성을 제거하고 지속적인 품질 개선을 위한 데이터 기반의 인사이트를 확보합니다.
**메모리 및 런타임 기능 확장을 통한 사용자 경험 강화**
* **에피소드형 메모리(Episodic Memory):** 에이전트가 과거의 경험을 장기적으로 기억하고 학습하여, 유사한 상황이 발생했을 때 일관성 있고 최적화된 해결책을 제시할 수 있도록 돕습니다.
* **양방향 스트리밍(Bidirectional Streaming):** 사용자와 에이전트가 동시에 말을 주고받는 자연스러운 대화 흐름을 지원하여 실시간 음성 에이전트 서비스의 반응성을 높였습니다.
AI 에이전트의 강력한 자율성을 비즈니스 현장에 도입하려는 조직은 AgentCore의 새로운 정책 제어와 평가 기능을 통해 운영 안정성을 확보해야 합니다. 특히 대규모 데이터 처리나 실시간 고객 응대가 필요한 환경에서는 에피소드형 메모리와 양방향 스트리밍 기능을 결합하여 단순한 챗봇 이상의 고도화된 에이전트 서비스를 구축할 것을 추천합니다.
Slack 보안 엔지니어링 팀은 수십억 건의 이벤트를 처리하는 보안 탐지 시스템의 알림 조사를 AI 에이전트로 효율화했다. 단일 프롬프트에 복잡한 조사 절차를 모두 맡기는 대신, 목적과 출력 형식이 명확한 여러 모델 호출을 연결해 조사 과정을 통제하는 구조를 택했다. Director·Expert·Critic 에이전트가 협력하고 서로의 결과를 검증함으로써 조사 품질의 일관성, 근거 교차검증, 환각 완화를 달성하려는 접근이다.
## 단일 프롬프트 프로토타입의 한계
- 초기 프로토타입은 약 300단어의 프롬프트와 MCP 서버, 코딩 에이전트 CLI를 실행 환경으로 사용했다.
- 프롬프트는 다음 다섯 부분으로 구성됐다.
- **Orientation**: 보안 분석가 역할 정의
- **Manifest**: 사용할 데이터 소스 설명
- **Methodology**: 조사 절차 지시
- **Formatting**: 조사 결과를 Markdown 보고서로 출력
- **Classification**: 대응 등급 분류
- MCP의 stdio 모드 서버를 통해 일부 보안 데이터 소스를 안전하게 도구 호출 방식으로 노출했다.
- 어떤 경우에는 여러 데이터 소스의 증거를 훌륭하게 연결했지만, 다른 경우에는 충분한 검증 없이 편리하거나 잘못된 결론으로 빠르게 진행했다.
- “가정을 의심하라”, “여러 출처로 검증하라”와 같은 지침을 프롬프트에 추가했지만, 프롬프트는 가이드라인일 뿐 세부적인 실행 흐름을 강제하기에는 한계가 있었다.
## 단계별 모델 호출과 구조화된 출력
- 복잡한 조사 전체를 하나의 프롬프트로 처리하지 않고, 조사 과정을 여러 개의 단순한 작업으로 분해했다.
- 각 작업은 다음 요소를 갖는다.
- 명확하게 정의된 단일 목적
- 애플리케이션이 해석하기 쉬운 구조화된 출력
- 다음 단계로 전달할 제한된 컨텍스트
- 각 모델 호출 결과는 JSON 스키마로 제한할 수 있는 구조화된 출력 형식으로 생성된다.
- 구조화된 출력은 작업 간 계약 역할을 하므로, “증거를 의심하라” 같은 추상적인 지침도 독립적인 검토 작업으로 분리할 수 있다.
- 다만 구조화된 출력에도 주의점이 있다.
- 스키마가 지나치게 복잡하면 모델 실행 자체가 실패할 수 있다.
- 모델이 형식을 형식적으로만 충족하거나, 여전히 환각을 포함할 수 있다.
- 이 방식의 핵심 효과는 모델의 행동을 프롬프트 수준이 아니라 애플리케이션의 워크플로 수준에서 통제할 수 있다는 점이다.
## 페르소나 기반 조사 설계
- Slack은 메타 프롬프트와 다중 페르소나 자기협업 관련 연구, 보안 테이블톱 훈련에서 설계 아이디어를 얻었다.
- 하나의 모델 호출 안에서 여러 페르소나를 연기하게 하는 대신, 각 페르소나를 독립적인 모델 호출로 구현했다.
- 각 에이전트와 작업의 조합은 별도의 구조화된 출력 형식을 가지며, 애플리케이션이 호출 순서와 컨텍스트 전달을 orchestration한다.
- 독립 호출 구조에서는 에이전트별로 모델 버전, 프롬프트, 지시사항, 도구, 출력 형식을 다르게 설정할 수 있다.
## Director·Expert·Critic 협업 구조
### Director 에이전트
- 조사 전체를 시작부터 끝까지 진행하는 조사 책임자다.
- 조사에 필요한 질문을 만들고 이를 도메인 전문가에게 전달한다.
- 조사 진행 상황을 계획하고 정리하기 위해 저널링 도구를 사용한다.
- 전문가의 결과와 Critic의 평가를 바탕으로 다음 조사 단계를 결정한다.
### Expert 에이전트
- 특정 도메인 지식과 데이터 소스를 담당한다.
- Director의 질문에 답하기 위해 관련 도구를 호출하고 조사 결과를 생성한다.
- 현재 네 종류의 전문가가 있다.
- **Access**: 인증, 권한 부여, 경계 보안 서비스
- **Cloud**: 인프라, 컴퓨트, 오케스트레이션, 네트워킹
- **Code**: 소스 코드 및 구성 관리 분석
- **Threat**: 위협 분석과 위협 인텔리전스 데이터
- 각 전문가는 자신에게 필요한 데이터 소스에 집중하므로, 하나의 에이전트가 모든 영역을 무분별하게 조사하는 문제를 줄인다.
### Critic 에이전트
- 전문가 결과를 검토하는 메타 전문가다.
- 사전에 정의한 평가 기준에 따라 각 발견 사항의 품질을 평가하고 정량화한다.
- 전문가의 주장에 분석 내용을 추가하고, 각 발견 사항에 신뢰도 점수를 부여한다.
- 가장 신뢰할 수 있는 결과를 바탕으로 타임라인을 구성해 Director에게 전달한다.
- 전문가 그룹과 약한 적대적 관계를 형성함으로써 증거 해석의 편차와 환각을 완화한다.
## 반복형 조사 루프
- Director가 조사 질문을 제시한다.
- 관련 Expert들이 각자의 데이터 소스를 조사해 발견 사항을 생성한다.
- Critic이 발견 사항을 검토하고 신뢰도와 품질을 평가한다.
- Critic은 중요한 결과를 선별하고 신뢰할 수 있는 증거를 이용해 사건 타임라인을 만든다.
- Director는 검증된 발견 사항과 타임라인을 이용해 추가 조사가 필요한지, 다음 질문은 무엇인지 결정한다.
- 이 루프를 통해 한 번의 응답으로 결론을 내리기보다, 질문·조사·검증·진행 결정이 반복되는 조사 프로세스를 구현한다.
## 지식 피라미드와 모델 비용 최적화
- 하위 단계에서는 도메인 전문가가 복잡한 데이터 소스를 직접 조회한다.
- 이 과정은 도구 호출이 많고 반환된 데이터를 분석하는 데 많은 토큰이 필요하므로 상대적으로 비용이 높을 수 있다.
- Critic은 전문가가 생성한 많은 결과를 검토해 중요하고 신뢰할 만한 발견 사항을 추린다.
- 이후 상위 단계의 에이전트는 정제된 결과와 타임라인만 전달받아 더 높은 수준의 판단을 수행한다.
- 이를 통해 모든 단계에서 가장 크고 비싼 모델을 사용하는 대신, 조사 단계별 요구 사항에 맞춰 모델을 선택할 수 있다.
- 즉, 많은 원시 데이터를 처리하는 단계와 최종 판단을 내리는 단계를 분리해 비용과 성능을 함께 조정하는 구조다.
## 실용적인 설계 시사점
- 복잡한 보안 조사를 하나의 거대한 프롬프트에 담기보다, 목적이 명확한 작업과 구조화된 출력으로 분해하는 것이 안정적이다.
- 에이전트 간 역할을 분리하고 독립적인 검토자를 두면 증거 검증과 환각 완화에 도움이 된다.
- 데이터 소스별 전문 에이전트를 두면 각 모델이 불필요한 도구를 사용하거나 모든 영역을 피상적으로 조사하는 문제를 줄일 수 있다.
- 모델 호출을 독립적으로 설계하면 작업별로 모델 크기, 도구, 프롬프트, 출력 스키마를 최적화할 수 있다.
- 다만 구조화된 출력만으로 정확성이 보장되지는 않으므로, 다중 출처 검증과 별도 Critic 단계, 신뢰도 평가를 함께 구성하는 것이 중요하다.
AI 기술이 비약적으로 발전하는 시대에 도구를 다루는 인간의 실제 문제 해결 역량을 측정하기 위해 ‘AI TOP 100’ 경진대회가 기획되었습니다. 단순히 AI를 사용하는 수준을 넘어, 인간과 AI의 긴밀한 협업 과정을 통해 복잡한 현실 문제를 해결하고 최적의 의사결정을 내리는 ‘문제 해결자’를 선별하는 데 초점을 맞추었습니다. 결과물뿐만 아니라 AI의 한계를 인간의 통찰로 보완해 나가는 '과정' 자체를 핵심 평가 지표로 삼은 것이 이번 대회의 결론입니다.
**AI와 인간의 협업 루프(Human-in-the-loop) 설계**
* 단순히 문제를 복사하여 붙여넣는 방식으로는 해결할 수 없도록, 사람의 분석과 AI의 실행, 그리고 다시 사람의 검증이 순환되는 구조를 지향했습니다.
* 사람은 직관적으로 파악하지만 AI는 분석하기 어려운 데이터 구조(식단표, 복잡한 표의 행/열 관계 등)를 제공하여 인간의 사전 가이드가 성능을 좌우하게 설계했습니다.
* 이미지 생성과 피드백 분석, 프롬프트 개선 과정을 에이전트에게 위임하여 자동화 파이프라인을 구축하는 등 고도화된 협업 능력을 측정했습니다.
**'딸깍' 방지를 위한 입체적인 난이도 설계**
* 최신 AI 모델이 단 한 번의 프롬프트(One-shot)로 정답을 맞히지 못하도록 의도적인 기술적 제약과 논리적 미로를 문제 속에 배치했습니다.
* '낮은 진입 장벽과 높은 천장' 원칙에 따라, 초보자도 쉽게 접근할 수 있는 시작 문항부터 깊은 통찰이 필요한 킬러 문항까지 '난이도 사다리' 구조를 도입했습니다.
* 특정 프레임워크에 국한되지 않고 출제자가 예상치 못한 창의적인 방식으로도 문제를 해결할 수 있는 열린 구조를 유지했습니다.
**현실의 복잡성을 반영한 4가지 문제 패턴**
* **분석 및 정의(Insight):** 정답이 없는 복합 데이터 속에서 유의미한 문제나 기회를 스스로 발견하는 역량을 평가합니다.
* **구현 및 자동화(Action):** 정의된 문제를 해결하기 위해 AI 솔루션을 실제 작동하는 코드나 워크플로로 구현하는 능력을 측정합니다.
* **전략 및 창의(Persuasion):** 기술적 솔루션을 비기술 이해관계자에게 설득력 있게 전달하기 위한 논리와 창의적 콘텐츠 생성 능력을 확인합니다.
* **최적화 및 의사결정(Decision):** 제약 조건 하에서 목표를 최대화하는 최적의 의사결정 시뮬레이션을 수행합니다.
**엄격한 검증을 거친 문제 고도화 파이프라인**
* 아이디어 단계부터 최종 확정까지 4단계의 파이프라인을 구축하고, 출제위원 내부 테스트 및 알파·베타 테스트를 통해 문제의 신뢰도를 검증했습니다.
* AI 모델이 매일 업데이트되어 어제의 난제가 오늘의 쉬운 문제가 되는 환경에 대응하기 위해 지속적인 실증 테스트를 반복했습니다.
* 문제의 겉보기 난이도가 아니라 실제 해결에 필요한 노력 비용을 기준으로 점수를 재조정하는 '캘리브레이션' 과정을 거쳐 변별력을 확보했습니다.
AI 시대의 진정한 경쟁력은 도구의 기능을 단순히 암기하는 것이 아니라, AI의 한계를 명확히 이해하고 이를 인간의 기획력으로 보완하여 실질적인 가치를 만들어내는 데 있습니다. 이번 출제 후기는 기술보다 '그 기술을 다루는 사람'의 사고방식이 더 중요하다는 점을 강조하며, 앞으로의 AI 리터러시 교육과 평가가 나아가야 할 방향을 제시합니다.
Dropbox Dash는 단순한 검색 시스템을 넘어 사용자의 의도를 이해하고 실행하는 에이전트형 AI로 진화하면서, 모델에 제공되는 정보를 정교하게 관리하는 '컨텍스트 엔지니어링'을 핵심 전략으로 채택했습니다. 단순히 많은 정보를 제공하는 것이 아니라 모델이 추론하고 행동하는 데 꼭 필요한 정보만을 선별하여 전달함으로써, AI의 '분석 마비' 현상과 토큰 낭비를 방지했습니다. 결과적으로 이러한 전략적 컨텍스트 관리는 모델의 판단 속도와 작업 정확도를 동시에 높이는 성과를 거두었습니다.
### 도구 정의의 최소화와 통합 인터페이스 구축
* 모델에게 너무 많은 API 호출 선택지를 주면 판단 속도가 느려지고 정확도가 떨어지는 현상이 발생했습니다. 이를 해결하기 위해 개별 서비스(Confluence, Jira, Google Docs 등)의 검색 도구를 하나로 묶은 '유니버설 검색 인덱스' 기반의 단일 도구를 구축했습니다.
* Model Context Protocol(MCP)을 활용하여 도구 설명을 간결하게 유지함으로써, 모델의 컨텍스트 창(Context Window)이 사용자 요청이라는 본연의 목적에 더 많이 할애되도록 설계했습니다.
* 하나의 일관된 인터페이스를 통해 정보를 검색하게 함으로써 모델의 계획 수립 과정을 단순화하고 효율성을 극대화했습니다.
### 지식 그래프를 통한 맥락적 데이터 필터링
* 단순히 여러 API에서 데이터를 가져오는 것에 그치지 않고, 검색된 결과 중 가장 관련성 높은 정보만 모델에 전달되도록 필터링 시스템을 강화했습니다.
* 통합 인덱스 위에 사람, 활동, 콘텐츠 간의 관계를 연결한 '지식 그래프'를 구축하여 사용자별 맞춤형 순위 산출이 가능하게 했습니다.
* 모델이 런타임에 방대한 정보를 직접 분석하는 대신, 이미 관계가 정립된 고가치 정보만 수신함으로써 추론의 질을 높이고 성능 저하를 방지했습니다.
### 복잡한 작업을 위한 전담 에이전트 도입
* 검색 쿼리 생성과 같이 복잡한 지침과 예시가 필요한 작업은 메인 모델의 컨텍스트 창을 과도하게 점유하는 문제를 일으켰습니다.
* 이를 해결하기 위해 메인 에이전트는 전체적인 계획만 세우고, 구체적인 쿼리 작성은 별도의 '전담 에이전트'에게 위임하는 구조를 도입했습니다.
* 역할 분담을 통해 메인 모델은 복잡한 세부 사항에 매몰되지 않고 전체 작업의 흐름에 집중할 수 있으며, 각 에이전트는 자신에게 할당된 컨텍스트 내에서 최적의 결과를 도출합니다.
효과적인 에이전트형 AI를 구축하기 위해서는 무조건 많은 데이터를 입력하기보다 모델이 처리해야 할 정보의 양과 질을 전략적으로 제어해야 합니다. 도구의 통합, 지식 그래프 기반의 정교한 필터링, 그리고 전문 에이전트로의 역할 분담은 성능 향상과 비용 절감을 동시에 달성할 수 있는 실무적인 context engineering 방안이 될 것입니다.
구글 리서치는 제미나이(Gemini)를 기반으로 한 연구용 프로토타입 '웨이파인딩 AI(Wayfinding AI)'를 통해 건강 정보 탐색 경험을 혁신하는 연구 결과를 발표했습니다. 이 시스템은 단순히 질문에 답하는 기존의 수동적인 방식을 넘어, 사용자에게 능동적으로 질문을 던져 구체적인 상황과 의도를 파악함으로써 더욱 개인화되고 정확한 정보를 제공합니다. 연구 결과, 이러한 맥락 탐색형(Context-seeking) 대화 방식은 사용자가 자신의 건강 문제를 더 명확하게 설명하도록 돕고 정보의 신뢰도와 만족도를 크게 높이는 것으로 나타났습니다.
### 기존 온라인 건강 정보 탐색의 한계
* 일반 사용자는 의학적 전문 지식이 부족하여 자신의 증상을 정확한 용어로 표현하는 데 어려움을 겪으며, 검색창에 모호한 단어들을 나열하는 경향이 있습니다.
* 현재 대부분의 AI 모델은 단일 질문에 대해 포괄적인 답변만 내놓는 '수동적 답변자' 역할에 머물러 있어, 개인의 독특한 상황이나 맥락을 반영하지 못합니다.
* 연구에 참여한 사용자들은 AI가 답변을 바로 내놓기보다 의사처럼 추가 질문을 통해 상황을 먼저 파악하는 '답변 유예(Deferred-answer)' 방식을 더 선호하며, 이를 통해 더 높은 신뢰감과 안도감을 느꼈습니다.
### 웨이파인딩 AI의 3가지 핵심 설계 원칙
* **능동적 대화 가이드:** 매 대화 턴마다 최대 3개의 정교한 질문을 사용자에게 던져 모호함을 줄이고, 사용자가 자신의 건강 상태를 체계적으로 설명할 수 있도록 유도합니다.
* **단계별 최선 답변(Best-effort answers):** 추가 질문에 대한 답을 얻기 전이라도 현재까지 공유된 정보를 바탕으로 최선의 답변을 즉시 제공합니다. 다만, 더 많은 정보가 공유될수록 답변의 정확도가 높아질 수 있음을 명시하여 지속적인 참여를 독려합니다.
* **투명한 추론 과정:** 사용자의 추가 답변이 이전 답변을 어떻게 구체화하고 개선했는지 그 논리적 과정을 설명함으로써 AI의 판단 근거를 명확히 공개합니다.
### 상호작용을 극대화하는 2단 인터페이스 설계
* 대화 내용과 추가 질문이 나타나는 왼쪽 열과, 상세 답변 및 설명이 표시되는 오른쪽 열로 구성된 2단 레이아웃을 채택했습니다.
* 이러한 분리형 UI는 긴 답변 텍스트 속에 핵심적인 추가 질문이 묻히는 현상을 방지하여 사용자가 대화의 흐름을 놓치지 않게 합니다.
* 사용자는 자신의 상황이 충분히 전달되었다고 판단될 때만 오른쪽의 상세 정보 패널을 깊이 있게 탐색할 수 있어 정보 과부하를 줄여줍니다.
### 사용자 연구 및 성능 검증
* 130명의 일반인을 대상으로 제미나이 1.5 플래시(Gemini 1.5 Flash) 기본 모델과 웨이파인딩 AI를 비교하는 무작위 사용자 연구를 진행했습니다.
* 평가 결과, 웨이파인딩 AI는 정보의 유용성, 질문의 관련성, 상황 맞춤형 답변, 사용자 의도 파악 등 모든 지표에서 기본 모델보다 높은 점수를 받았습니다.
* 참가자들은 AI가 질문을 통해 정보를 수집하는 과정이 마치 실제 전문 의료진과 상담하는 것과 유사한 경험을 제공하며, 결과적으로 더 개인화된 느낌을 준다고 평가했습니다.
이 연구는 건강과 같이 복잡하고 민감한 분야에서 AI가 단순히 지식을 전달하는 백과사전 역할에 그치지 않고, 사용자의 길을 안내하는 '길잡이(Wayfinder)' 역할을 수행해야 함을 시사합니다. 향후 AI 서비스 설계 시, 답변의 정확도만큼이나 사용자의 맥락을 이끌어내는 능동적인 대화 설계가 사용자 경험의 핵심 차별화 요소가 될 것으로 보입니다.
디자인 파일은 단순한 시각적 결과물이 아니라 개발자와 AI 코딩 도구가 이해하는 실행 가능한 맥락이어야 한다. Figma의 Dev Mode MCP 서버가 디자인을 코드로 변환할수록, 디자인 시스템과 파일 구조를 명확히 관리하는 일이 정확하고 빠른 구현의 핵심이 된다. 따라서 디자이너는 디자인 시스템을 코드와 연결하고, 개발자가 소비하기 쉬운 형태로 파일을 구성해야 한다.
## 디자인 시스템을 코드와 연결하기
- 색상, 간격, 크기, 타이포그래피를 **컴포넌트와 변수**로 표준화하면 반복 가능한 패턴과 일관성을 확보할 수 있다.
- **Code Connect**를 사용하면 Figma 컴포넌트와 실제 코드 컴포넌트를 연결할 수 있다.
- Dev Mode에서 실제 코드 스니펫을 제공한다.
- Figma의 컴포넌트 속성 및 변형이 코드에서 어떻게 대응되는지 문서화한다.
- **변수의 code syntax**를 지정하면 색상·타이포그래피·상태 등의 값이 웹과 네이티브 코드에서 어떤 문법으로 표현되는지 명확해진다.
- Dev Mode MCP 서버는 이 정보를 AI 에이전트에 전달한다.
- AI가 전체 코드베이스를 검색하지 않고도 적절한 컴포넌트와 변수 정보를 가져올 수 있다.
- 디자인 시스템에 연결된 카드 컴포넌트라면, 정확한 간격·색상·타이포그래피와 실제 코드 구조를 반영한 코드를 생성할 수 있다.
- 이러한 맥락을 Figma 라이브러리에 구축하면 조직 전체에서 재사용할 수 있어, 새로운 UI를 만드는 사람과 AI 도구 모두 같은 기준을 활용하게 된다.
## 개발자가 이해하기 쉬운 파일 구조 만들기
- 페이지 계층, 프레임, 레이어의 이름을 의도적으로 구성하면 디자인 작업뿐 아니라 개발자와 MCP가 디자인을 해석하는 데도 도움이 된다.
- 파일 구조를 정리할 때는 다음 원칙이 중요하다.
- **주요 반응형 브레이크포인트별 프레임을 만든다.**
- 화면 크기에 따라 시각적 변화가 큰 경우 별도 프레임으로 표현한다.
- 예를 들어 데스크톱 내비게이션이 모바일에서 메뉴 아이콘으로 바뀌는 동작을 명시할 수 있다.
- **Auto Layout을 적극 활용한다.**
- 다양한 화면 너비, 브레이크포인트, 텍스트 길이에 따라 레이아웃이 어떻게 변하는지 구조적으로 표현할 수 있다.
- 단순히 픽셀 위치를 지정하는 것보다 실제 구현 방식에 가까운 정보를 제공한다.
- 프레임과 레이어에 의미 있는 이름을 부여해 각 요소의 역할과 계층을 분명히 한다.
- 잘 정리된 파일은 개발자가 디자인 의도를 추측하는 시간을 줄이고, AI 에이전트가 레이아웃과 컴포넌트 관계를 오해할 가능성도 낮춘다.
## 디자인 맥락이 AI 코딩의 정확도를 좌우한다
- 에이전트형 코딩 도구가 널리 사용되면서 디자인 파일의 구조와 명확성이 과거보다 중요해졌다.
- AI는 시각적 결과만 보는 것이 아니라 다음과 같은 구조화된 정보를 활용해야 정확한 코드를 만들 수 있다.
- 컴포넌트와 코드의 연결 관계
- 변수의 이름과 코드 문법
- 레이아웃 규칙과 반응형 동작
- 프레임 및 레이어의 계층 구조
- 디자인 시스템과 MCP 서버를 함께 사용하면 AI가 브랜드에 맞고 재사용 가능한 코드를 생성할 가능성이 높아진다.
- 결과적으로 디자이너의 역할은 화면을 설계하는 데서 끝나지 않고, 개발과 AI가 활용할 수 있는 디자인 맥락을 구축하는 것까지 확장된다.
디자인을 전달할 때는 완성된 화면만 공유하기보다 컴포넌트·변수·코드 연결·반응형 구조를 함께 관리하는 것이 좋다. 특히 공통 라이브러리에 이러한 정보를 표준화해두면 개발자와 AI 모두 더 빠르고 일관되게 프로덕션 코드를 작성할 수 있다.
Figma는 디자인 파일에 담긴 레이아웃, 상호작용, 디자인 시스템, 코드 구조 등의 맥락을 개발 환경 전반에서 활용할 수 있도록 Figma MCP 서버와 Code Connect를 확장했다. 원격 MCP 접속으로 IDE·AI 코딩 에이전트·브라우저에서 Figma에 연결할 수 있고, Figma Make의 실제 코드와 Code Connect의 프로덕션 컴포넌트 정보도 AI가 활용할 수 있다. 이를 통해 디자인에서 코드로 전환하는 과정의 마찰을 줄이고, 더 일관되고 효율적인 코드 생성을 지원한다.
## 디자인 맥락을 어디서나 공유
- AI 기반 코드 생성은 프롬프트만으로는 충분하지 않으며, 디자인 시스템 구조와 코드베이스 작성 방식 같은 추가 맥락이 필요하다.
- Figma 파일에는 반응형 레이아웃, 인터랙션 세부사항, 시각적 프로그램 등 단순한 이미지 이상의 정보가 담겨 있다.
- Figma는 이러한 팀의 축적된 디자인·개발 지식을 Figma 캔버스 밖에서도 사용할 수 있도록 만드는 것을 목표로 한다.
## 원격 Figma MCP 서버
- 기존에는 Dev Mode의 로컬 MCP 서버를 통해 개발자의 편집기에서 Figma 디자인 정보를 가져왔다.
- 새 원격 접속 기능을 사용하면 데스크톱 앱 없이도 다음 환경에서 Figma에 연결할 수 있다.
- IDE
- AI 코딩 에이전트
- 브라우저 기반 AI 모델
- Android Studio, Replit, Warp 등 다양한 파트너 도구에서 Figma 디자인 맥락을 사용할 수 있다.
- Figma MCP 파트너 카탈로그에서 사용하는 IDE나 에이전트를 찾아 쉽게 연동할 수 있다.
- 디자인 시스템 규칙을 생성하는 기능 등 MCP 서버의 기능과 파트너 지원을 계속 확대할 예정이다.
- Affirm은 MCP 서버를 사용해 주요 제품 플로우를 이틀 이내에 재구축했으며, 개발 속도가 “몇 배가 아니라 orders of magnitude” 향상됐다고 평가했다.
## Figma Make와 MCP의 연결
- Figma Make 파일을 MCP 클라이언트에서 사용하면 AI 모델이 렌더링된 프로토타입이나 이미지만 보는 것이 아니라 underlying code를 직접 확인할 수 있다.
- MCP 서버는 Make 파일의 코드를 색인하고, 사용자가 요청한 파일이나 코드 일부를 선택적으로 제공한다.
- 개발자와 AI 에이전트는 다음 방식으로 Make의 정보를 활용할 수 있다.
- 특정 파일의 코드를 직접 재사용
- 구현 로직과 디자인 패턴을 참고
- 기존 코드 구조를 기반으로 새로운 기능 생성
- Anthropic, Cursor, Windsurf, VS Code와 협력해 해당 기능을 제공한다.
- 향후에는 외부 파트너의 MCP 서버를 Figma Make 안에서도 연결할 계획이다.
## Code Connect의 컴포넌트 매핑 개선
- Code Connect는 Figma 디자인 컴포넌트와 실제 코드베이스의 컴포넌트를 연결하는 기능이다.
- 기존에는 터미널에서 매핑을 수동으로 설정해야 했지만, 이제 Figma 내부에서 직접 매핑할 수 있다.
- Figma에서 컴포넌트 탐색
- 연결할 코드와 파일 선택
- 연결 완료 또는 누락된 항목 확인
- 기존 Code Connect CLI도 계속 사용할 수 있으며, 다양한 프레임워크에 대해 속성(prop)과 변형(variant)이 매핑된 프로덕션 코드 스니펫을 Dev Mode에 제공한다.
- MCP 서버와 Code Connect를 함께 사용하면 AI 에이전트가 다음 정보까지 얻을 수 있다.
- 실제 코드 컴포넌트의 위치
- 컴포넌트 사용 지침
- 디자인과 코드 간의 연결 관계
- 내부 평가와 초기 고객 테스트에서 다음과 같은 개선이 확인됐다.
- 더 일관된 코드 생성
- 코드 파일 탐색 속도 향상
- AI 에이전트의 토큰 사용량 감소
## 연동 검토와 사용량 제한
- Figma는 외부 도구와의 연결이 확대되는 만큼 연동의 안정성과 기반 시스템도 강화하고 있다고 밝혔다.
- 글에서 해당 섹션의 세부 내용은 제공된 본문이 중간에 끊겨 있어 확인할 수 없다.
Figma를 사용하는 개발팀이라면 원격 MCP 서버로 IDE나 AI 에이전트에 디자인 정보를 연결하고, Code Connect로 핵심 UI 컴포넌트를 실제 코드와 매핑하는 방식이 효과적이다. 특히 Figma Make를 프로토타이핑 도구에 그치지 않고 코드 재사용과 AI 기반 구현의 출발점으로 활용할 수 있다는 점이 이번 업데이트의 실질적인 변화다.
Google Cloud 연구진이 발표한 **TTD-DR(Test-Time Diffusion Deep Researcher)**은 인간의 반복적인 연구 방식을 모방하여 고품질의 연구 보고서를 작성하는 새로운 프레임워크입니다. 이 시스템은 초안을 '노이즈'가 섞인 상태로 간주하고 검색된 정보를 통해 이를 점진적으로 정제하는 '디퓨전(Diffusion)' 모델의 원리를 도입했습니다. 이를 통해 TTD-DR은 장문 보고서 작성 및 복잡한 다단계 추론 작업에서 기존 모델들을 능가하는 최첨단(SOTA) 성능을 기록했습니다.
### 디퓨전 프로세스를 활용한 보고서 정제
* **노이즈 제거로서의 수정:** 가공되지 않은 거친 초안을 이미지 생성 모델의 '노이즈' 상태로 정의하고, 검색 도구를 통해 확보한 새로운 사실 정보를 '디노이징(Denoising)' 단계로 활용하여 보고서의 품질을 단계적으로 높입니다.
* **인간의 연구 패턴 모방:** 계획 수립, 초안 작성, 추가 조사, 피드백 기반 수정으로 이어지는 인간의 비선형적이고 반복적인 연구 과정을 알고리즘화했습니다.
* **지속적인 루프:** 단발성 답변 생성에 그치지 않고, 검색된 정보를 바탕으로 기존 초안의 논리를 강화하거나 누락된 정보를 보충하며 최종 결과물에 도달할 때까지 반복 수정을 거칩니다.
### 핵심 아키텍처: 백본 DR 디자인
* **연구 계획 수립:** 사용자 쿼리를 분석하여 최종 보고서에 필요한 핵심 영역을 구조화된 계획서 형태로 우선 생성합니다.
* **반복적 검색(Iterative Search):** 계획서와 이전 검색 맥락을 바탕으로 검색 질문을 생성하는 단계(2a)와, 검색된 문서에서 정답을 요약·추출하는 RAG 기반 단계(2b)가 유기적으로 작동합니다.
* **최종 보고서 합성:** 수집된 모든 정보(계획서, 질의응답 쌍)를 통합하여 일관성 있고 포괄적인 형태의 전문 보고서를 작성합니다.
### 컴포넌트 단위의 자기 진화(Self-evolution) 알고리즘
* **다양성 확보:** 각 단계에서 여러 답변 변형을 생성하여 더 넓은 탐색 공간에서 최적의 정보를 찾습니다.
* **LLM 기반 평가 및 피드백:** 'LLM-as-a-judge' 시스템을 통해 유용성과 포괄성을 평가하고, 자동화된 평점과 텍스트 피드백을 생성하여 수정 방향을 제시합니다.
* **교차 결합(Cross-over):** 여러 차례 수정을 거친 다양한 답변 변형들을 하나의 고품질 출력물로 병합함으로써, 각 진화 경로의 장점만을 취합합니다.
### 성능 검증 및 실무적 시사점
* **SOTA 달성:** 장문 작성 벤치마크인 'LongBench-Write'에서 GPT-4o와 O1 등 기존의 강력한 모델들을 뛰어넘는 성능을 입증했습니다.
* **복잡한 추론 능력:** HotpotQA, Bamboogle과 같은 다단계(Multi-hop) 추론 작업에서 단순 검색 이상의 깊이 있는 분석 능력을 보여주었습니다.
* **적용 권장:** 이 기술은 단순한 정보 나열을 넘어, 논리적 완성도가 중요한 학술적 조사, 기업 분석 보고서, 복잡한 정책 연구 등 전문적인 글쓰기 자동화 분야에 매우 효과적으로 적용될 수 있습니다.
디자인 시스템은 AI가 브랜드와 팀의 표준에 맞는 코드를 생성하도록 만드는 핵심 맥락이며, MCP 서버는 이 맥락을 디자인 도구와 개발 환경 사이에서 전달하는 연결 고리다. Figma MCP 서버는 컴포넌트, 스타일, 변수, Code Connect 정보 등을 AI 에이전트에 제공해 생성 코드의 정확도와 일관성을 높인다. 결과적으로 디자인 시스템과 AI는 서로를 강화하는 선순환을 만들며, 더 빠르면서도 품질 높은 제품 개발을 가능하게 한다.
## 디자인 시스템과 AI의 선순환
- 디자인 시스템은 디자인과 엔지니어링 팀이 확장된 환경에서도 일관된 결정을 내리도록 돕는 기반이다.
- 성공적인 디자인 시스템의 요소인 문서화, 공통 언어, 재사용 패턴, 브랜드 가이드는 AI 활용에도 필수적인 맥락이 된다.
- AI가 디자인 시스템을 이해하면 단순히 “작동하는 결과물”이 아니라 팀의 표준과 의도에 맞는 결과물을 생성할 수 있다.
- AI가 디자인 시스템을 활용해 더 나은 코드를 만들면, 디자인 시스템의 활용도와 품질도 다시 향상되는 선순환이 형성된다.
## MCP 서버가 제공하는 역할
- Figma MCP 서버는 Figma의 디자인 정보를 IDE와 AI 에이전트에 전달한다.
- AI가 활용할 수 있는 정보에는 다음이 포함된다.
- 컴포넌트와 스타일
- 디자인 변수와 변수의 코드 문법
- Code Connect를 통해 연결된 실제 코드 리소스
- 디자인 요소가 코드와 연결되어 있을수록 AI는 기존 컴포넌트와 구현을 재사용할 수 있어 더욱 정확한 코드를 생성한다.
- 디자인 시스템이 아직 충분히 구축되지 않은 조직에서도 토큰과 컴포넌트 구현을 시작하는 데 MCP 서버를 활용할 수 있다.
## 디자인 시스템은 디자인과 AI의 공통 언어
- LLM을 통해 아이디어를 실행으로 옮기기 쉬워질수록, 기능뿐 아니라 시각적 완성도와 브랜드 정체성이 차별화 요소가 된다.
- 디자인 시스템은 다음과 같은 기반을 제공한다.
- **확장 가능한 기반:** 색상, 간격, 타이포그래피 등의 토큰을 정의해 플랫폼 전반의 일관성을 유지
- **재사용 가능한 컴포넌트:** 다양한 사용 사례에 대응하면서도 단일한 기준점 유지
- **내장된 접근성:** 처음부터 포용적이고 사용 가능한 인터페이스 설계
- 디자인 시스템이 없으면 AI가 생성한 결과가 비슷하고 일반적인 UI의 조합으로 수렴할 수 있다.
- 디자인 시스템은 AI를 조직의 브랜드, 품질 기준, 개발 관행에 연결하는 매개체가 된다.
## 속도와 정확도를 높이는 디자인 맥락
- 글에서 인용한 Figma AI 보고서에 따르면 개발자의 68%가 코드 작성에 AI를 사용하지만, 생성 결과를 신뢰하는 디자이너와 개발자는 32%에 그친다.
- AI가 디자인 시스템 없이 코드를 생성하는 것은 팀의 온보딩을 거치지 않은 신입 개발자에게 바로 코드를 배포하게 하는 것과 비슷하다.
- 디자인 시스템 맥락이 제공되면 AI는 다음을 수행할 수 있다.
- 기존 컴포넌트와 패턴을 재사용해 중복과 불일치 감소
- 디자인 토큰을 자동 적용해 브랜드 및 접근성 기준 준수
- 개발자가 바로 개선할 수 있는 품질 높은 초기 코드 제공
- 디자인과 개발 사이의 오해 및 QA 시간을 줄여 피드백 주기 단축
## Figma MCP 서버의 코드 생성 방식
- Figma 프레임을 검사하면 MCP 서버가 해당 화면의 컴포넌트, 스타일, 변수 등의 맥락을 AI 에이전트에 전달한다.
- Code Connect와 변수 코드 문법이 설정되어 있으면 AI는 실제 코드베이스의 컴포넌트와 리소스를 직접 활용할 수 있다.
- 연결 정보가 없더라도 MCP 서버는 색상, 스타일, 레이아웃 등 디자인 정보를 제공해 AI가 디자인에 맞는 코드를 새로 작성하도록 돕는다.
- 자동 디자인 시스템 규칙 생성 기능은 코드베이스를 분석해 다음 내용을 포함한 구조화된 규칙 파일을 만들 수 있다.
- 토큰 정의
- 컴포넌트 라이브러리
- 스타일 계층 구조
- 명명 규칙
- 이 규칙 파일은 AI 에이전트의 시스템 수준 지침으로 작동해, 개발자가 매번 간격·토큰·이름 규칙을 상세히 프롬프트하지 않아도 팀의 기본값을 적용하게 한다.
- 주석(annotations)을 사용하면 접근성 요구사항, 상호작용 방식, 콘텐츠 관련 추가 맥락도 AI에 전달할 수 있다.
## 실용적인 적용 방향
- AI 코드 생성 전에 디자인 토큰, 컴포넌트, 변수의 이름과 구조를 정리한다.
- Figma 컴포넌트와 실제 코드 컴포넌트를 Code Connect로 연결한다.
- 코드베이스의 규칙과 명명 체계를 AI가 참조할 수 있는 규칙 파일로 관리한다.
- 접근성, 상호작용 동작, 콘텐츠 제약은 주석으로 명시한다.
- MCP 서버는 AI를 대체하는 도구라기보다, 조직의 디자인 시스템을 AI가 활용할 수 있도록 변환하는 인프라로 보는 것이 적절하다.
MLE-STAR는 웹 검색 기능과 정밀한 코드 블록 최적화 메커니즘을 결합한 차세대 머신러닝 엔지니어링 에이전트로, 복잡한 ML 파이프라인 구축 과정을 자동화합니다. 기존 에이전트들이 LLM의 사전 지식에만 의존하거나 코드 전체를 한 번에 수정하려 했던 한계를 극복하기 위해, 성능에 가장 큰 영향을 미치는 특정 구성 요소를 식별하고 이를 집중적으로 개선하는 방식을 채택했습니다. 그 결과 MLE-Bench-Lite의 Kaggle 경진 대회에서 63%의 메달 획득률을 기록하며 기존 기술들을 압도하는 성능을 증명했습니다.
**웹 검색을 통한 최신 기법 도입 및 초기 솔루션 구축**
* LLM의 내장된 지식에만 의존할 때 발생하는 특정 라이브러리(예: scikit-learn) 편향 문제를 해결하기 위해 실시간 웹 검색 기능을 활용합니다.
* 주어진 과제와 데이터 모달리티에 가장 적합한 최신(State-of-the-art) 모델과 방법론을 검색하여 초기 솔루션 코드를 생성하는 기반으로 삼습니다.
**어블레이션 연구 기반의 타겟 코드 블록 정제**
* 전체 파이프라인 코드를 무작위로 수정하는 대신, '어블레이션 연구(Ablation Study)'를 수행하여 피처 엔지니어링이나 모델 구조 등 성능 기여도가 가장 높은 특정 코드 블록을 찾아냅니다.
* 식별된 핵심 블록에 대해 이전 시도의 실행 결과와 피드백을 반영하며 집중적인 반복 실험을 수행함으로써, 특정 파이프라인 단계에서의 최적화를 심도 있게 진행합니다.
**지능형 솔루션 앙상블 전략**
* 단순한 성능 기반 투표 방식에서 벗어나, 에이전트가 스스로 여러 후보 솔루션을 병합할 수 있는 최적의 앙상블 전략을 직접 설계하고 제안합니다.
* 병렬로 생성된 다양한 해결책들을 유기적으로 결합하며, 이 과정 또한 반복적인 피드백 루프를 통해 지속적으로 개선하여 최종 예측 성능을 극대화합니다.
**시스템 안정성 및 신뢰성 강화를 위한 모듈**
* **디버깅 에이전트:** 파이썬 스크립트 실행 중 발생하는 트레이스백(Traceback) 오류를 분석하고 즉각적으로 코드를 교정합니다.
* **데이터 누수(Data Leakage) 체크:** 테스트 데이터의 정보가 학습 과정에 유입되는 위험을 방지하기 위해 실행 전 스크립트의 논리적 무결성을 검증합니다.
* **데이터 사용 확인 도구:** 에이전트가 CSV와 같은 단순한 데이터만 사용하고 다른 중요한 데이터 소스를 누락하지 않도록 모든 제공된 데이터를 활용하는지 감시합니다.
MLE-STAR는 단순한 코드 생성을 넘어 데이터 분석, 전략 수립, 오류 수정 및 검증에 이르는 머신러닝 엔지니어링의 전 과정을 수행할 수 있음을 보여줍니다. 특히 Kaggle과 같은 실제 경쟁 환경에서 높은 성과를 낸 만큼, 향후 기업 현장에서 복잡한 데이터 파이프라인을 효율적으로 구축하고 실험 비용을 절감하는 데 실질적인 도움을 줄 것으로 기대됩니다.
LY Corporation(이하 LY)은 기술 컨퍼런스 'Tech-Verse 2025'를 통해 합병 이후의 플랫폼 통합 전략과 AI 기업으로의 전환 비전을 제시했습니다. LY는 자체 프라이빗 클라우드 구축을 통해 압도적인 비용 절감과 보안 강화를 실현하고, 모든 서비스에 AI 에이전트를 도입하여 사용자 경험을 혁신할 계획입니다. 특히 생성형 AI를 활용한 개발 프로세스의 전면적인 진화로 엔지니어가 서비스 본질에 집중할 수 있는 환경을 구축하는 것이 핵심입니다.
**CatalystOne: 고효율 통합 플랫폼 구축**
* **자체 클라우드 기반의 비용 최적화**: 퍼블릭 클라우드 대비 약 4배의 비용 절감 효과를 거두고 있으며, 50만 대의 서버와 3Tbps에 달하는 대규모 트래픽을 효율적으로 관리하고 있습니다.
* **플랫폼 통합(CatalystOne)**: 합병 후 중복된 인프라를 'CatalystOne'이라는 이름 아래 통합하여 기술, 엔지니어, 시설 등 핵심 자원의 운영 집중도를 높였습니다.
* **보안 및 혁신 가속화**: 통합된 플랫폼을 통해 거버넌스를 강화하고, 폭발적인 데이터 성장과 생성형 AI 수요에 기민하게 대응할 수 있는 차세대 프라이빗 클라우드 'Flava'를 구축했습니다.
**전 서비스의 AI 에이전트화와 개발 혁신**
* **퍼스널 에이전트 구현**: 현재 44개 서비스에 생성형 AI를 도입했으며, 수천만 개의 에이전트를 연계하여 개별 사용자의 니즈를 정교하게 지원하는 것을 목표로 합니다.
* **AI 기반 개발 솔루션 도입**: 2025년 7월부터 모든 엔지니어에게 AI 개발 솔루션을 전면 도입하며, RAG(검색 증강 생성) 기술로 사내 지식을 활용해 코드 품질을 높입니다.
* **생산성 지표의 획기적 개선**: PoC 결과 'Code Assist'는 96%의 정답률을 기록했고, 'Auto Test' 도입으로 테스트 시간을 97% 단축하는 등 압도적인 개발 효율성 향상을 확인했습니다.
**실용적인 결론**
LY의 전략은 대규모 인프라를 운영하는 기업이 단순히 AI를 도입하는 것에 그치지 않고, 인프라 통합을 통한 비용 효율화와 AI를 활용한 개발 문화 혁신이 병행되어야 함을 보여줍니다. 특히 엔지니어링 환경에 AI를 적극적으로 이식하여 확보한 리소스를 사용자 가치 증대에 재투자하는 선순환 구조는 기술 기업들이 참고할 만한 모델입니다.
AI 시대의 엔지니어는 코드를 빠르게 생성하는 사람을 넘어, 사용자 문제를 정의하고 더 나은 해결책을 탐색하는 사람이어야 한다. AI는 단순한 비용 절감이나 자동화 도구가 아니라, 엔지니어의 판단력·창의성·협업 능력을 확장하는 수단으로 활용해야 한다. 이를 위해 문제 탐색, 에이전트 활용, 코드 검토, 맥락 제공과 같은 새로운 업무 방식이 중요해진다.
## 자동화를 넘어 문제 해결에 AI 활용하기
- AI의 가치는 반복 작업을 줄이는 데만 있지 않고, 엔지니어가 더 높은 수준의 문제 정의와 해결에 집중하도록 돕는 데 있다.
- 코드 작성 외에도 엔지니어는 다음을 판단해야 한다.
- 어떤 문제를 해결할 것인가
- 사용자는 무엇을 필요로 하는가
- 어떤 방식이 가장 적절한가
- 단순하고 지루한 작업을 자동화하면 사용자 공감, 제품의 의미, 동료와의 협업처럼 자동화하기 어려운 영역에 더 많은 시간을 쓸 수 있다.
- AI 시대에도 제품에 대한 이해와 세심한 구현 품질은 여전히 핵심 역량이다.
## 바이브 코딩으로 가능성 탐색하기
- 바이브 코딩은 코드를 대충 생성하는 방식이 아니라, 자연어 대화를 통해 문제 공간을 탐색하고 해결책을 실험하는 방법이다.
- AI를 사용하면 기존의 한두 가지 접근법에 머무르지 않고 여러 경로를 빠르게 시도할 수 있다.
- 생성된 프로토타입이나 시각적 결과물을 공유해 사용자와 동료의 피드백을 일찍 받을 수 있다.
- Figma Make처럼 프롬프트로 앱과 고충실도 프로토타입을 만들면 구현에 들어가기 전에 사용자 경험을 검증할 수 있다.
- AI는 사용자 경험에 대한 고민을 없애는 것이 아니라, 더 앞단에서 충분히 검토하도록 돕는다.
## 에이전트와 MCP로 더 정확한 결과 만들기
- 에이전트형 AI는 Cursor나 Copilot 같은 도구가 다른 소프트웨어와 상호작용하며 작업하도록 만든다.
- MCP(Model Context Protocol)는 AI 도구와 외부 소프트웨어가 정보를 주고받는 표준이다.
- Figma MCP 서버는 디자인 구조, 컴포넌트, 관련 맥락을 LLM에 전달해 디자인에 충실한 코드를 생성하도록 돕는다.
- 충분한 맥락이 제공되면 다음과 같은 효과를 얻을 수 있다.
- 기존 컴포넌트 라이브러리 재사용
- 디자인 시스템 준수
- 접근성 규칙 반영
- 구현 결과와 디자인 간 차이 감소
- AI의 출력 품질은 모델 자체뿐 아니라, 모델에 전달하는 도구·코드베이스·디자인 맥락의 품질에 좌우된다.
## Pull Request를 스스로 사전 점검하기
- LLM을 PR 제출 전 검토자로 활용하면 코드 리뷰 전에 문제를 발견할 수 있다.
- 코드베이스를 이해하는 LLM은 다음과 같은 문제를 찾아낼 수 있다.
- 이미 존재하는 구현을 다시 작성한 경우
- 중복 로직
- 프로젝트의 기존 패턴과 어긋나는 코드
- 잠재적인 누락이나 개선 지점
- AI 리뷰는 사람의 최종 검토를 대체하기보다, 리뷰 요청 전에 작성자가 코드 품질을 높이는 사전 검증 단계로 유용하다.
- 결과적으로 리뷰어와 작성자의 부담을 줄이고 개발 처리량을 높일 수 있다.
## 여러 AI 에이전트를 조율하기
- 복잡한 문제를 작은 작업으로 분해하고, 각각을 여러 AI 에이전트에게 맡기는 능력이 중요해진다.
- 엔지니어는 각 에이전트에 명확한 지시와 맥락을 제공해야 한다.
- 작업 범위
- 관련 파일과 제약 조건
- 기대하는 출력 형식
- 프로젝트의 코딩 규칙
- 여러 에이전트가 만든 결과를 검토하고 하나의 일관된 해결책으로 통합하는 역할은 여전히 엔지니어의 몫이다.
- 마크다운 지침 파일이나 프로젝트 문서를 정리해 LLM에 지속적으로 맥락을 제공하는 것도 새로운 업무 역량으로 부상한다.
- 핵심은 AI에게 모든 판단을 위임하는 것이 아니라, 문제를 분해하고 결과를 조율하는 것이다.
## 기술보다 중요한 제품 감각과 협업
- AI가 코드를 빠르게 만들어도 무엇을 만들어야 하는지 결정하는 책임은 엔지니어에게 남는다.
- 사용자 관점에서 문제의 의미와 우선순위를 판단해야 하며, 동료와 함께 아이디어를 발전시켜야 한다.
- AI가 생성한 결과는 빠른 초안이나 탐색 도구로 활용하고, 최종 품질은 엔지니어의 검증과 제품 이해를 통해 확보해야 한다.
- 앞으로의 강한 엔지니어는 코딩 능력뿐 아니라 문제 정의, 맥락 전달, 결과 평가, 협업 능력을 함께 갖춘 사람이다.
AI를 도입할 때는 단순히 코드 생성량을 늘리기보다, 프로토타입 탐색과 사전 리뷰처럼 사고의 품질을 높이는 과정에 먼저 적용하는 것이 좋다. 특히 프로젝트 규칙과 디자인 시스템을 문서화하고 AI에 충분한 맥락을 제공하면 생산성과 결과의 정확도를 함께 개선할 수 있다.
MCP(Model Context Protocol)는 AI 어시스턴트와 외부 도구·데이터 소스를 연결하는 공통 규격으로, 도구마다 별도 연동을 개발해야 했던 문제를 줄인다. 글은 MCP가 LLM이 대화 중 실시간으로 도구를 인식하고 호출하게 함으로써 에이전틱 AI의 속도와 확장성을 크게 높이는 “가속 장치”가 될 수 있다고 설명한다. HTTP나 USB-C처럼 가볍고 조합 가능하며 상호운용적인 표준으로 자리 잡을 가능성도 제시한다.
## MCP의 등장과 역할
- Anthropic이 2024년 11월 MCP를 발표했고, OpenAI가 지원을 발표하면서 대중적인 관심이 급격히 커졌다.
- Claude, Copilot, Cursor 같은 AI 애플리케이션이 외부 도구 및 데이터 소스와 통신하는 방식을 표준화한다.
- 기존에는 AI 제품과 각 API 사이에 맞춤형 통합을 도구별로 따로 구축해야 했다.
- MCP를 사용하면 하나의 공통 프로토콜을 통해 다양한 서버와 도구를 연결할 수 있다.
- 글에서는 MCP를 다음과 같이 비유한다.
- AI 애플리케이션을 위한 USB-C
- 다양한 페이로드를 운반하는 HTTP
- 프로토콜 자체가 특정 데이터 형식이나 기능에 강하게 종속되지 않기 때문에, 여러 도구를 조합하고 확장하기 쉽다.
## 에이전틱 AI와 실시간 도구 사용
- MCP는 LLM이 단순히 코드를 생성하는 데 그치지 않고, 대화 도중 필요한 도구를 직접 인식하고 호출하도록 한다.
- 일반적인 API 연동 방식에서는 다음 과정이 반복될 수 있다.
- LLM이 API 호출 코드를 생성한다.
- 생성된 코드를 실행한다.
- 결과를 다시 LLM에 전달한다.
- MCP에서는 도구가 모델의 사용 가능한 기능으로 노출되므로, 매번 별도의 실행 코드를 생성하지 않아도 된다.
- 그 결과 도구 사용 과정이 더 빠르고 효율적이며, 여러 도구를 연결한 복합 작업도 구현하기 쉬워진다.
- 이는 사용자의 요청에 따라 AI가 검색, 일정 관리, 콘텐츠 생성 등 여러 단계를 연속적으로 수행하는 에이전틱 AI의 기반이 된다.
## MCP가 제공하는 확장성과 조합 가능성
- MCP 서버 생태계는 빠르게 확대되고 있으며, 공개 서버 목록도 지속적으로 늘어나고 있다.
- 서로 다른 서비스의 MCP 서버를 연결하면 하나의 에이전트가 여러 시스템을 넘나들며 작업할 수 있다.
- Tenstorrent의 사례에서는 네 개의 에이전트가 Google Maps, Airbnb, Google Calendar, Weather를 함께 사용해 자동화된 여행 서비스를 구성했다.
- Blender MCP 서버 사례에서는 사용자가 몇 문장으로 설명한 “보물을 지키는 로우폴리 드래곤” 3D 장면을 생성했다.
- 이러한 사례는 MCP가 단일 API 연동을 넘어, 여러 전문 도구를 조합하는 워크플로를 가능하게 함을 보여준다.
## Figma MCP 서버와 디자인 기반 코드 생성
- Figma는 개발자 workflow에 Figma를 직접 연결하는 MCP 서버 베타를 공개했다.
- 이 서버의 목적은 LLM이 디자인 정보를 바탕으로 코드를 생성하도록 돕는 것이다.
- 디자인 파일의 맥락을 AI가 실시간으로 활용하면, 단순한 시각적 추측보다 실제 디자인 사양에 가까운 코드를 생성할 수 있다.
- MCP는 디자인 도구와 개발 도구 사이의 간극을 줄이고, 디자인-informed code generation을 실현하는 연결 계층으로 활용될 수 있다.
## MCP가 의미하는 에이전틱 웹의 방향
- Microsoft CTO Kevin Scott은 MCP가 에이전틱 웹의 HTTP와 같은 기반이 될 수 있다고 평가했다.
- MCP의 핵심 가치는 특정 AI 모델이나 서비스에 종속되지 않는 상호운용성이다.
- 표준이 널리 채택되면 AI 에이전트가 다양한 서비스와 도구를 공통 방식으로 발견하고 사용할 수 있다.
- 동시에 도구를 연결하는 일이 쉬워질수록, 여러 에이전트와 서비스가 복잡하게 결합된 자동화도 빠르게 늘어날 수 있다.
MCP는 AI를 외부 시스템과 연결하는 표준 계층으로서 에이전틱 AI의 실용화를 앞당길 가능성이 크다. 다만 실제 도입 시에는 연결할 도구의 권한, 데이터 접근 범위, 실행 결과에 대한 검증과 사용자 승인 절차를 함께 설계하는 것이 중요하다.
woowahan원문
