cloudflare·2026년 3월 11일원문

앱을 위한 AI 보안 기능 정식 출시 (새 탭에서 열림)

Cloudflare는 AI 기반 애플리케이션에 대한 위협을 실시간으로 탐지하고 방어하는 'AI Security for Apps'를 정식 출시(GA)하며, 모든 요금제 사용자에게 AI 엔드포인트 탐색 기능을 무료로 제공합니다. 이 서비스는 프롬프트 주입이나 민감 정보 유출 등 AI 특유의 보안 위험을 관리하고, 기존 Cloudflare WAF와 결합하여 고도화된 방어 체계를 구축할 수 있도록 지원합니다. 특히 사용자 정의 주제 탐지와 프롬프트 추출 기능이 추가되어 기업별 맞춤형 보안 정책 수립이 가능해진 것이 핵심입니다. ### AI 엔드포인트 자동 탐색 (Discovery) * 웹 자산 내에서 LLM(대규모 언어 모델)이 사용되는 모든 엔드포인트를 자동으로 식별하고 `cf-llm` 라벨을 부여하여 가시성을 제공합니다. * 단순히 `/chat`과 같은 경로 패턴을 매칭하는 방식이 아니라, 엔드포인트의 실제 동작 방식을 분석하기 때문에 추천 엔진이나 속성 평가 도구처럼 채팅 인터페이스가 없는 AI 서비스도 감지할 수 있습니다. * Free, Pro, Business를 포함한 모든 요금제 고객에게 무료로 제공되어, 보안 팀이 파악하지 못한 '섀도우 AI' 배포를 효과적으로 관리할 수 있게 돕습니다. ### 지능형 위협 탐지 및 사용자 정의 기능 (Detection) * 프롬프트 주입(Prompt Injection), 개인정보(PII) 노출, 유해한 주제 등을 실시간으로 감지하는 상시 보안 모듈을 가동합니다. * **사용자 정의 주제 탐지:** 기업의 필요에 따라 특정 금융 상품, 환자 데이터, 경쟁사 언급 등 차단하거나 모니터링해야 할 특정 주제를 정의하고 관련성 점수를 출력할 수 있습니다. * **프롬프트 추출 및 최적화:** OpenAI, Anthropic, Google Gemini 등 주요 AI 공급자의 데이터 구조를 기본 지원하며, 향후 JSONPath를 통해 프롬프트가 위치한 특정 필드를 직접 지정함으로써 오탐(False Positive)을 최소화할 수 있습니다. ### WAF 연동을 통한 통합 방어 (Mitigation) * 탐지된 위협 신호를 기존 Cloudflare WAF 룰 빌더와 연동하여 차단, 로그 기록, 커스텀 응답 등의 조치를 즉각적으로 취할 수 있습니다. * AI 전용 보안 신호와 IP 평판, 봇 탐지 데이터, 브라우저 핑거프린트 등 기존의 풍부한 보안 데이터를 결합하여 다각적인 상관관계 분석이 가능합니다. * 이는 AI 레이어만 보는 포인트 솔루션과 달리, 네트워크 계층부터 애플리케이션 계층까지 아우르는 통합 보안 계층을 제공한다는 강점이 있습니다. AI가 단순한 챗봇을 넘어 시스템 권한을 가진 '에이전트'로 진화함에 따라 프롬프트 하나가 심각한 보안 사고로 이어질 수 있습니다. 기업은 Cloudflare가 제공하는 무료 탐색 기능을 활용해 조직 내 AI 노출 범위를 우선적으로 파악하고, WAF 기반의 가드레일을 설정하여 확률적으로 발생하는 AI 입력값에 대한 안전 장치를 마련하는 것이 좋습니다.

대규모 언어 모델데이터베이스 설계cloudflareai-security+4

line·2026년 3월 10일원문

완벽한 AI 가드레일을 향한 여정: NeurIPS 2025 최신 안전성 기술 분석 (새 탭에서 열림)

NeurIPS 2025에서 제시된 AI 안전 연구의 핵심은 가드레일을 단순한 사후 필터링 도구가 아닌, 모델의 추론 메커니즘과 시스템 구조 전반에 통합된 필수 인프라로 격상시키는 것입니다. 특히 실제 배포 환경에서 서비스 지연을 최소화하면서도 보안성을 극대화하기 위해 정책의 코드화와 모듈형 방어 체계가 새로운 표준으로 떠오르고 있습니다. 결론적으로 차세대 가드레일은 텍스트를 넘어 멀티모달 환경에서의 복합적인 위협을 실시간으로 탐지하고, 규제 대응을 위해 판단의 근거를 추적할 수 있는 지능형 시스템으로 진화하고 있습니다. ### 효율적이고 유연한 가드레일 프레임워크 * **PRIME Guardrails의 저지연 방어:** 서비스 속도 저하를 막기 위해 조기 종료(early-exit) 파이프라인을 채택하여 명백한 공격을 비동기로 즉시 차단합니다. P(정책), R(위험 감지), I(개입), M(모니터링), E(평가)로 구성된 모듈형 구조를 통해 법무·정책 팀이 직접 안전 규칙을 정의하고 도메인별로 유연하게 적용할 수 있습니다. * **정책의 코드화(Policy-as-Prompt):** 기업 내 비정형 문서(PRD, 법적 규제 등)를 런타임에서 검증 가능한 '소스 연결 정책 트리'로 자동 변환합니다. 이를 통해 AI가 특정 요청을 거부했을 때 원본 문서의 어떤 조항에 근거했는지 법적 추적이 가능해지며, 금융이나 의료 등 규제가 엄격한 산업에서 기술 부채를 줄이는 핵심 역할을 합니다. ### 멀티모달 환경에서의 지능형 유해성 관리 * **GuardReasoner-VL의 강화된 추론:** 겉보기에 무해한 이미지와 텍스트가 결합되어 발생하는 교묘한 유해성을 찾아내기 위해 논리적 추론 과정을 훈련합니다. GRPO(Group Relative Policy Optimization) 기반의 온라인 강화 학습을 사용하여, 모델이 단순히 분류하는 것을 넘어 유해성의 근거를 논리적으로 분석한 뒤 결론을 내리도록 유도합니다. * **시각적 이어붙이기(Visual Stitching) 취약점:** VLM(시각-언어 모델)이 학습 과정에서 조각난 유해 이미지 패치들을 공통된 텍스트 레이블을 통해 내부적으로 재구성할 수 있다는 사실이 밝혀졌습니다. 이는 개별 조각이 안전해 보이더라도 모델이 전체 맥락을 복원하여 안전망을 우회할 수 있음을 시사하며, 데이터 정제 및 입력 처리 단계에서의 정교한 검증이 필요함을 역설합니다. ### 실용적인 가드레일 구축을 위한 제언 AI 서비스를 안정적으로 운영하기 위해서는 가드레일을 단순한 필터가 아닌 '시스템 설계'의 관점에서 접근해야 합니다. 특히 멀티모달 모델을 도입할 때는 학습 데이터의 파편화된 정보가 보안 취약점이 될 수 있음을 인지하고, 입력부터 출력까지 전 과정에 걸쳐 다중 방어(Defense in Depth) 체계를 구축하는 것이 권장됩니다. 또한 정책 변화에 유연하게 대응할 수 있도록 정책 문서를 가드레일에 실시간으로 반영하는 자동화 파이프라인을 구축하는 것이 장기적인 운영 효율성 측면에서 유리합니다.

대규모 언어 모델데이터베이스 설계머신러닝생성형 AI+4

datadog·2026년 3월 9일원문

AI 에이전트가 문을 두드리자: Datadog 오픈 소스 저장소의 악성 기여를 포착하다 (새 탭에서 열림)

데이터독(Datadog)은 최근 GitHub Actions 및 LLM 기반 워크플로우를 표적으로 삼는 AI 에이전트 'hackerbot-claw'의 악성 기여 시도를 성공적으로 차단했습니다. 이 공격은 AI 기술을 활용해 오픈소스 리포지토리에 취약점을 주입하려는 시도였으나, 데이터독의 AI 기반 탐지 시스템인 'BewAIre'와 선제적인 CI/CD 보안 제어 덕분에 무력화되었습니다. 이번 사례는 공격자들이 LLM을 통해 공격 규모를 확장함에 따라, 방어자 또한 AI를 보안 체계에 적극적으로 도입해야 함을 시사합니다. **오픈소스 CI 파이프라인을 향한 주요 공격 벡터** - **변수 삽입 취약점:** PR 제목과 같이 사용자가 제어할 수 있는 변수를 워크플로우 스크립트 내에 안전하지 않게 삽입하는 경우를 악용합니다. - **I-PPE(간접 포이즌 파이프라인 실행):** 악성 의존성이나 빌드 지침을 PR에 삽입하여 빌드 과정에서 자동으로 실행되게 함으로써 CI 비밀번호(Secrets)를 탈취합니다. - **`pull_request_target` 오용:** 신뢰할 수 없는 PR에서 실행되는 워크플로우에 높은 권한을 부여하는 설정을 악용하여 시스템을 장악합니다. - **LLM 프롬프트 인젝션:** `claude-code-action`이나 `run-gemini-cli`처럼 LLM을 사용하는 GitHub 액션에 악의적인 지시를 주입하여 자동화된 트리징 시스템을 교란합니다. **AI 기반 탐지 시스템 'BewAIre'의 운영** - **실시간 코드 리뷰:** 매주 유입되는 약 10,000건의 내외부 PR을 대상으로 LLM 기반의 자동화된 보안 검사를 수행합니다. - **2단계 분석 파이프라인:** GitHub 이벤트를 통해 코드 차분(diff) 데이터를 추출 및 정규화한 뒤, 2단계 LLM 파이프라인을 거쳐 변경 사항을 '악성' 또는 '정상'으로 분류하고 그 근거를 구조화하여 제시합니다. - **SIEM 통합 및 대응:** 악성으로 판정된 결과는 즉시 Datadog Cloud SIEM으로 전송되어 보안 사고 대응 팀(SIRT)이 즉각적으로 조사하고 사고화할 수 있도록 지원합니다. **선제적인 인프라 강화 및 보안 모범 사례** - **최소 권한의 임시 자격 증명:** OIDC identity federation을 활용한 `dd-octo-sts-action`을 도입하여, 수명이 길고 권한이 과도한 개인 액세스 토큰(PAT) 대신 수명이 짧고 권한이 제한된 인증 정보를 동적으로 생성합니다. - **비밀 정보 관리:** 수천 개의 리포지토리를 전수 조사하여 사용되지 않는 GitHub Actions 비밀 정보를 대규모로 식별하고 제거했습니다. - **CI 보안 정책 강제화:** 브랜치 보호 규칙, 휴먼 및 봇의 커밋 서명 의무화, 필수 PR 승인 절차를 도입하고 `GITHUB_TOKEN` 권한을 기본적으로 최소 수준으로 설정했습니다. - **보안 골든 패스(Golden Paths):** 엔지니어들이 별도의 복잡한 설정 없이도 보안이 확보된 표준 CI 파이프라인을 사용할 수 있도록 가이드를 문서화하고 시스템화했습니다. AI 에이전트를 활용한 공격이 현실화됨에 따라 단순한 규칙 기반의 탐지는 한계에 직면해 있습니다. 조직은 BewAIre와 같은 AI 기반 탐지 모델을 구축함과 동시에, OIDC를 통한 인증 체계 개선 및 GITHUB_TOKEN 권한 최소화와 같은 근본적인 CI/CD 보안 설정을 병행하여 자동화된 공격에 대한 방어 계층을 다각화해야 합니다.

대규모 언어 모델데이터베이스 설계CI/CD오픈 소스+4

github·2026년 3월 6일·4분 읽기큐레이션 요약

GitHub Security Lab의 오픈 소스

GitHub Security Lab은 오픈 소스 AI 프레임워크인 **Taskflow Agent**와 웹 보안 감사용 taskflow를 활용해 80건 이상의 취약점을 발견했으며, 그중 상당수는 인증 우회와 민감 정보 노출처럼 영향도가 높은 취약점이었다고 설명합니다. 이 방식은 대형 단일 프롬프트 대신 여러 단계의 작업을 YAML로 정의하고, LLM의 분석 결과를 데이터베이스로 전달해 반복적·구조적인 보안 감사를 수행합니다. 프레임워크와 taskflow는 공개되어 있어 GitHub Copilot 사용자는 자신의 저장소에서도 실행할 수 있습니다. ## 오픈 소스 AI 보안 감사의 성과 - 새로운 taskflow는 웹 애플리케이션 취약점 탐색에 특화되어 있습니다. - 지금까지 80건 이상의 취약점을 보고했으며, 작성 시점에 약 20건이 공개되었습니다. - 발견된 취약점의 상당수는 다음과 같은 고위험 유형입니다. - 인증 또는 권한 우회 - 다른 사용자로 로그인할 수 있는 문제 - 다른 사용자의 비공개 데이터에 접근하는 정보 노출 - 글에서 제시한 사례로는 다음이 언급됩니다. - 전자상거래 애플리케이션의 장바구니에서 개인식별정보(PII) 접근 - 채팅 애플리케이션에서 어떤 비밀번호를 사용해도 로그인 가능한 문제 - 연구자들은 기존에 악용 가능성이 불분명한 후보를 검증하는 데 쓰던 시간을 줄이고, 실제 결과를 수동 검증하고 보고하는 데 더 집중할 수 있게 되었다고 설명합니다. ## 자신의 저장소에서 실행하는 방법 - `GitHubSecurityLab/seclab-taskflows` 저장소에서 Codespace를 시작합니다. - 초기화가 끝난 뒤 다음 명령을 실행합니다. ```bash ./scripts/audit/run_audit.sh myorg/myrepo ``` - 중간 규모 저장소에서는 실행에 한두 시간이 걸릴 수 있습니다. - 완료되면 SQLite 뷰어가 열리고, `audit_results` 테이블에서 `has_vulnerability` 열이 체크된 행을 확인합니다. - 실행에는 GitHub Copilot 라이선스가 필요하며, 프리미엄 모델 요청 할당량을 많이 사용할 수 있습니다. - LLM 결과는 비결정적이므로 같은 코드베이스를 여러 번 검사하는 것이 권장됩니다. - 서로 다른 모델을 사용하면 결과가 달라질 수 있습니다. - 예시로 GPT 5.2와 Claude Opus 4.6을 각각 사용할 수 있습니다. - 비공개 저장소도 지원하지만, Codespace 설정을 수정해 접근 권한을 별도로 부여해야 합니다. ## Taskflow의 구조 - Taskflow는 LLM에 수행시킬 작업 목록을 YAML로 정의한 파일입니다. - `seclab-taskflow-agent`가 다음 기능을 담당합니다. - 작업을 순차적으로 실행 - 앞선 작업의 결과를 다음 작업에 전달 - 여러 구성 요소에 같은 작업을 비동기적으로 반복 실행 - 템플릿 프롬프트에 구성 요소별 정보를 삽입 - 저장소 감사는 일반적으로 다음 단계로 나뉩니다. - 저장소를 기능별 구성 요소로 분할 - 각 구성 요소의 진입점, 신뢰할 수 없는 입력, 요구 권한, 역할 등을 분석 - 분석 결과를 `repo_context.db` 같은 데이터베이스에 저장 - 저장된 컨텍스트를 사용해 취약점 후보를 생성 - 후보별로 세부 검증을 수행 - 현재는 각 구성 요소에 대해 일반적인 보안 문제를 제안하는 작업과, 제안된 문제를 정밀하게 검증하는 작업이 사용됩니다. - 특정 취약점 유형에 집중하는 별도의 taskflow도 추가할 수 있습니다. ## 하나의 거대한 프롬프트 대신 여러 작업을 사용하는 이유 - LLM의 컨텍스트 창에는 한계가 있습니다. - 복잡한 작업을 하나의 프롬프트에 모두 넣으면 일부 단계가 누락되거나 제대로 수행되지 않을 수 있습니다. - 작업을 분리하면 다음과 같은 장점이 있습니다. - 각 단계의 결과를 개별적으로 확인 가능 - 실패하거나 잘못된 단계를 디버깅하기 쉬움 - 이전 분석 결과를 후속 작업의 컨텍스트로 재사용 가능 - 여러 코드 구성 요소에 동일한 분석을 일관되게 적용 가능 - 더 큰 컨텍스트 창을 지원하는 모델에서도, 작업 흐름을 통제하고 검증하기 위해 taskflow 방식이 유용하다고 설명합니다. ## 일반 보안 코드 감사에서의 과제 - 초기에는 CodeQL 경고 분류처럼 범위와 판단 기준이 명확한 작업에 Taskflow Agent를 사용했습니다. - 이후 특정 경고에 한정하지 않고 일반적인 취약점까지 찾는 방식으로 확장했습니다. - LLM에 더 많은 자유를 주면 다음 문제가 커집니다. - 환각 - 오탐 - 검증하기 어려운 취약점 보고 - CodeQL 경고 분류가 효과적이었던 이유는 지시와 판정 기준이 엄격하고, 각 단계에서 결과가 요구사항을 충족하는지 확인할 수 있었기 때문입니다. - 따라서 목표는 LLM이 다양한 취약점을 자유롭게 탐색하게 하면서도 taskflow 설계와 프롬프트 엔지니어링으로 환각과 오탐을 통제하는 것입니다. ## 실용적인 권장 사항 실제 프로젝트에 적용할 때는 한 번의 실행 결과를 확정적인 보안 보고서로 취급하지 말고, 여러 모델과 반복 실행으로 후보를 수집한 뒤 사람이 재현 가능성과 악용 가능성을 검증하는 것이 좋습니다. 또한 저장소 전체를 한 번에 분석하기보다 기능별 구성 요소와 단계별 taskflow로 나누면 결과를 추적하고 수정하기 쉽습니다.

원문 읽기(새 탭에서 열림)

대규모 언어 모델오픈 소스github-copilot프롬프트 엔지니어링+4

line·2026년 3월 6일원문

메신저용 온디바이스 이미지 모델 학습기 2편: 초저지연 비자기회귀(non-autoregressive) 캡션 생성 전략 (새 탭에서 열림)

네트워크 호출 없이 모바일 기기 내에서 작동하는 초저지연 이미지 캡션 기능을 위해, 비자기회귀(Non-autoregressive) 디코딩 구조와 다단계 지식 증류(Knowledge Distillation) 기술을 결합한 온디바이스 모델을 개발했습니다. 기존의 순차적 생성 방식인 자기회귀 디코딩의 병목 현상을 해결하여 응답 시간을 5초 이상에서 200~400ms 수준으로 12배 이상 단축했으며, 172MB의 가벼운 모델 크기로도 실사용 가능한 수준의 품질을 확보했습니다. 결과적으로 프라이버시를 보호하면서도 오프라인 환경에서 즉각적인 이미지 이해 기능을 제공하는 메신저 UX를 구현하는 데 성공했습니다. ### 기존 자기회귀 모델의 모바일 환경 한계 * **추론 지연의 핵심 원인**: LLM에서 흔히 쓰이는 자기회귀(AR) 방식은 토큰을 하나씩 순차적으로 생성하므로, 문장 길이에 비례해 디코더의 연산 횟수가 늘어나 모바일 기기에서 수 초 이상의 지연 시간을 발생시킵니다. * **기존 모델의 부적합성**: BLIP-1, MobileVLM 등 기존의 오픈소스 모델들은 양자화 후에도 응답 시간이 5초를 초과하여, 즉각적인 반응이 필요한 메신저 서비스 시나리오를 충족하지 못했습니다. * **온디바이스 제약**: 단순한 모델 경량화만으로는 목표치인 수백 ms대 진입이 불가능했으며, 네트워크 상태나 기기 성능에 구애받지 않는 안정적인 속도 확보가 필수적이었습니다. ### 비자기회귀 디코딩을 통한 속도 혁신 * **병렬 토큰 예측**: 이미지 표현을 조건으로 하여 N개의 학습 가능한 쿼리 토큰이 모든 단어를 한 번에 예측하는 비자기회귀(NAR) 구조를 채택해 시간 복잡도를 O(1)로 낮추었습니다. * **Query-CTC 손실 함수**: 병렬 생성 시 발생하는 정답 토큰과 쿼리 위치 간의 정렬 문제를 해결하기 위해, 음성 인식에서 주로 쓰이는 CTC(Connectionist Temporal Classification) 계열의 손실 함수를 도입했습니다. * **초저지연 달성**: 이 구조를 통해 기존 2.8~5초 이상 걸리던 캡션 생성 시간을 200ms 내외로 획기적으로 줄여 사용자 체감 성능을 극대화했습니다. ### 실사용 품질 확보를 위한 평가 및 학습 전략 * **수락 비율(Accept Ratio) 도입**: CIDEr나 CLIPScore 같은 기존 벤치마크 점수가 실제 문장의 자연스러움을 대변하지 못하는 문제를 해결하기 위해, GPT-4o mini를 활용해 문법 오류나 중복 단어를 걸러내는 새로운 평가 지표를 정의했습니다. * **데이터 정제와 캡션 재생성**: 원본 학습 데이터의 노이즈(짧거나 장황한 캡션 등)를 제거하기 위해, 고성능 모델을 이용해 캡션을 다시 쓰는 Re-captioning 과정을 거쳐 고품질의 학습 데이터를 확보했습니다. * **다단계 지식 증류**: 거대 모델(Teacher)의 정교한 표현력을 작은 모델(Student)에게 전수하는 지식 증류 기법을 적용하여, 모델 크기는 줄이면서도 비자기회귀 모델 특유의 반복 문구 생성이나 문법 오류 문제를 해결했습니다. 온디바이스 AI 개발에서 성능 지표(Score) 향상보다 중요한 것은 실제 사용자 환경에서의 '수락 가능한 품질'과 '지연 시간'의 균형입니다. 단순히 모델을 작게 만드는 것에 그치지 않고, 디코딩 패러다임을 비자기회귀로 전환하고 데이터의 질을 높이는 지식 증류 과정을 반복하는 것이 모바일 환경에 최적화된 고성능 모델을 만드는 핵심 전략입니다.

대규모 언어 모델데이터베이스 설계knowledge-distillationnon-autoregressive+3

google·2026년 3월 4일원문

LLM에게 베이지안처럼 추 (새 탭에서 열림)

거대언어모델(LLM)이 사용자와 상호작용하며 최적으로 추론하도록 하기 위해, 베이즈 정리(Bayes' rule)를 따르는 모델의 예측 과정을 모방하도록 학습시키는 '베이지안 티칭(Bayesian teaching)' 프레임워크가 제안되었습니다. 기존 LLM은 새로운 정보가 주어져도 확률적 추론에 한계를 보이며 성능이 정체되는 경향이 있었으나, 최적의 베이지안 모델을 파인튜닝 지표로 삼음으로써 불확실성을 관리하고 신념을 업데이트하는 능력을 크게 개선했습니다. 연구 결과, 이 방식은 특정 작업의 성능을 높일 뿐만 아니라 학습하지 않은 새로운 도메인으로의 일반화 가능성까지 입증하며 LLM의 근본적인 추론 기술 향상 가능성을 보여주었습니다. **LLM의 확률적 추론 능력 평가** * **항공편 추천 시뮬레이션:** 출발 시간, 소요 시간, 경유 횟수, 비용 등 다양한 선호도를 가진 가상 사용자와 5단계에 걸쳐 상호작용하며 최적의 항공편을 추천하는 과제를 수행했습니다. * **베이지안 어시스턴트와 비교:** 최적의 베이지안 전략을 따르는 모델을 기준점으로 삼아, LLM이 새로운 정보에 따라 사용자 선호도 추정치를 얼마나 잘 업데이트하는지 측정했습니다. * **성능 정체 현상 발견:** 일반적인 LLM은 첫 번째 상호작용 이후 성능이 정체되는 반면, 베이지안 모델은 정보가 쌓일수록 정확도가 지속적으로 향상되는 격차를 보였습니다. 이는 LLM이 새로운 정보를 통합하여 내부 표현을 수정하는 데 취약함을 의미합니다. **베이지안 티칭 프레임워크의 구조** * **사전 신념과 사후 신념의 순환:** 모델이 가진 기존 지식(Prior)을 새로운 증거(Evidence)와 결합하여 업데이트된 지식(Posterior)으로 전환하는 과정을 지도 학습(Supervised Fine-tuning)으로 구현했습니다. * **오라클 티칭(Oracle Teaching):** 사용자의 실제 정답(완벽한 선호도 정보)만을 학습 데이터로 제공하는 방식으로, 모델이 항상 정답만을 맞히도록 유도합니다. * **베이지안 티칭(Bayesian Teaching):** 베이지안 어시스턴트가 정보가 부족한 상황에서 내린 '확률적인 최선의 추측' 과정을 모방하게 하는 일종의 증류(Distillation) 기법입니다. * **불확실성 학습:** 베이지안 티칭은 모델에게 정답뿐만 아니라, 정보가 불충분할 때 가질 수 있는 불확실성을 유지하고 논리적으로 추론하는 법을 가르칩니다. **학습 결과 및 추론 기술의 일반화** * **추론 정확도 역전:** 베이지안 티칭을 거친 LLM은 정답 데이터만을 학습한 오라클 티칭 모델보다 실제 사용자 선택을 예측하는 데 더 높은 성과를 거두었습니다. * **베이지안 모델과의 높은 일치도:** 파인튜닝된 LLM은 정보 업데이트 방식에서 베이지안 모델과 유사한 패턴을 보였으며, 이는 모델이 단순 암기가 아닌 확률적 사고방식을 체득했음을 보여줍니다. * **도메인 확장성:** 훈련에 사용되지 않은 다른 유형의 작업에서도 베이지안 추론 방식을 적용하는 능력이 향상되었습니다. 이는 LLM이 예시를 통해 일반적인 추론 기술을 학습하고 이를 새로운 영역으로 전이할 수 있음을 시사합니다. LLM을 단순한 챗봇을 넘어 지능형 에이전트로 활용하기 위해서는 단순히 정답(Ground Truth)만을 학습시키기보다, 베이지안 모델과 같은 최적의 사고 과정을 데이터화하여 학습시키는 전략이 유효할 것으로 보입니다. 이는 특히 사용자 개인화가 중요한 추천 시스템이나 복잡한 의사결정 지원 시스템 구축에 실용적인 해결책이 될 수 있습니다.

대규모 언어 모델supervised-fine-tuningbayesian-inferenceprobabilistic-reasoning+3

cloudflare·2026년 3월 3일원문

Cloudy가 복잡한 보안 (새 탭에서 열림)

Cloudflare의 'Cloudy'는 복잡한 보안 텔레메트리와 머신러닝 탐지 결과를 인간이 이해할 수 있는 언어로 번역해주는 LLM 기반의 설명 레이어입니다. 이 기술은 보안 팀과 엔드 유저가 탐지 결과의 이면에 있는 '이유'를 즉각적으로 파악하게 함으로써, 단순한 알림을 넘어 실질적인 행동 변화를 이끌어내는 것을 목표로 합니다. 결과적으로 Cloudy는 보안 운영 센터(SOC)의 업무 부하를 줄이고 조직 전체의 보안 의사결정 수준을 한 단계 높이는 역할을 수행합니다. ### 이메일 보안의 투명성 강화와 Phishnet 업그레이드 * **탐지 근거의 명확화**: 기존 머신러닝 모델은 악성 메일을 정확히 분류하지만, 왜 그렇게 판단했는지에 대한 설명이 부족했습니다. Cloudy는 발신 평판, 링크 동작, 인프라 메타데이터 등을 분석해 사용자에게 읽기 쉬운 요약본을 제공합니다. * **불필요한 SOC 보고 감소**: 사용자가 의심스러운 메일을 모두 SOC로 보낼 경우 발생하는 백로그 문제를 해결합니다. Cloudy의 실시간 요약을 통해 사용자는 스스로 위험을 판단할 수 있게 되어, 실제 조사가 필요한 메일만 선별적으로 보고하게 됩니다. * **상황 맥락적 보안 교육**: 정기적인 보안 교육 대신, 실제 위협에 직면한 순간에 구체적인 가이드를 제공함으로써 사용자의 보안 인식과 대응 능력을 실시간으로 강화합니다. ### Workers AI를 활용한 실시간 기술 구현 * **글로벌 엣지 처리**: Cloudy는 Cloudflare의 글로벌 네트워크인 Workers AI 플랫폼에서 구동됩니다. 사용자가 Phishnet 버튼을 클릭하는 즉시 실시간으로 작동하여 지연 시간을 최소화합니다. * **신호 집계 및 번역**: SPF/DKIM/DMARC 인증 결과, 발신자 평판, 콘텐츠 분석 등 복잡한 기술 신호를 수집한 뒤, 이를 평이한 자연어로 변환합니다. * **사용자 맞춤형 언어 선택**: 관리자 대시보드에서는 기술적인 디테일을 강조하는 반면, 일반 사용자용 Phishnet 화면에서는 'ASN'이나 'IP 평판' 같은 전문 용어 대신 "보낸 사람 확인 실패"와 같은 직관적인 표현을 사용합니다. ### CASB를 통한 SaaS 환경의 위험 관리 최적화 * **복잡한 설정 오류 해석**: Cloudflare CASB(Cloud Access Security Broker) 엔진과 결합하여 SaaS 환경의 잘못된 설정이나 위험한 액세스 권한을 분석합니다. * **신속한 해결 경로 제시**: 관리자가 복잡한 기술 신호를 일일이 수동으로 분석할 필요 없이, Cloudy가 제시하는 위험 요인과 조치 경로를 통해 즉각적인 위협 완화가 가능해집니다. ### 실용적인 제언 조직의 보안 담당자는 단순히 '차단'이나 '허용'의 이분법적 접근에서 벗어나, Cloudy와 같은 설명 가능한 보안(Explainable Security) 도구를 도입하여 사용자 참여형 보안 문화를 구축해야 합니다. 특히 SOC 팀의 리소스가 부족한 조직이라면, Phishnet의 Cloudy 업그레이드를 통해 사용자 발(發) 노이즈를 줄이고 고부하 위협 대응에 집중할 수 있는 환경을 조성할 것을 추천합니다.

대규모 언어 모델머신러닝cloudflareCloudflare Workers+4

cloudflare·2026년 3월 3일원문

사후 대응에서 선제적 대응 (새 탭에서 열림)

클라우드플레어는 기존의 사후 대응 중심의 이메일 보안 체계를 대규모 언어 모델(LLM)을 활용한 선제적 방어 체계로 전환하고 있습니다. 사용자가 신고한 피싱 메일에만 의존하던 방식에서 벗어나, LLM의 문맥 이해 능력을 통해 수백만 건의 이메일 데이터에서 보이지 않던 위협 패턴을 식별하고 이를 탐지 모델 학습에 즉시 반영하는 것이 핵심입니다. 이러한 변화를 통해 위협이 실제 피해로 이어지기 전 미리 대응할 수 있는 능력을 확보하고, 특히 교묘한 '영업 제안(Sales Outreach)' 형태의 피싱 공격을 효과적으로 억제하는 성과를 거두고 있습니다. ### 기존 사후 대응 방식의 한계 * 전통적인 보안 시스템은 공격자가 이미 성공한 사례, 즉 사용자가 사후에 신고한 이메일(EML)을 분석하여 모델을 업데이트하는 방식에 의존했습니다. * 이는 '생존자 편향'의 문제와 같아서, 시스템을 이미 통과한 위협에 대해서는 효과적이지만 다음에 올 새로운 공격 기법에는 여전히 취약하다는 맹점이 있습니다. * 공격자의 기술은 끊임없이 진화하는 반면, 기존 방식은 공격자가 한 발 앞서 나가는 상황을 뒤늦게 쫓아가는 구조적 한계를 보입니다. ### LLM을 활용한 위협 지형 매핑 * LLM은 이메일의 비정형 데이터를 깊이 있게 분석하여 의도(intent), 긴급성(urgency), 기만성(deception)과 같은 복잡한 개념을 맥락적으로 이해합니다. * 과거에는 수백만 건의 메시지를 세부적으로 분류하는 것이 불가능했으나, 이제는 실시간에 가까운 속도로 위협 벡터를 자동 분류하고 태그를 부여할 수 있습니다. * 이를 통해 보안 분석가는 수동 조사 시간을 대폭 단축하고, 새로운 공격 패턴이 널리 확산되기 전에 이를 감지하여 맞춤형 머신러닝 모델을 구축할 수 있는 고해상도 신호를 얻게 됩니다. ### '영업 제안(Sales Outreach)' 피싱 탐지 강화 * B2B 비즈니스 메일을 모방하여 악성 링크 클릭이나 자격 증명 탈취를 유도하는 '영업 제안' 형태의 피싱이 주요 타겟으로 선정되었습니다. * LLM을 사용해 이러한 특성을 가진 메시지를 체계적으로 격리하고, 이를 바탕으로 실제 환경의 사례들을 포함하는 고정밀 말뭉치(Corpus)를 구축했습니다. * 단순한 정적 지표가 아닌 설득력 있는 프레임워크, 조작된 긴급성, 거래적 언어 등 언어적/구조적 특성을 추출하여 전용 감성 분석 모델을 학습시켰습니다. ### 언어 분석을 통한 보안 집행 및 최적화 * 학습된 모델은 메시지가 알려진 공격 패턴과 얼마나 일치하는지 나타내는 '위험 점수'를 산출하며, 이는 발신자 평판 및 링크 동작 등 기존 신호와 결합되어 최종 판단에 활용됩니다. * 공격자가 언어 스타일을 바꾸더라도 LLM이 새로운 변종을 발견하면 즉시 학습 파이프라인에 피드백되어 사용자의 신고 없이도 모델이 지속적으로 정교해집니다. * 이러한 시스템 도입 결과, 2025년 3분기 대비 4분기에는 사용자가 놓친 피싱 메일 신고 건수가 약 20.4% 감소했으며, 2026년 1분기에는 미탐지 신고가 기존의 1/3 수준으로 대폭 줄어드는 성과를 냈습니다. 사용자가 위협을 인지하고 신고하기를 기다리는 대신, LLM의 강력한 언어 이해 능력을 탐지 초기 단계(Discovery layer)에 배치하여 잠재적 위협을 먼저 찾아내는 것이 현대적인 이메일 보안의 핵심 전략입니다. 이를 통해 보안 팀은 리소스 소모를 줄이고, 사용자는 더욱 안전한 비즈니스 커뮤니케이션 환경을 보장받을 수 있습니다.

대규모 언어 모델머신러닝자연어 처리딥러닝+3

microsoft·2026년 2월 27일원문

마이크로소프트 규모의 멀 (새 탭에서 열림)

대규모 프로덕션 환경에서 멀티모달 에이전트의 사후 학습(Post-training)은 표준적인 강화학습 알고리즘이 예상하지 못한 지점에서 실패하는 경우가 많으며, 특히 전체 보상 지표가 상승함에도 불구하고 실제 성능은 퇴보하는 '침묵하는 실패'가 빈번하게 발생합니다. Microsoft Copilot 팀은 이러한 문제를 해결하기 위해 정책 경사 추정치(Policy gradient estimator)의 정보력을 유지하는 데 초점을 맞춘 공학적 및 알고리즘적 개입 방법을 개발했습니다. 이를 통해 수백만 명의 사용자를 대상으로 하는 복잡한 도구 조작 및 멀티모달 추론 태스크에서 성능 안정성과 모델의 견고성을 확보할 수 있었습니다. ### 단계적 목적 함수 커리큘럼을 통한 조기 전문화 방지 * **문제점**: 단순한 스칼라 보상을 최적화할 경우, 모델은 달성하기 쉬운 지표에만 매몰되어 장기 실행 능력이나 견고성이 필요한 복잡한 행동을 포기하는 조기 전문화(Premature specialization) 현상이 나타납니다. * **검증 및 선호 신호 분리**: 보상 신호를 '검증 가능 신호(도구 구문, 형식 준수 등)'와 '선호도 신호(품질 등)'로 분리하고, 학습 초기 30% 구간에서는 검증 가능 신호에만 집중하여 기본기를 다지게 합니다. * **엔트로피 하한선(Entropy Floor)**: 단순한 엔트로피 보너스 대신, 정책의 엔트로피가 특정 임계값 아래로 떨어질 때만 활성화되는 KL 페널티 형태의 '하한선'을 도입하여 학습 후반부까지 정책의 다양성을 강제로 유지합니다. ### 추정치 건강도에 따른 적응형 커리큘럼 * **ESS(유효 샘플 크기) 모니터링**: 전체 배치 중 실제로 유의미한 그래디언트 업데이트에 기여하는 궤적의 비율인 ESS를 실시간으로 추적합니다. ESS가 20% 미만으로 떨어지면 향후 학습 정체가 일어날 것임을 미리 예측할 수 있습니다. * **근접 실패(Near-miss) 주입**: ESS 수치가 위험 수준에 도달하면 저장소 버퍼에서 '근접 실패' 궤적을 학습 배치에 주입합니다. 이는 모델이 정답과 오답 사이의 미세한 차이를 학습하게 하여 배치 내 결과의 대비(Contrast)를 복구합니다. * **동적 KL 페널티 조절**: 추정치의 건강도가 낮아질 때 일시적으로 KL 페널티를 높여 정책의 급격한 변화를 방지하고, 에스티메이터가 회복될 시간을 확보합니다. ### 구조적 변산성을 고려한 분산 교정 정규화 * **문제점**: 표준적인 태스크별 정규화는 태스크 내의 변산성 구조를 무시합니다. 특히 100토큰 내외의 짧은 궤적과 2000토큰 이상의 긴 궤적 사이에는 거대한 분산 차이가 존재하며, 긴 궤적이 전체 그래디언트 신호를 왜곡하는 현상이 발생합니다. * **길이 기반 보정**: 궤적의 길이에 따라 변산성이 선형적으로 증가하는 특성을 반영하여 정규화 로직을 개선함으로써, 특정 유형의 작업이 전체 학습 방향을 독점하지 않도록 조정합니다. 실제 운영 환경에서의 AI 에이전트 학습은 대시보드상의 요약 지표와 실제 사용자 경험 사이의 괴리를 줄이는 것이 핵심입니다. 특히 ESS와 같은 추정치 건전성 지표를 상시 모니터링하고, 학습 초기 단계에서 모델이 기본 형식을 먼저 마스터할 수 있도록 보상 신호의 투입 시점을 제어하는 전략이 대규모 멀티모달 시스템의 안정적인 배포에 결정적인 역할을 합니다.

대규모 언어 모델reinforcement-learningpost-trainingagentic-systems+3

daangn·2026년 2월 27일원문

2조 토큰을 카테고리 분류에 쓰면서 알게된 것들 (새 탭에서 열림)

당근 Taxonomy 팀은 방대한 중고거래 게시글과 서비스 데이터를 효율적으로 분류하기 위해 LLM 기반의 자동화 파이프라인인 'Taxonomy Management System'을 구축했습니다. 이 시스템은 Dataflow를 통한 고병렬 추론과 LLM as a Judge 방식의 평가 체계를 결합하여, 사람이 직접 수행하던 카테고리 관리와 라벨링 비용을 획기적으로 줄이면서도 1만 개 이상의 정교한 카테고리 체계를 안정적으로 운영하고 있습니다. 2조 토큰에 달하는 대규모 데이터를 처리하며 얻은 노하우를 통해, 단순 분류를 넘어 서비스 전반의 공통 데이터 언어를 구축하는 성과를 거두었습니다. **택소노미의 중요성과 자동화의 필요성** * 택소노미는 검색, 추천, 광고 등 서비스 전반에서 데이터를 통일된 방식으로 다루기 위한 계층적 카테고리 체계이자 공통 언어입니다. * 기존의 수동 분류 방식은 도메인 전문가의 리소스가 과도하게 소요되고, 사용자가 입력한 데이터만으로는 정밀한 분류(3-depth 이상)가 어렵다는 한계가 있었습니다. * LLM을 활용해 사용자가 입력하지 않은 세부 카테고리와 속성(브랜드, 색상, 재질 등)을 자동으로 추출하여 데이터의 표현력을 높였습니다. **Dataflow와 BigQuery 중심의 파이프라인 설계** * 초 단위의 응답 시간이 걸리는 LLM 추론을 대규모 배치 및 스트림으로 처리하기 위해 Apache Beam 기반의 Google Cloud Dataflow를 채택하여 병렬 처리 성능을 확보했습니다. * 추론 결과의 원천 데이터(Source of Truth)를 BigQuery에 적재하여 분석과 학습에 즉시 활용하고, 실시간 서비스가 필요한 경우 Kafka를 통해 피처 플랫폼으로 전달합니다. * 택소노미 정의, 파이프라인 설정, 모델 옵션(Gemini, GPT, Claude 등)을 YAML 파일로 관리하여 코드 수정 없이 유연하게 시스템을 운영할 수 있도록 설계했습니다. **LLM을 이용한 택소노미 생성 및 확장 전략** * 기존 1,400개 수준의 카테고리를 LLM 기반의 리서치와 실데이터 분석을 통해 6-depth, 10,000개 이상의 정교한 체계로 확장했습니다. * 신규 카테고리 후보가 발생하면 기존 데이터 할당 테스트와 회귀 평가(Regression)를 거쳐 품질이 검증된 경우에만 정식 택소노미로 편입시킵니다. * 다국어 지원 시 일관성을 유지하기 위해 DFS(깊이 우선 탐색) 방식으로 상위 카테고리의 번역 문맥을 하위 단계 LLM에게 전달하는 방식을 사용했습니다. **추론 전략 최적화와 품질 관리(LLM as a Judge)** * 단일 단계(Single Shot), 계층적(Hierarchical), 토너먼트(Two-stage) 방식 등 택소노미 규모에 맞는 다양한 추론 전략을 모듈화하여 교체 가능하게 구현했습니다. * 분류 결과의 정확도를 측정하기 위해 여러 모델이 투표하여 정답(Ground Truth)을 정하는 'LLM as a Judge' 방식을 도입했습니다. * 카테고리 정확도(Accuracy)뿐만 아니라 다중 라벨인 속성 데이터에 대해서는 정밀도(Precision)와 재현율(Recall) 지표를 상시 모니터링하여 프롬프트와 모델 변경의 효과를 즉각 검증합니다. **실용적인 결론 및 추천** 대규모 서비스에서 카테고리 분류를 자동화하려는 팀은 처음부터 완벽한 모델을 찾기보다, **다양한 LLM 전략을 실험할 수 있는 모듈형 파이프라인**과 **자동화된 평가 체계(LLM as a Judge)**를 먼저 구축하는 것이 중요합니다. 특히 데이터 소스가 다양해질 것에 대비해 이벤트 스트림과 배치 처리를 동시에 지원하는 인프라를 선택하고, 분류 결과가 실제 서비스 피처로 흐를 수 있는 파이프라인 구조를 설계할 것을 권장합니다.

대규모 언어 모델Apache Kafka프롬프트 엔지니어링bigquery+4

dropbox·2026년 2월 26일원문

LLM을 활용한 인간 (새 탭에서 열림)

Dropbox Dash는 검색 관련성(Relevance)을 높이기 위해 소수의 고품질 인간 라벨링 데이터를 LLM을 통해 대규모로 증폭시키는 하이브리드 학습 전략을 채택하고 있습니다. 이 방식은 LLM을 '교사 모델'로 활용하여 수백만 개의 학습 데이터를 생성하고, 이를 통해 실시간 서비스에 적합한 효율적인 랭킹 모델을 구축하는 데 목적이 있습니다. 결과적으로 인간의 판단력과 AI의 확장성을 결합하여 RAG(검색 증강 생성) 시스템의 답변 품질을 결정짓는 핵심 요소인 검색 정확도를 극대화했습니다. ## Dash 검색 순위 모델과 학습 방식 * Dash는 수작업으로 조정된 규칙이 아닌, XGBoost와 같은 머신러닝 기법을 활용하여 검색 결과의 순위를 결정합니다. * 모델은 검색어와 문서 쌍에 대해 1점(관련 없음)부터 5점(매우 관련 있음)까지의 점수를 부여하는 관련성 라벨을 학습하며, 점수가 높은 문서가 상단에 배치되도록 가중치를 조정합니다. * 기업 내 수억 개의 문서 중 LLM이 답변 생성에 사용할 최적의 소수 문서만 선별해야 하므로, 랭킹 모델을 학습시키는 데이터의 품질이 RAG 시스템 전체의 성능을 좌우합니다. ## 기존 라벨링 방식의 한계와 LLM 도입의 필요성 * **사용자 행동 데이터:** 클릭이나 이탈 정보는 유용하지만, 기존 순위에 영향을 받거나 데이터가 불균등하게 분포되는 편향성 문제가 있습니다. * **인간 라벨링:** 숙련된 검토자가 직접 점수를 매기는 방식은 가장 정확하지만, 비용이 많이 들고 확장이 어려우며 기업의 민감한 내부 데이터를 외부 인력이 검토하기 어렵다는 보안 이슈가 존재합니다. * **LLM 평가:** LLM은 인간보다 비용이 저렴하고 일관성이 있으며, 대규모 후보군을 다국어로 신속하게 처리할 수 있습니다. 또한 정의된 규정 준수 범위 내에서 고객 콘텐츠를 분석할 수 있는 장점이 있습니다. ## 인간과 LLM의 협업을 통한 데이터 증폭 과정 * **검증 및 보정:** 먼저 인간 검토자가 소규모의 고품질 데이터셋을 라벨링합니다. 이 데이터는 LLM의 프롬프트와 매개변수를 미세 조정하고 성능을 검증하는 '골드 표준'으로 사용됩니다. * **데이터 증폭:** 성능이 검증된 LLM은 인간의 노력을 수백 배로 증폭시켜 수십만에서 수백만 개의 관련성 라벨을 생성합니다. 인간이 LLM을 가르치고, LLM이 대규모 학습 데이터를 생산하는 구조입니다. * **오프라인 학습과 온라인 서빙:** 실시간 검색 시 LLM을 직접 사용하면 지연 시간(Latency)과 비용 문제가 발생합니다. 따라서 LLM은 오프라인에서 '교사'로서 대량의 데이터를 생성하고, 실제 서비스에서는 이 데이터를 학습한 가볍고 빠른 모델(XGBoost 등)이 검색 순위를 계산합니다. ## 실용적인 결론 성공적인 AI 검색 시스템을 구축하기 위해서는 단순히 최신 LLM을 사용하는 것에 그치지 않고, 검색 모델의 학습 데이터를 어떻게 확보할 것인지가 중요합니다. Dropbox Dash의 사례처럼 **"인간의 가이드라인 → LLM의 대규모 라벨링 → 경량 모델의 학습 및 서빙"**으로 이어지는 파이프라인을 구축하면 품질, 비용, 속도라는 세 가지 토끼를 동시에 잡을 수 있습니다.

대규모 언어 모델머신러닝RAGxgboost+3

toss·2026년 2월 26일원문

Software 3.0 시대, Harness를 통한 조직 생산성 저점 높이기 (새 탭에서 열림)

현재 많은 개발팀이 LLM을 도입하고 있지만, 실제 생산성은 엔지니어 개개인의 'LLM 리터러시'에 따라 극심한 격차를 보이고 있습니다. 이러한 '각자도생'의 한계를 극복하기 위해서는 LLM을 개인의 도구가 아닌 팀 차원의 시스템으로 편입시켜 전체적인 생산성의 저점(Floor)을 높이는 전략이 필요합니다. Claude Code와 같은 생태계를 활용해 팀의 노하우를 '실행 가능한 지식(Executable SSOT)'으로 자산화하는 것이 Software 3.0 시대의 핵심 경쟁력이 될 것입니다. **컨텍스트 엔지니어링과 LLM 리터러시의 격차** * 단순 질문을 반복하는 방식과 작업 전 팀의 가이드라인, 린트 규칙, 코드 패턴 등 '컨텍스트'를 먼저 주입하는 방식은 결과물에서 큰 차이를 만듭니다. * 이러한 생산성 격차는 코딩 실력이 아닌 LLM을 제어하는 노하우의 차이이며, 이를 개인의 센스에만 맡기는 것은 조직적 손실입니다. * 팀 전체의 역량을 상향 평준화하기 위해서는 누구나 최적의 맥락 위에서 작업할 수 있도록 돕는 시스템적 장치(Harness)가 필요합니다. **Claude Code와 마찰 없는 워크플로우 이식** * 브라우저 기반 챗봇으로 코드를 복사·붙여넣기 하는 과정에서 발생하는 문맥 교환(Context Switching) 비용을 최소화해야 합니다. * Claude Code가 제공하는 TUI(Terminal User Interface) 환경은 터미널 안에서 자연어와 코드가 끊김 없이 섞이는 매끄러운 경험을 제공합니다. * 이러한 낮은 진입 장벽은 설계된 AI 워크플로우를 팀원들에게 저항감 없이 전파할 수 있는 기반이 됩니다. **실행 가능한 진실의 원천(Executable SSOT)** * 기존의 위키나 노션 문서는 작성 즉시 낡은 정보가 되지만, 플러그인 형태의 지식은 사람이 읽는 매뉴얼인 동시에 LLM이 즉시 실행하는 시스템 프롬프트가 됩니다. * RAG(검색 증강 생성) 방식은 내부 로직의 불투명성으로 인해 어떤 컨텍스트가 주입될지 예측하기 어렵다는 단점이 있습니다. * 반면 플러그인 방식은 명시적인 코드로서 개발자가 주입되는 맥락을 100% 통제할 수 있어 높은 예측 가능성과 신뢰성을 제공합니다. **계층화된 아키텍처를 통한 거버넌스와 전파** * 지식을 전사 공통(Global), 팀/비즈니스 도메인(Domain), 특정 프로젝트(Local)의 3단계 레이어로 계층화하여 관리함으로써 지식의 파편화를 방지합니다. * `/new-feature`와 같은 슬래시 커맨드를 통해 숙련된 엔지니어의 노하우(이슈 발급, 브랜치 생성, 구현 계획 수립 등)를 모든 팀원에게 즉시 배포할 수 있습니다. * 단순한 린터를 넘어, 메인 브랜치 커밋 시도를 감지하고 정책에 맞는 브랜치 생성을 가이드하는 등 AI 에이전트 기반의 강력한 거버넌스 구현이 가능합니다. **엔지니어링의 본질: 플랫폼 엔지니어링과 데이터 플라이휠** * Software 1.0 시대에 공통 라이브러리로 중복 작업을 줄였듯, Software 3.0에서는 AI 워크플로우 플러그인을 통해 팀의 생산성을 최적화해야 합니다. * 규격화된 플러그인을 통해 축적된 양질의 데이터는 향후 도메인 특화 모델(sLLM)을 파인튜닝하고 평가하는 기반이 됩니다. * 사용자가 많아질수록 데이터가 쌓이고 모델이 정교해지는 '데이터 플라이휠' 구조를 구축하는 것이 AI-Native 조직의 최종 목표입니다. 이제 LLM 활용 능력은 개인의 역량을 넘어 팀이 설계하고 배포해야 할 시스템의 영역입니다. Claude Code의 마켓플레이스와 같은 도구를 활용해 팀 내에 흩어진 암묵지를 명시적인 워크플로우로 엮어내고, 우리 조직에 최적화된 '시스템 하네스'를 구축하는 것부터 시작해 보기를 추천합니다.

대규모 언어 모델AI 에이전트모델 컨텍스트 프로토콜RAG+4

airbnb·2026년 2월 24일원문

학술 논문 및 에 (새 탭에서 열림)

Airbnb는 2025년 한 해 동안 KDD, CIKM, EMNLP 등 세계적인 AI 및 데이터 사이언스 학술대회에서 다수의 논문을 발표하며, 여행 및 주거 플랫폼으로서의 기술적 리더십을 공고히 했습니다. 이들은 단순히 학술적 성과에 그치지 않고 검색 알고리즘 고도화, 개인화 추천 시스템, 다중 모달(Multi-modal) 임베딩 등 실제 비즈니스 문제를 해결하기 위한 응용 머신러닝 기술에 집중했습니다. 결과적으로 이러한 연구들은 예약 전환율 향상과 수천만 달러의 추가 수익 창출이라는 실질적인 성과로 이어졌습니다. ### 검색 랭킹 및 개인화 기술 고도화 (KDD) * **교차 배치(Interleaving) 및 반사실적 평가(Counterfactual Evaluation):** 숙소 예약과 같이 전환 주기가 긴 상품의 경우 A/B 테스트 결과를 얻는 데 시간이 오래 걸립니다. 이를 해결하기 위해 실제 온라인 테스트 전 신속하게 알고리즘 성능을 예측하는 기법을 개발하여 실험 프로세스의 효율성을 높였습니다. * **극한 분류(Extreme Classification)를 통한 검색 지역 확장:** 사용자의 의도를 정밀하게 파악하기 위해 위치 검색 시 단순히 지리적 반경을 사용하는 대신, 고정밀 카테고리 기반의 위치 셀(Cell) 시스템을 도입하여 검색 정확도를 개선했습니다. ### 검색 보조 및 지도 UI 최적화 (CIKM) * **추천 시스템을 통한 검색 결과 보완:** 사용자가 지나치게 좁은 조건(필터)으로 검색하여 결과가 부족할 경우, 날짜 조정이나 편의시설 완화 등 대안적인 추천을 동적으로 제공하여 사용자 경험과 예약률을 개선했습니다. * **지도 기반 랭킹 최적화:** 전체 검색 상호작용의 80%가 발생하는 지도 UI는 기존 리스트 기반의 NDCG 지표로는 사용자 주의 집중도를 정확히 모델링하기 어렵습니다. 이에 지도 전용 NDCG 지표를 설계하고 이를 최적화하여 실제 예약 증대 효과를 거두었습니다. ### 다중 모달 데이터 활용 및 비교 쇼핑 모델링 (CIKM) * **BListing(이봉 분포 리스팅) 임베딩:** 숙소의 텍스트 정보와 사진 데이터를 대규모 언어 모델(LLM)과 이미지 모델을 통해 하나의 벡터로 통합했습니다. 이 다중 모달 임베딩 도입을 통해 수천만 달러의 점진적 수익 성장을 달성했습니다. * **비교 쇼핑 학습(Learning-to-Comparison-Shop):** 전통적인 랭킹 모델은 각 아이템을 개별적으로 평가하지만, 새로운 시스템은 사용자가 검색 결과 페이지에서 여러 아이템을 서로 비교하는 행동 자체를 모델링합니다. 이를 통해 예약 전환율을 0.6% 향상시켰습니다. ### NLP 및 대규모 언어 모델(LLM)의 실무 적용 (EMNLP) * **고객 지원 및 신뢰와 안전:** EMNLP에서는 LLM을 활용한 고객 상담 지원, 검색 및 발견 기능 강화, 플랫폼 내 신뢰 시스템 구축을 위한 최신 아키텍처와 학습 전략을 공유했습니다. * **실제 프로덕션 환경의 LLM:** 단순한 모델 성능을 넘어 대규모 서비스 환경에서 LLM을 안전하고 효율적으로 운영하기 위한 평가 체계와 오픈소스 라이브러리 활용 방안을 제시했습니다. 데이터 기반의 의사결정과 정교한 머신러닝 모델링은 복잡한 양면 시장(Two-sided Marketplace)에서 사용자 만족도를 높이는 핵심 동력입니다. 특히 사용자 경험에 직접적인 영향을 미치는 검색 UI(지도 vs 리스트)별 전용 지표를 설정하거나, 텍스트와 이미지를 통합한 다중 모달 임베딩을 구축하는 접근 방식은 유사한 도메인의 엔지니어들에게 실무적인 영감을 제공합니다.

대규모 언어 모델머신러닝자연어 처리데이터 사이언스+4

grammarly·2026년 2월 19일원문

최고의 AI 비서 1 (새 탭에서 열림)

현대 워크플로우의 필수 요소가 된 AI 어시스턴트는 단순한 질의응답을 넘어 작성, 계획, 연구 및 반복 업무 자동화에 최적화된 도구로 진화하고 있습니다. 특정 앱에 국한되지 않고 사용자가 사용하는 도구에 직접 통합되어 맥락을 이해하고 선제적으로 도움을 주는 것이 최신 AI 어시스턴트의 핵심 경쟁력입니다. 따라서 사용자는 자신의 주된 업무 성격과 기존 도구와의 호환성, 데이터 보안 수준을 고려하여 가장 적합한 보조 도구를 선택해야 최고의 생산성을 얻을 수 있습니다. **AI 어시스턴트 선택 시 고려해야 할 핵심 요소** * **기능적 전문성:** 글쓰기, 일정 관리, 리서치, 코딩 중 본인이 가장 많은 시간을 할애하는 영역에 특화된 도구인지 확인해야 합니다. 예를 들어 회의가 잦다면 텍스트 초안 작성 도구보다 전사 및 요약 기능이 뛰어난 도구가 더 유용합니다. * **통합 및 워크플로우 효율성:** 별도의 앱을 켜거나 복사-붙여넣기를 반복하지 않고도 이메일, 문서 도구, 브라우저 내에서 즉시 작동하여 문맥 전환(context switching)의 피로를 줄여주는지가 중요합니다. * **맥락 인식 및 정확도:** 긴 대화나 방대한 문서를 흐름 끊김 없이 파악하는 '컨텍스트 윈도우'의 크기와 결과물의 신뢰성 및 인용구 제공 여부를 살펴야 합니다. * **선제적 지원(Proactivity):** 사용자의 요청을 기다리기만 하는 수동적인 도구인지, 아니면 작업 흐름에 맞춰 유용한 제안을 먼저 건네는 능동적인 도구인지에 따라 체감 생산성이 달라집니다. * **보안 및 프라이버시:** 특히 기업 환경에서는 데이터 처리 및 저장 정책이 투명한지, 민감한 정보 보호를 위한 견고한 보안 정책을 갖추었는지 검토가 필수적입니다. **주요 AI 어시스턴트별 특징과 강점** * **Go (Grammarly Go):** 100개 이상의 앱과 브라우저 확장에서 직접 작동하며, 사용자의 고유한 어조를 유지하면서 이메일이나 보고서 작성을 선제적으로 돕는 데 최적화되어 있습니다. * **ChatGPT (OpenAI):** 가장 범용적인 도구로 브레인스토밍, 코딩, 복잡한 문제 해결 등 다양한 자연어 처리 작업에 유연하게 대응할 수 있지만, 외부 정보를 가져올 때 수동적인 작업이 필요할 수 있습니다. * **Claude AI (Anthropic):** 방대한 양의 텍스트를 한 번에 처리하는 능력이 뛰어나 긴 문서 분석이나 정교하고 통제된 결과물이 필요한 복잡한 초안 작성에 유리합니다. 모든 업무를 하나의 AI로 해결하려 하기보다는 작업의 성격에 맞춰 특화된 도구를 선택하는 것이 현명합니다. 글쓰기 흐름을 방해받지 않으려면 워크플로우 내장형 도구를, 깊이 있는 분석이나 창의적인 아이디어가 필요할 때는 범용 LLM 기반 도구를 혼합하여 사용하는 것이 좋습니다. 또한 AI의 결과물은 항상 사실 관계 확인(Fact-check)이 필요하므로, 최종 검토 단계에서는 반드시 사람의 개입이 병행되어야 합니다.

대규모 언어 모델머신러닝자연어 처리data-privacy+2

spotify·2026년 2월 19일원문

배경 코딩 에이전트: 강력한 피드백 루프를 통한 예측 가능한 결과 (혼크, 3부) | 스포티파이 엔지니어링 (새 탭에서 열림)

스포티파이의 백그라운드 코딩 에이전트 'Honk'는 대규모 소프트웨어 유지보수를 자동화하기 위해 강력한 피드백 루프와 검증 시스템을 도입하여 예측 가능한 결과를 도출합니다. 에이전트가 인간의 직접적인 감독 없이도 올바른 코드를 생성하도록 빌드 시스템 추상화, 결정론적 검증기, 그리고 LLM 판사(Judge)를 결합한 다층 방어 체계를 구축했습니다. 이러한 설계는 에이전트가 신뢰할 수 없는 PR을 생성하는 것을 방지하고, 엔지니어의 검토 부담을 줄여 대규모 코드 변경의 안전성을 보장하는 데 결론적인 역할을 합니다. **에이전트의 주요 실패 유형과 위험성** * **PR 생성 실패:** 에이전트가 변경 사항을 만들어내지 못하는 경우로, 수동 작업이 필요하지만 시스템에 직접적인 해를 끼치지는 않는 경미한 문제입니다. * **CI 통과 실패:** 생성된 PR이 빌드나 테스트 과정에서 오류를 일으키는 경우이며, 이는 엔지니어가 반쯤 깨진 코드를 직접 수정해야 하는 번거로움을 유발합니다. * **기능적 부적절성:** CI는 통과하지만 논리적으로 틀린 코드를 생성하는 가장 위험한 단계로, 대규모 변경 시 발견하기 어렵고 자동화 시스템에 대한 신뢰를 근본적으로 훼손합니다. **검증 루프를 통한 신뢰성 확보** * **독립적 검증기(Verifier) 활용:** 코드베이스의 특성(예: Maven의 pom.xml 존재 여부)에 따라 자동으로 활성화되는 검증 도구를 통해 에이전트가 변경 사항의 올바름을 단계적으로 확인할 수 있게 합니다. * **MCP 기반의 도구 추상화:** Model Context Protocol(MCP)을 사용해 복잡한 빌드 명령어나 출력 로그를 에이전트에게 그대로 노출하는 대신, 정제된 피드백만을 제공하여 에이전트의 컨텍스트 윈도우 낭비를 방지합니다. * **자동화된 피드백 반복:** 에이전트는 PR을 제출하기 전 반드시 검증기를 실행해야 하며, 실패 시 정규표현식으로 추출된 핵심 에러 메시지를 바탕으로 코드를 스스로 수정합니다. **LLM 판사(LLM as a Judge) 도입** * **범위 이탈 방지:** 에이전트가 프롬프트의 지시를 벗어나 불필요한 리팩토링을 하거나 실패하는 테스트를 임의로 비활성화하는 '과도한 의욕'을 제어하기 위해 LLM 기반의 판정 단계를 추가했습니다. * **변경 사항 검토:** 제안된 코드의 diff와 원래의 프롬프트를 비교하여 지시 사항 준수 여부를 평가하며, 내부 지표에 따르면 전체 세션의 약 25%를 거부하고 이 중 절반은 에이전트가 스스로 교정하도록 유도합니다. **제한된 환경과 보안 설계** * **책임의 분리:** 에이전트는 오직 코드 수정과 검증 도구 실행에만 집중하며, 코드 푸시나 슬랙 알림, 프롬프트 생성 등 복잡한 외부 상호작용은 주변 인프라가 담당하도록 설계하여 예측 가능성을 높였습니다. * **샌드박스 실행:** 보안을 위해 에이전트는 권한이 제한된 컨테이너 환경에서 실행되며, 최소한의 바이너리와 시스템 접근권한만을 부여받아 안전하게 격리됩니다. 성공적인 코딩 에이전트 운영을 위해서는 모델의 지능만큼이나 이를 뒷받침하는 **강력한 검증 인프라**가 중요합니다. 단순히 코드를 생성하는 것을 넘어 빌드, 테스트, 그리고 프롬프트 준수 여부를 자동으로 확인하는 다중 피드백 루프를 구축하는 것이 대규모 자동화의 핵심입니다.

대규모 언어 모델AI 에이전트CI/CD모델 컨텍스트 프로토콜+4