llm

106 posts

toss

Automating Service Vulnerability Analysis using LLM #2 (opens in new tab)

*이 글은 연구 개발망에서 진행된 내용을 바탕으로 합니다. 안녕하세요. 토스 Security Researcher 표상영입니다. 지난 글에서는 LLM을 이용해 서비스 취약점 분석을 자동화하면서 마주했던 문제점과 그에 대한 해결책들을 간단히 소개드렸습니다. 이전 글을 작성한 시점부터 벌써 3개월이 지났는데요. 불과 몇 달 사이에 AI의 취약점 분석 능력은 정말 높은 수준으로 올라왔습니다. 이렇게 가파른 기술 발전 속도에 따라, AI를 대하는 저의 자세와 생각도 많이 바뀌게 되었어요. 이번 글에서는…

line

Journey Toward Perfect AI Guardrails (opens in new tab)

들어가며: NeurIPS 2025가 제시하는 차세대 AI 안전 가이드 생성형 모델은 점점 더 우리 생활에 깊숙히 들어오고 있습니다. LY Corporation에서도 다양한 AI 서비스를 개발해 제공하고 있는데 이런 서비스에 가드레일(guardrails)이 없으면 다양한 공격을 받고 유해한 답변이 노출되거나, 개인 정보나 기밀 유출과 같은 오작동이 발생할 수 있습니다. 즉, 가드레일은 AI를 실서비스에서 운영 가능하게 만드는 필수 인프라입니다. 저희 조직은 사용자가 보다 안전한 환경에서 AI 서비…

line

On-Device Image Model Training for Mess (opens in new tab)

TL;DR 네트워크 호출 없이 모바일 기기 내부에서 작동하는 이미지 이해 기능을 개발했습니다. 이 과정에서 거대 모델(teacher)의 정교한 표현력을 작은 모델(student)에게 전수하여 성능은 유지하면서 크기와 연산량을 획기적으로 줄이는 '지식 증류(knowledge distillation)' 기법을 핵심 전략으로 활용했습니다. 구체적으로는 모바일 앱에서 이미지 캡션 생성의 긴 지연을 해결하기 위해 일반적인 자기회귀(autoregressive, AR) 디코딩이 아닌 비자기회귀(non-aut…

daangn

Things I learned using 2 (opens in new tab)

카테고리 분류에 2조 토큰을 쓰면서 알게된 것들 -- Share 안녕하세요. 당근 Taxonomy 팀 윈터(winter.jung), 지원(jiwon)이에요. 저희 팀은 택소노미(Taxonomy)라고 부르는 카테고리 체계를 만들고, 그 체계를 기반으로 중고거래, 모임 게시글 등 당근에 올라오는 게시글을 자동으로 분류해 실제 서비스가 사용하도록 적재하는 파이프라인을 운영하고 있어요. 이번 글에서는 프로덕션 파이프라인에서 카테고리 분류를 위해 LLM을 어떻게 쓰고 있는지, 그리고 성능, 비용, 운영…