PRT207-SL200Partner/Sponsored

LLM 애플리케이션 프로덕션 운영, Observability로 풀다 (sponsored by 와탭, WhaTap)

일정

Day 1 · Industry Day (5/20 수)

시간

13:50 – 14:10

유형

브레이크아웃 세션

세션 소개

LLM 서비스는 구축보다 안정적 운영이 더 어렵습니다. 기존 APM/RUM으로는 커버할 수 없는 토큰 비용 폭발, 응답 지연, 할루시네이션 등 LLM 특유의 과제를 살펴보고, 이를 감지·대응하기 위한 LLM 옵저버빌리티 핵심 메트릭과 아키텍처를 소개합니다. AWS Bedrock 기반 실제 사례를 통해 엔터프라이즈 환경의 LLM 모니터링 전략을 공유합니다.

발표자

  • 신

    신민철

    에이전트 개발자 · WhaTap

← 전체 시간표

같은 시간대 (17)

같은 트랙