LLM Observability: LLM의 거짓말(Hallucination)을 잡아내는 법

발표자

• 이

  이성욱

  SE Manager · Datadog

세션 소개

LLM의 잘못된 응답(Hallucination), 그리고 보안 및 성능 문제를 어떻게 감지하고 해결할 수 있을까요? 본 세션에서는 Datadog을 활용하여 LLM의 퀄리티 및 보안 이슈를 실시간으로 모니터링하는 방법을 소개합니다. 잘못된 응답을 감지하고, 모델 성능을 최적화하며, 비용을 절감할 수 있는 효과적인 Observability 전략을 알아보세요!

같은 트랙 세션 (2025)

• 
  AI & Machine Learning2025

  AI Agent 내재화 전략, 수동 업무 80% 대체, 어떻게 가능했나?

• 
  AI & Machine Learning2025

  AWS와 생성형 AI를 활용한 디지털 크리에이티브 인더스트리인 게임, 미디어 혁신 시나리오와 사례

• 
  AI & Machine Learning2025

  Amazon Bedrock - MCP로 진화하는 AI 기술의 게임체인저

• 
  AI & Machine Learning2025

  Amazon Bedrock 기반 Text-to-SQL로 완성하는 데이터 혁신: 당근페이의 핀테크 성공 전략