CMP301L300Compute

AWS Trainium 기반 LLM 추론 A to Z: Neuron 환경 이해부터 성능 최적화까지

일정

Day 2 · AI Day (5/21 목)

시간

16:10 – 16:50

장소

그랜드볼룸(1F) 103

유형

브레이크아웃 세션

세션 소개

생성형 AI의 빠른 확산과 함께 대규모 언어 모델(LLM)의 효율적인 추론은 기업들의 핵심 과제가 되었습니다. 본 세션에서는 AWS 전용 AI 칩인 Trainium과 Neuron SDK 생태계를 활용하여 LLM 추론의 전체 파이프라인을 체계적으로 다룹니다. 실습 데모에서는 Qwen3 모델에 NKI(Neuron Kernel Interface) 최적화 커널을 적용하여 처리량과 지연시간 모두에서 의미 있는 성능 향상을 달성하는 과정을 단계별로 시연합니다. 또한 re:Invent에서 발표된 Neuron Explorer, NKI Library 등 최신 도구들과 실제 고객 사례를 통해 비용 효율적인 LLM 추론 인프라 구축을 위한 실용적인 가이드를 제공합니다.

발표자

  • 이

    이수지

    GTM 가속 컴퓨팅 전문 솔루션즈 아키텍트 · AWS

  • 차

    차수정

    딥러닝 아키텍트 · AWS

← 전체 시간표

같은 시간대 (8)

같은 트랙