인텔이 Arc 및 Arc Pro 그래픽 하드웨어에서 vLLM을 실행하도록 최적화된 Docker 컨테이너의 새 버전인 llm-scaler-vllm PV 1.4를 출시했습니다. 이번 업데이트는 Linux 6.17 기반 커널, Compute Runtime 및 최신 oneAPI 패키지와 같은 업데이트된 구성 요소를 제공합니다. 소프트웨어 측면에서는 vLLM 0.14와 PyTorch 2.10이 통합되어 언어 모델 추론 성능을 향상시키는 것을 목표로 합니다.
Intel Docker 컨테이너의 기술적 새로운 기능 🚀
새로운 Linux 6.17 커널은 Arc GPU에 대한 향상된 지원을 제공하며, 업데이트된 Compute Runtime은 AI 워크로드 실행을 최적화합니다. vLLM 0.14 통합은 대규모 모델에서 메모리 및 어텐션 관리를 보다 효율적으로 가능하게 하며, PyTorch 2.10은 동적 컴파일 개선 및 새로운 아키텍처 지원을 도입합니다. 인텔은 독점 솔루션에 의존하지 않고 소비자용 그래픽 하드웨어에서 LLM 추론을 배포하려는 개발자에게 이 컨테이너를 권장합니다.
AI를 위한 장난감 GPU에 대한 Intel의 투자 🔥
왜냐하면, 사이버펑크를 플레이하기 위해 설계된 그래픽 카드로 700억 개의 매개변수를 가진 언어 모델을 실행하는 것보다 진지한 생산성을 말해주는 것은 없기 때문입니다. 하지만 Arc A770이 공유 메모리로 인해 질식하지 않고 커널 6.17이 시스템을 망가뜨리지 않는다면, 저렴한 추론 스테이션을 갖게 될 것입니다. 물론, 팬이 휴식을 취하기로 결정한 경우를 대비해 근처에 소화기를 준비해 두십시오.