엣지에서의 인공지능은 보통 타협을 의미합니다: 성능을 갖거나 효율성을 갖거나 둘 중 하나입니다. Axelera AI는 Metis AIPU로 이러한 공식을 깨뜨립니다. 이 프로세서는 컴퓨팅 인 메모리를 적용하여 기존 에너지 소비의 극히 일부만으로 데이터 센터 수준의 성능을 제공합니다. 클라우드에 의존하지 않고 컴퓨터 비전, 생성형 AI 및 실시간 분석 애플리케이션을 위한 규칙을 바꾸는 제안입니다. 🚀
컴퓨팅 인 메모리: 데이터를 이동하지 않고 가속화하는 비결 ⚡
Metis AIPU 아키텍처는 메모리와 처리를 동일한 기판에 통합하여 데이터 버스의 병목 현상을 제거합니다. 이를 통해 YOLOv8 또는 ResNet-50과 같은 복잡한 모델의 추론을 밀리초 대기 시간으로 실행할 수 있으며, 10~50와트를 소비합니다. 타일 기반 설계는 단일 칩에서 최대 16노드 구성까지 확장 가능하여 최대 400 TOPS에 도달합니다. 즉각적인 응답이 필요한 임베디드 시스템, 드론 또는 스마트 카메라에 이상적입니다.
클라우드와의 작별? 그렇지는 않지만, 적어도 전기 요금은 절약됩니다 😅
Axelera는 자사의 칩이 이전에 전체 랙이 필요했던 작업을 엣지에서 수행한다고 약속합니다. 예, 인상적이지만, 커피 머신이 ChatGPT를 실행하기 시작할 것이라고 기대하지는 마십시오. 현재 Metis AIPU는 비전 및 경량 AI 작업에 중점을 둡니다. 드론이 AWS에 물어보지 않고도 고양이를 인식할 수 있다면, 아마 고양이들도 전기 소비량의 일부를 지불하기 시작할지도 모릅니다.