AI 추론 처리에는 메모리에서 프로세서로 데이터를 이동시키는 전형적인 병목 현상이 있습니다. Untether AI는 이러한 역학을 깨는 가속기인 Boqueria를 선보입니다. 이 제품의 대규모 병렬 아키텍처는 데이터가 저장된 바로 그 위치, 즉 메모리 내에서 작동하여 에너지 소비를 줄이고 와트당 성능을 높입니다. 마법이 아니라 잘 설계된 엔지니어링입니다.
Boqueria의 메모리 내 아키텍처 작동 방식 🚀
Boqueria는 수천 개의 컴퓨팅 코어를 SRAM 메모리에 직접 통합하여 외부 버스를 통해 데이터를 이동할 필요성을 없앱니다. 각 코어는 단순하지만 병렬로 연산을 실행하여 신경망 모델을 높은 효율로 처리할 수 있습니다. 데이터 이동으로 인한 지연 시간과 에너지 소비를 최소화함으로써, 이 칩은 비싼 HBM 메모리나 극단적인 냉각에 의존하지 않고 추론 작업에서 지속적인 성능을 달성합니다.
일하러 이사 갈 필요 없는 똑똑한 친구 🏠
다른 가속기들이 데이터를 프로세서에 가져오기 위해 물류 서커스를 벌이는 동안, Boqueria는 집에서 일하는 동료와 같습니다. 말 그대로, 정보가 있는 곳에서 처리합니다. 따라서 GPU가 시끄럽고 뜨거운 진공청소기처럼 느껴진다면, 아마도 변경을 고려해야 할 때입니다. 결국, 계산을 하기 위해 칩 반대편으로 이동할 필요는 없으니까요.