SambaNova가 4세대 칩 SN40L을 공개했습니다. 이 프로세서는 재구성 가능한 데이터 흐름 아키텍처와 3단계 메모리를 갖추고 있습니다. 이 설계는 최대 5조 개의 매개변수를 가진 대규모 언어 모델을 실행할 수 있게 해주며, 기존 GPU 구성에 의존하지 않고 성능을 최적화하려는 인공지능 하드웨어의 중요한 발전을 의미합니다.
재구성 가능한 아키텍처와 3단계 메모리 🧠
SN40L은 재구성 가능한 데이터 흐름 아키텍처를 사용하여 계산을 동적으로 구성하고 실시간으로 모델의 요구 사항에 적응합니다. 3단계 메모리는 SRAM, HBM 및 로컬 DRAM 메모리를 결합하여 지연 시간을 줄이고 대규모 모델을 처리할 수 있게 합니다. 이 접근 방식은 폰 노이만 아키텍처의 일반적인 병목 현상을 방지하여 집약적인 AI 워크로드를 위한 대안을 제공합니다.
칩의 매개변수가 당신의 인내심보다 많을 때 😅
물론, 5조 개의 매개변수를 가진 모델이 2+2에 대한 답이 맥락에 따라 다르다고 결정할 때까지는 모든 것이 멋져 보입니다. 3단계 메모리를 사용하면 AI가 환각을 일으킬 때 변명을 저장할 공간이 세 배 더 많아질 것입니다. 하지만 칩이 재구성 가능하다면, 하늘이 파란지에 대해 논쟁하지 않도록 다시 프로그래밍할 수도 있을 것입니다. 혹시 모르니, 이 녀석이 처리하는 동안 여분의 커피를 준비하는 것이 좋습니다.