더 크고 강력한 인공지능 모델을 훈련시키기 위한 경쟁은 데이터를 엄청난 속도로 이동시켜야 합니다. 브로드컴이 AI 클러스터의 지연 시간을 최소화하도록 설계된 400G 이더넷 어댑터인 Thor 2를 선보입니다. 이는 넷플릭스를 더 빠르게 보기 위한 발명품이 아닙니다. 이것은 기계의 생각이 흐르는 고속도로입니다.
Thor 2 뒤에 숨은 아키텍처 🚀
BCM57608은 포트당 400Gbps 이더넷 연결을 지원하는 고성능 네트워크 컨트롤러를 통합합니다. 그 아키텍처는 최적화된 패킷 처리 엔진과 RoCEv2와 같은 기술 지원을 통해 종단 간 지연 시간을 줄이는 데 중점을 둡니다. 고밀도 스위치와 함께 작동하도록 설계되어 분산 훈련 중 GPU 간 통신의 병목 현상을 제거합니다.
집에 있는 라우터가 비명을 지를 때 😅
Thor 2가 400기가비트를 거뜬히 처리하는 동안, 집에 있는 라우터는 아마 유튜브 세 개와 화상 통화 하나만으로도 버벅일 것입니다. F1 경주용 자동차와 렌탈 킥보드를 비교하는 것과 같습니다. 다음에 인터넷 연결이 끊길 때, 이 사실을 기억하세요: 1초에 통신사가 1년 동안 제공할 데이터보다 더 많은 데이터를 옮기는 네트워크 카드가 있다는 것을요.