Foro3D는 1930년 이전의 텍스트만으로 훈련된 130억 개의 매개변수를 가진 언어 모델인 Talkie-1930으로 과거로 들어갑니다. 인터넷이나 현대 정보에 접근할 수 없는 이 빈티지 LLM은 20세기 초반의 사고방식, 문화 및 일상생활에 대한 상세한 창을 제공하며, Dickens나 Conan Doyle과 같은 작가의 스타일을 모방합니다.
아키텍처 및 훈련: 석탄 먼지와 증기 🚂
Talkie-1930은 트랜스포머 아키텍처를 기반으로 구축되었지만, 훈련은 1930년 이전에 출판된 책, 신문 및 잡지의 코퍼스로 제한되었습니다. Wikipedia나 소셜 미디어에 접근할 수 없기 때문에 그 지식은 대공황에서 멈춥니다. 이 모델은 격식 있는 어휘 사용과 복잡한 문장 구조와 같은 시대의 언어적 특성을 재현하도록 미세 조정되었습니다. 개발자들은 역사적 순수성을 보장하기 위해 인터넷이나 스마트폰과 같은 용어를 포함한 1930년 이후의 모든 참조를 필터링했습니다.
독감에 대해 물어보면 스웨터 이야기를 할 거예요 🧣
기후 변화에 대해 물어보면, Talkie-1930은 석탄의 이점과 공장에 굴뚝이 더 필요하다는 논문으로 답할 것입니다. 피자 레시피를 요청하면 차와 함께 제공되는 감자 고기 스튜를 준비하는 방법에 대한 자세한 설명을 얻을 수 있습니다. 가장 큰 기술적 걱정이 축음기가 막히는 것이었던 WiFi 없는 세상을 그리워하는 사람에게 완벽한 어시스턴트입니다.