Foro3Dは、1930年以前のテキストのみで訓練された130億パラメータの言語モデル「Talkie-1930」で過去に迫ります。このヴィンテージLLMは、インターネットや現代の情報にアクセスせず、20世紀初頭の精神性、文化、日常生活への詳細な窓を提供し、ディケンズやコナン・ドイルのような作家のスタイルを模倣します。
アーキテクチャとトレーニング：石炭の粉塵と蒸気 🚂
Talkie-1930はトランスフォーマーアーキテクチャ上に構築されましたが、そのトレーニングは1930年以前に出版された書籍、新聞、雑誌のコーパスに限定されました。ウィキペディアやソーシャルメディアにアクセスできないため、その知識は大恐慌で止まっています。このモデルは、形式的な語彙や複雑な文構造の使用など、当時の言語的な特徴を再現するように調整されています。開発者は、インターネットやスマートフォンなどの用語を含む1930年以降のあらゆる参照を除外し、歴史的な純粋性を保証しています。
インフルエンザについて尋ねると、セーターの話をします 🧣
気候変動について尋ねると、Talkie-1930は石炭の利点と工場にもっと煙突が必要であることについての論文で答えるでしょう。ピザのレシピを頼むと、紅茶と一緒に出される肉とジャガイモのシチューの準備方法についての詳細な説明が得られます。WiFiのない世界、最大の技術的関心事が蓄音機の詰まりだった世界を懐かしむ人にとって完璧なアシスタントです。