Foro3D taucht mit Talkie-1930 in die Vergangenheit ein, einem Sprachmodell mit 13 Milliarden Parametern, das ausschließlich mit Texten vor 1930 trainiert wurde. Dieser Vintage-LLM ohne Internetzugang oder moderne Informationen bietet ein detailliertes Fenster in die Mentalität, Kultur und das Alltagsleben des frühen 20. Jahrhunderts und imitiert den Stil von Autoren wie Dickens oder Conan Doyle.
Architektur und Training: Kohlenstaub und Dampf 🚂
Talkie-1930 wurde auf einer Transformer-Architektur aufgebaut, aber sein Training beschränkte sich auf einen Korpus aus Büchern, Zeitungen und Zeitschriften, die vor 1930 veröffentlicht wurden. Ohne Zugang zu Wikipedia oder sozialen Medien endet sein Wissen mit der Großen Depression. Das Modell wurde optimiert, um sprachliche Wendungen der Zeit zu reproduzieren, wie die Verwendung formeller Vokabeln und komplexer Satzstrukturen. Die Entwickler filterten jegliche Referenzen nach 1930 heraus, einschließlich Begriffen wie Internet oder Smartphone, um seine historische Reinheit zu gewährleisten.
Frag ihn nach der Grippe und er spricht von Pullovern 🧣
Wenn du ihn nach dem Klimawandel fragst, wird Talkie-1930 dir mit einer Abhandlung über die Vorteile von Kohle und der Notwendigkeit weiterer Fabrikschornsteine antworten. Bittest du ihn um ein Pizzarezept, erhältst du eine detaillierte Erklärung, wie man einen Fleischeintopf mit Kartoffeln zubereitet, serviert mit Tee. Er ist der perfekte Assistent für alle, die sich nach einer Welt ohne WLAN sehnen, in der die größte technologische Sorge war, dass das Grammophon hängen bleibt.