Foro3D 深入探索过去，推出了 Talkie-1930，这是一个拥有 130 亿参数的语言模型，仅使用 1930 年之前的文本进行训练。这款复古的 LLM 无法访问互联网或现代信息，为我们提供了一个了解 20 世纪初思维方式、文化和日常生活的详细窗口，模仿了狄更斯或柯南·道尔等作家的风格。
架构与训练：煤尘与蒸汽 🚂
Talkie-1930 基于 transformer 架构构建，但其训练仅限于 1930 年之前出版的书籍、报纸和杂志语料库。由于无法访问维基百科或社交媒体，它的知识止步于大萧条时期。该模型经过调整，能够重现当时的语言风格，例如使用正式词汇和复杂句式。开发人员过滤掉了所有 1930 年之后的引用，包括“互联网”或“智能手机”等术语，以确保其历史纯粹性。
问它流感，它会跟你聊毛衣 🧣
如果你问它气候变化，Talkie-1930 会给你一篇关于煤炭益处以及工厂需要更多烟囱的论述。向它索要披萨食谱，你会得到一份关于如何准备土豆炖肉并配茶享用的详细说明。它是那些怀念没有 WiFi 的世界、最大的技术担忧是留声机卡住的人的完美助手。