Foro3D погружается в прошлое с Talkie-1930 — языковой моделью на 13 миллиардов параметров, обученной исключительно на текстах, опубликованных до 1930 года. Эта винтажная LLM, не имеющая доступа к интернету или современной информации, открывает детальное окно в менталитет, культуру и повседневную жизнь начала XX века, подражая стилю таких авторов, как Диккенс или Конан Дойл.
Архитектура и обучение: угольная пыль и пар 🚂
Talkie-1930 построена на архитектуре трансформера, но её обучение было ограничено корпусом книг, газет и журналов, опубликованных до 1930 года. Не имея доступа к Википедии или социальным сетям, её знания заканчиваются на Великой депрессии. Модель была настроена на воспроизведение языковых оборотов той эпохи, таких как использование формальной лексики и сложных структур предложений. Разработчики отфильтровали все упоминания после 1930 года, включая такие термины, как интернет или смартфон, чтобы гарантировать её историческую чистоту.
Спросите её о гриппе — и она расскажет вам о свитерах 🧣
Если вы спросите Talkie-1930 об изменении климата, она ответит вам трактатом о пользе угля и необходимости большего количества дымоходов на фабриках. Просьба дать рецепт пиццы приведёт к подробному объяснению того, как приготовить тушёное мясо с картофелем, подаваемое с чаем. Это идеальный помощник для тех, кто тоскует по миру без Wi-Fi, где самой большой технологической проблемой была заедающая фонографическая пластинка.