安德烈·卡帕斯(Andrej Karpathy),知名人工智能研究员及OpenAI联合创始人,现已转换阵营。他加入Anthropic,专注于其旗舰模型Claude的预训练阶段。这一阶段是资源消耗最密集的环节,决定了系统的基础能力,标志着AI实验室间竞争的关键动向。
与Claude的预训练:定义基础知识的阶段 🧠
卡帕斯将组建团队优化这一关键环节,在此过程中模型吸收海量数据以奠定基础。讽刺的是,他将利用Claude本身作为加速工具,形成反馈循环。这种方法旨在降低成本并提升效率,但也引发了对预训练过程中合成知识生成环节的偏见与控制的质疑。
训练自己老板的科学家 🤖
因此,卡帕斯在帮助OpenAI孕育GPT之后,如今致力于让Claude变得更聪明。而最妙的是:他将利用Claude来加速Claude的学习。这就像一位老师请最勤奋的学生帮忙准备第二天的课程。希望Claude不会决定收取额外的咨询费。