Andrej Karpathy, renommierter Forscher im Bereich der künstlichen Intelligenz und Mitbegründer von OpenAI, hat die Seiten gewechselt. Nun schließt er sich Anthropic an, um sich auf das Pre-Training von Claude, ihrem Vorzeigemodell, zu konzentrieren. Diese Phase ist die ressourcenintensivste und definiert die grundlegenden Fähigkeiten des Systems, was einen entscheidenden Schritt im Wettbewerb zwischen KI-Laboren markiert.
Pre-Training mit Claude: die Phase, die das Basiswissen definiert 🧠
Karpathy wird ein Team bilden, um diese kritische Phase zu optimieren, in der das Modell massive Datenmengen aufnimmt, um seine Grundlagen zu erwerben. Die Ironie besteht darin, dass er Claude selbst als Beschleunigungswerkzeug einsetzen wird, wodurch eine Rückkopplungsschleife entsteht. Dieser Ansatz zielt darauf ab, Kosten zu senken und die Effizienz zu verbessern, wirft aber auch Fragen zu Verzerrungen und Kontrolle bei der Generierung von synthetischem Wissen während des Prozesses auf.
Der Wissenschaftler, der sich daranmachte, seinen eigenen Chef zu trainieren 🤖
Also, Karpathy, nachdem er bei OpenAI half, GPT zur Welt zu bringen, widmet sich nun der Aufgabe, Claude schlauer zu machen. Und das Beste: Er wird Claude nutzen, damit Claude schneller lernt. Es ist, als ob ein Lehrer seinen fleißigsten Schüler bittet, ihm bei der Vorbereitung des Unterrichts für den nächsten Tag zu helfen. Hoffen wir, dass Claude nicht beschließt, ihm Überstunden für Beratung in Rechnung zu stellen.