Мриνανк Шарма объясняет, почему он покидает Anthropic и о своем новом проекте
Исследователь, который возглавлял команду по защите систем ИИ в Anthropic, обнародовал внутреннее сообщение. В нем он детализирует причины своего ухода и раскрывает свой следующий профессиональный шаг в области алгоритмической безопасности. 🧠
Причины решения уйти
Шарма объясняет, что его уход связан с фундаментальным разногласием по поводу стратегии обеспечения безопасности искусственного интеллекта. Он считает, что скорость разработки этих систем превышает нашу способность проверять, что они не представляют опасности. Поэтому он решил сосредоточить свои усилия с более автономной и независимой позиции.
Ключевые моменты его аргументации:- Существуют различия в подходах к тому, как приоритизировать безопасность в разработке ИИ.
- Текущий темп технологического прогресса быстрее нашей способности внедрять эффективные меры предосторожности.
- Он предпочитает решать проблему извне и с большей свободой действий.
"Иногда самый безопасный способ защитить песчаный замок — это отойти от берега и построить дамбу дальше."
Будущее: новая некоммерческая организация
Бывший директор объявил, что собирается основать организацию, посвященную анализу опасностей, которые представляют наиболее сложные модели ИИ. Его цель — оценивать и снижать потенциальные угрозы крупного масштаба, работая с другими экспертами для определения более надежных протоколов.
Цели новой инициативы:- Создать организацию, сосредоточенную на исследовании рисков продвинутого ИИ.
- Сотрудничать с исследовательским сообществом для установления надежных норм безопасности.
- Смягчать потенциальные угрозы, которые могут возникнуть в глобальном масштабе.
Взгляд в будущее
Уход ключевой фигуры в области безопасности ИИ из Anthropic подчеркивает существующие дебаты в отрасли. Новый проект Шармы стремится заполнить пробел, продвигая независимую оценку рисков, пока технология продолжает свое ускоренное развитие. 🔍