研究者グループが、人工知能が単に害を避けるだけでなく、人間、動物、生態系の幸福を積極的に追求する枠組みであるポジティブ・アライメントを発表しました。arXivの論文で詳述されたこの概念は、価値観のジレンマを管理し、ユーザーの自由を制限するパターナリスティックな制御に陥ることなく、回復力を促進するエージェントを提案しています。
価値トレードオフ管理の背後にある技術的アーキテクチャ 🤖
この技術的アプローチは、典型的な報酬システムとは一線を画しています。単一の目的関数を最大化する代わりに、エージェントはプライバシー対セキュリティ、個人の幸福対集団の幸福など、複数の相反する価値観を巧みに扱うことを学習します。ユーザーが複雑な決定を下す際に支援を必要としているタイミングを特定し、単一の解決策ではなく選択肢を提供するように訓練されています。鍵となるのは回復力モデルです。システムは失敗を避けるのではなく、ユーザーがそこから回復し、学ぶのを助けます。
夕食を焦がしているときに、AIアシスタントが瞑想を提案してきたら 😅
理論は素晴らしく聞こえますが、このシステムが次のように言うのではないかと疑問に思う人もいるでしょう：午前3時にピザを注文しようとしているのを検知しました。空腹と腸の健康のトレードオフを管理するお手伝いをしましょうか？。あるいはもっと悪いことに、スーパーの列に割り込む方法のチュートリアルを頼んだときに、フラストレーションのための呼吸法で返答されるかもしれません。パターナリスティックではないと約束しているのは幸いですが、もしAIが禅の尼僧になってしまったら、もうお手上げです。