最近の外科手術におけるインシデントにより、重要な環境における拡張現実（AR）の信頼性が疑問視されています。ARオーバーレイによる誘導下での手術中、外科医が誤った切開を行いました。手術室の3D再構成（Unity 3Dによるデジタルツイン）とVuforia Engineのログ分析により、原因が明らかになりました。天井のLED照明が光学追跡マーカーに干渉し、3mmのずれが生じたことです。
技術分析：光学干渉とシステムのキャリブレーションずれ 🩺
このエラーはランダムなものではなく、空間レジストレーションの体系的な障害でした。高周波スペクトルと人間の目には見えないちらつき（フリッカー）を持つ手術用LED照明が、RealityCaptureの光学センサーフィルターを飽和させました。Vuforia Engineは反射マーカーを解釈する際に、LEDのフラッシュを基準点と誤認し、3Dメッシュを移動させました。その結果、Z軸方向に3mmのドリフトが発生し、仮想ガイドが誤った軌道を示すのに十分なずれが生じました。デジタルツインはこのイベントを変換行列のノイズピークとして記録しましたが、動的な許容範囲のしきい値が不足していたため、システムは冗長性を起動しませんでした。
過酷な環境向けAR設計の教訓 🔧
この事例は、静的なキャリブレーションだけでは不十分であることを示しています。手術室では、光学追跡と慣性計測ユニット（IMU）を組み合わせ、特定のLED周波数を遮断するバンドパスフィルターを備えた、冗長性のあるセンサーアーキテクチャが必要です。さらに、動的キャリブレーションは、1mmを超えるレジストレーション異常を検出し、リアルタイムでオーバーレイを再調整する必要があります。教訓は明らかです。外科用ARにおいて、環境ノイズによって失われた1mmが、成功と重大なエラーの分かれ目となり得るのです。
手術室のLED照明のちらつき周波数の変動がARの視覚測位システムに干渉している可能性があるのか、それとも問題は専らトラッキングヘッドの機械的なキャリブレーションにあるのでしょうか？
(追記：保守に適用されるARは、機械が爆発する前に故障箇所を確認することを可能にします。)