開発者は、警察のスケッチを生成するためにAIを作成しました。専門家はぞっとする
警察の法医学はすでに人間の偏見に悩まされている。専門家は、AIがそれをさらに悪化させると言います。
2人の開発者が、OpenAIのDALL-E 2画像生成モデルを使用して、ユーザーの入力に基づいて容疑者の「超現実的な」警察のスケッチを作成できるフォレンジックスケッチプログラムを作成しました。
Forensic Sketch AI-rtistと呼ばれるこのプログラムは、2022年12月にハッカソンの一環として、開発者のArtur FortunatoとFilipe Reynaudによって作成されました。インターネットにアップロードされたプレゼンテーションによると、開発者は、このプログラムの目的は、犯罪容疑者を描くのにかかる時間を短縮することであると書いています。これは「約2〜3時間」です。
「私たちはまだ製品をリリースしていないので、現時点ではアクティブなユーザーがいない」とFortunatoとReynaudは共同メールでマザーボードに語った。「この段階では、このプロジェクトが現実世界のシナリオで使用できるかどうかを検証しようとしています。このために、これをテストできる入力データを得るために、警察署に手を差し伸べることを計画しています。」
AI倫理学者と研究者は、警察のフォレンジックにおけるジェネレーティブAIの使用は信じられないほど危険であり、最初の証人の説明に表示される既存の人種的およびジェンダーの偏見を悪化させる可能性があるとマザーボードに語った。
「伝統的なフォレンジックスケッチの問題は、作成に時間がかかることではありません(これは、このAIフォレンジックスケッチプログラムが解決しようとしている唯一の問題のようです)。問題は、あらゆる法医学的スケッチがすでに人間の偏見と人間の記憶の弱さの影響を受けていることです」と、電子フロンティア財団の監視訴訟ディレクターであるジェニファー・リンチはマザーボードに語った。「AIはこれらの人間の問題を解決することができず、この特定のプログラムは、その設計そのものを通じてそれらを悪化させる可能性があります。」
このプログラムは、性別、肌の色、眉毛、鼻、ひげ、年齢、髪、目、顎の説明を求めるテンプレート、またはユーザーが容疑者の説明を入力できるオープン説明機能を通じて情報を提供するようユーザーに求めます。その後、ユーザーは「プロファイルの生成」をクリックすると、説明をDALL-E 2に送信し、AIで生成されたポートレートを作成できます。
「研究によると、人間は顔の特徴ごとにではなく、全体的に顔を覚えていることが示されています。このAIプログラムのような個々の機能の説明に依存するスケッチプロセスは、加害者と著しく異なる顔になる可能性があります」とリンチは言いました。「残念ながら、目撃者が合成物を見ると、その画像は彼らの心の中で、実際の容疑者のぼんやりとした記憶に取って代わるかもしれません。これは、手描きのスケッチよりも「リアル」に見えるAI生成画像によってのみ悪化します。
無実の人々に似た超現実的な容疑者のプロフィールを作成することは、黒人やラテン系の人々にとって特に有害であり、黒人は白人よりも理由もなく警察に止められる可能性が5倍高い。有色人種はまた、犯罪が発生していなくても、止められ、捜索され、犯罪の疑いを受ける可能性が高くなります。
「これらのAIが生成した法医学スケッチが一般に公開された場合、ステレオタイプや人種的偏見を強化し、実際の加害者ではなくスケッチのように見える人々に注意を向けることで調査を妨げる可能性があります」とリンチは述べ、誤った目撃者の特定は、後に米国のDNA証拠によって覆された不当な有罪判決の69%に貢献したと付け加えた。全体として、警察のスケッチを含む虚偽または誤解を招く法医学は、米国全土のすべての不当な有罪判決のほぼ25%に貢献しています。
すでに信頼できない証人の説明プロセスにDALL-E 2を追加すると、問題を悪化させます。警察のスケッチプログラムについてツイートしたHugging Faceの研究科学者であるSasha Luccioniは、DALL-E 2には多くのバイアスが含まれているとマザーボードに伝えました。たとえば、CEOの画像を生成するように求められたとき、主に白人男性を表示することが知られていました。 Luccioniは、これらの例が繰り返し表示されますが、モデルが持っているバイアスの正確な原因を特定することができないため、それらを修正するためのOpenAIは、AIの出力のバイアスを軽減する方法を継続的に開発しています
「通常、データセットの既存のバイアス、監督の欠如、インターネット上には、すでに非常に人種差別的で非常に不公平な有色人種の表現がたくさんあるため、これらの技術によってすでにさらに疎外されているのは疎外されたグループです。それは一種の複合要因のようなものだ」とルッチーニは付け加えた。他のAI専門家と同様に、彼女はこのプロセスを、AIモデルが生成する画像が引き続き使用されるにつれて、AIモデルがバイアスを含み、生成し、永続させるフィードバックループとして説明しています。
フォルトゥナートとレイノーは、彼らのプログラムは警察の説明が信頼できると仮定して実行され、「警察官は公正で正直なスケッチが共有されることを保証する責任を負うべきである」と述べた。
「それによって作成された矛盾は、手動または自動（変更を要求することによって）修正されるべきであり、結果として得られる図面はEagleAIと証人の支援を受けてアーティスト自体の作品です」と開発者は言いました。「この製品の最終目標は、容疑者の最も現実的な図面を生成することであり、エラーを修正する必要があります。さらに、このモデルは1回の試行で理想的な結果が得られない可能性が最も高いため、可能な限り最良の結果を達成するために反復が必要です。」
開発者自身は、生成された画像の精度を測定する指標がないことを認めています。刑事事件では、容疑者が発見されるまで、またはすでに刑務所で時間を過ごすまで、不正確さは修正されない可能性があります。そして、警察がソーシャルメディアで容疑者の名前や写真を共有するときと同じように、それ以前の不正確な画像の共有は、すでに過度に犯罪化された人々に疑いを抱く可能性があります。批評家はまた、開発者の警察の中立性の仮定は、警官が証拠を提示し、刑事事件で証言しながら日常的に嘘をつくという十分に文書化された証拠を無視していると指摘している。
フォルトゥナートとレイノーのAIツールは、容疑者の生成された画像で論争を引き起こした最初のソフトウェアではありません。2022年10月、エドモントン警察(EPS)は、DNA表現型で作成された容疑者のコンピュータ生成画像を共有し、プライバシーと刑事司法の専門家からの反発を引き起こし、その部門はウェブサイトやソーシャルメディアから画像を削除しました。繰り返しになりますが、一見現実的な写真の普及における正確性の欠如は、無実の人々を危険にさらしました。「私は調査を優先しました。この場合、黒人コミュニティへの潜在的な害よりも、人種化されたコミュニティのメンバーである被害者の正義の追求が含まれていました。これは許容可能なトレードオフではなく、お詫びします」と、EPSの最高執行責任者であるEnyinnah Okereは、反発後のプレスリリースで書いています。
昨年、プライバシー&テクノロジーセンターのレポートでは、AI顔認識ツールがフォレンジックケースでバイアスやエラーにつながることが多いことがわかりました。報告書は、顔認識はアイデンティティ証拠の信頼性の低い情報源であり、顔認識検索のアルゴリズムと人間のステップは、他の人の間違いを悪化させる可能性があると述べた。「顔には人口統計、表現、想定された行動特性などの本質的に偏った情報が含まれているため、偏見や間違いのリスクを取り除くことは不可能かもしれない」と報告書は述べた。
「この技術が成熟するにつれて、これらのモデルが使用できるものと使用できないものの規範の開発を始めるべきだと思います。だから私にとって、このフォレンジックスケッチアーティストは明らかに生成技術を使うべきではないものです」とルッチーニは言いました。「そして、モデルにあるバイアスをどれだけよく知っていても、使用すべきではない特定のアプリケーションがあります。」
OpenAIは、フォルトゥナートとレイノーのプロジェクトにおける技術の使用に関する記録についてコメントすることを拒否した。
