Appleのクレイグ・フェデリギ氏によるCSAM検出機能についての”誤解”を説明する動画を読み解いてみる

CSAM検出機能について、あまりにも各所からネガティブな反応が出てきたこともあって、Appleのソフトウェアエンジニアリング担当上級副社長のクレイグ・フェデリギ氏が説明しているというWSJのインタビュー動画。

＃直接は再生できないので、動画はリンク先からどうぞ。

何回「Misunderstood」言うのかってくらい誤解であることを強調してますね。

この件、CSAM検出機能として、ひとまとめに論じられることが多いのですが、Appleが発表した機能は大きく二つになります。

1）はCSAM検出機能。

2）はメッセージアプリでの不適切な画像の検出と警告を行う機能。

で、最初に1）のCSAM検出機能についての説明が行われていて、僕が大事かなと思ったポイントとしては以下がありました。

つまり、CSAM検出機能はiCloudに写真を保存しなければ動かないということになります。

インタビュアーのJoanna Stern氏は率直な質問を投げていて、「なぜ今これ（検出システム）を導入しようとしたのか？何かの圧力？」という問いには「いいえ」とは答えたものの、やや返答に詰まった後「なんとかしたかった」というにとどめています。

また、「Tim Cook CEOは今年初めに”バックドアの無い強固な暗号機能はプライバシーの基礎だと認識されている”と話していたが、これはバックドアではないのか？」という問いに対しては、「これはバックドアとは思わないし、なんでそう思われるのか理解できない」とのこと。

ではどう思うのか？ということについてのFederighi氏は、この後に長々と早口で説明を加えているのですが、わかりやすい明確な答えにはなっていないかなーとも思いました。

ここまでは、”iCloudにアップロードされるCSAM写真の検出”についてで、続いて、2）の”メッセージ上での不適切な写真を検出する”機能についての説明。

この機能は、親が子供にiPhoneを渡す時に設定できる”コミュニケーションを安全にするための機能”で、これがオンになっていると子供が使っているiPhoneのメッセージアプリのやりとりの中でポルノの可能性がある写真はすぐには表示されず、警告文が下に表示されるようになります。

↑のスクリーンショットのように表示され、この段階では誰にも通知はされません。

続けて、警告文の右側にあるView photo…をタップすると表示できますが、その時に年齢によっては親にも通知が行きますよ、という警告文が全面表示。

ここで重要なのは、この検出と警告システムは前述の”iCloudにアップロードされる写真の検出”の機能とは異なるものであるという点。

メッセージアプリの画像検出では「On-Device Image Recognition」、つまり、デバイス上のマシンラーニングで画像検出を行うということです。

さらにJoanna Stern氏は、このメッセージアプリの画像検出について、「どのくらい自信を持っているのか、どうやって不適切な写真と判断するのか」と質問。

Craig Federighi氏は「機械学習は非常に優秀で、間違いを起こすことはできない。」として、そのあとも長々とその優秀さをアピールしていますが、WSJの動画では、このシーンの後にEFFなどが表明した、このシステムの懸念や危うさの記事を引用していて、第三者から見て明確に安全とも言い切れない可能性が存在しているように感じました。

最後にJoanna Stern氏は「（iPhoneを手にとり）これは誰のものなのか？」「1984にはBig Brother（=IBM）をバッシングしていたが、（Appleも今回のアップデートにより）同じようなポケットに入ってしまったのでは無いか」と質問。

ここではCraig Federighi氏は明確に「私が考えるに携帯電話は顧客のものです。それは間違いない」「今回の話は”Appleが写真をスキャンする”ということではなく、Appleサーバーに保存される写真について、また、認識する機能について、可能な限り監査可能で検証可能な方法で行うということ」としています。

うーん。

この記事を書くまでに、この動画を3〜4回は見返して、よくわからないところは何回も再生停止したりして、Appleの主張を僕なりに読み解こうと思ったのですが、EFFが「慎重に検討された狭い範囲のバックドアであっても、それがバックドアであることに変わりはない」とする見解の方がしっくりくるというか。

おそらく、Appleとしては”良かれ”と思って開発した技術で、尚且つ、Appleの先進性を全世界にアピールするチャンスと思ったんでしょう。

Appleの上級経営陣の中でも誠実なルックスでは一番かなとも思うCraig Federighi氏も、誤解を解きたくて一生懸命説明してるんですけど、言葉に詰まる箇所、言葉を選んでいる様子があって、どうもシンプルな言葉で明確に伝わるようには説明できてない。

近い将来、このアップデートが有効化されれば、子供にiPhoneを与える親の立場としては、今よりも安心してメッセージアプリを使わせることができるでしょう。

ただし。その基準はAppleの考える基準であり、ML自体がどの程度正確なものかは、Federighi氏の「機械学習は非常に優秀」という言葉を信じるしかないし、もし内部的に閾値を変えたとしても、当事者以外は誰にもわかりません。

その先も考えてみましょう。

仮にこの先、何も問題なくメッセージアプリでの猥褻画像の検出がうまくいったとしましょう。

けど、誰かから猥褻画像を送られる可能性があるのはメッセージアプリだけとは限らないですよね。

コミュニケーションツールとしてみんなが使ってるのは、むしろ、他のアプリじゃないでしょうか。

となると、正義の味方としては、他のアプリ上でのやりとりも監視したらいいんじゃね？この機能を実装しないアプリはApp Storeから排除ね、という方向に進みかねないようにも思います。

この辺りが僕が考えた危うさだったりします。

この辺をどうとらえるか。

個人的には、Appleの言うセキュリティやプライバシーマターは以前ほど信頼できないかもしれないと考えるようになってきました。