作りたてのアドレスから届いた命令に、米国のAI秘書は従った

2026年8月、米国の医療スタートアップ「Hello Patient」の共同創業者が、新しく作ったGmailのアドレスから、自分がいつも使っているアドレスへ1通送った。本文は、自分のAI秘書「Instinct」への指示だった。AI秘書はそれを指示として受け取り、書かれたとおりに動いた。彼はXで公開し、自分のアカウントを削除した。米テッククランチが8月24日に伝えている。

Instinctは、メール、メッセージ、カレンダー、音声、位置情報、画面までつないで使う個人向けのAI秘書だ。利用者はSMSやWhatsAppで話しかけ、病院の予約や受信箱の整理、航空券の手配を頼む。試した本人は「AIに受信箱の読み書きを渡して安全と言える段階だとは思わない」と書いた。

切ったあとも、要約は届いた

ある利用者は、午前11時にInstinctとGoogleアカウントの接続を切ったのに、3時間後に受信箱の要約が届いたと書いた。理由をInstinctに尋ねると、あとで検索できるようにメールを平文で保存していた、と答えたという。ある投資家は、確認もないままメールを1通送られたと報告した。Gmailの記録が消えないという報告もあった。

テッククランチによると、当時の利用規約は、AIの学習を含めて利用者の素材を使える「永久かつ取り消し不能な」ライセンスをInstinctに与えていた。運営は外部データを消す設定を足し、記事の2日後の8月26日に規約を改めた。ただし改定後の規約には、接続を切るだけでは、すでに取り込んだデータの利用は止まらないと書かれている（AIの不具合をまとめるサイト「Vibe Graveyard」）。

ネットの評判

公開直後は「魔法のようだ」と喜ぶ投稿が並んだ。テッククランチによると、そのあとはセキュリティの設計と利用規約への不安を訴える投稿が続いた。

なぜ、メールが命令になるのか

英国の国家サイバーセキュリティセンター（NCSC）は2025年12月の指針で、「『データ』と『命令』に本質的な区別がない」ため、プロンプトインジェクション攻撃は「完全に緩和されることは決してないかもしれない」と書いた。SQLインジェクションは、データと命令を厳しく分けることで塞げる。言語モデルには、その仕切りがそもそもない。

アラブ首長国連邦のザ・ナショナルが10月4日に伝えたところでは、GenLayer FoundationのCEO、エドガース・ネムセ氏は「受信箱を読めるエージェントは、悪意あるメールに操られることもある」と述べ、AIに任せることは「多くの人が思っているより安全ではない」と話した。ギャラップとベントレー大学の5月の調査では、企業がAIを責任ある形で使うと信頼する米国人は27%で、前年の31%から下がった。

どこまで渡してよいのか

メタが2025年10月に公開した指針「Agents Rule of Two」は、エージェントが1回のやりとりで満たしてよいのは「信用できない入力を処理する」「機密な情報や重要なシステムに触れる」「状態を変える、または外部と通信する」のうち2つまでだとした。3つが必要なら、人の承認を挟まずに自律的に動かしてはいけない。受信箱を読ませ、個人の情報に触らせ、外へ送らせる。メールにつないだAI秘書は、この3つを一度に満たす。