ダークウェブで加速する生成AIの悪用　～リスクを見極め早めの対処を～

ChatGPTのアカウント 10万件が出品

テレビのバラエティ番組も採り上げていた一時期の喧騒は落ち着き、生成AIのマイナス面に言及した論評やニュースも、目立つようになってきました。サイバー犯罪への悪用や、AIで生成した作品が著作権を侵害する可能性がある点は社会的な関心が高いテーマですが、もう一つ、当初からセキュリティ関係者が懸念していたのは、ダークウェブがAIの悪用を加速する温床になってしまうことです。

ダークウェブは、匿名性が高く一般的なブラウザと通信方式ではアクセスできないWebサイト。それ自体は違法ではありませんが、マルウェアや機密情報の売買、犯罪グループの求人などが行われ、危険な存在として問題視されている点は、ここ2～3年で企業社会にも周知されてきたと言っていいでしょう。

この春以降、生成AIとダークウェブが関係するニュースで、特にインパクトが大きかったのは、シンガポールに拠点を置くセキュリティ企業が発表した、10万件を超えるChatGPTのアカウント情報が売買されているという報告でした。

ChatGPTのアカウント情報の流出を伝えるニュース　　出典：GROUP-IB

アカウントから機密情報を窃取

ChatGPTと対話した記録はシステム側に残っています。2023年4月の機能追加によってログをオフにできるようになりましたが、デフォルトはオン（オフの状態でも30日間は保存）。オフにする機能は知っていても、記録を参照できるオンのままで使っている方も多いのではないでしょうか。

つまり、アカウント情報が盗まれて不正ログインを許してしまえば、AIと対話してきた内容が筒抜けになってしまうのです。2023年5月には、韓国の電子機器メーカーのエンジニアが不注意からソースコードをChatGPTに入力してしまい、一部が流出した事件も報じられました。このメーカーでは流出が発覚した後、ChatGPTの使用を禁止しています。

生成AIのアカウント情報が狙われるのは、機密情報が入手できる可能性が高いからにほかなりません。ダークウェブにおけるアカウントの売買や情報流出が明るみに出たことによって、機密情報の入力は危険という認識は浸透してきましたが、基本的に生成AIを利用するすべての企業と個人はアカウントの厳重な管理を行う必要があります。

“脱獄”の知見を共有

ダークウェブの空間では、生成AIをサイバー攻撃に悪用する方法に関するさまざまな情報が行き交っています。セキュリティの専門家や調査機関が警告を発していますが、その一端を覗いてみましょう。

まず、ChatGPTの制約を外す“ジェルブレイク（脱獄）”という手口。OECD（経済協力開発機構）が2019年に発表した「AI原則」では、安全性や透明性、多様性の尊重など、人間にとって有益なAIの管理・運用を推奨しており、今のAIはこれに反する犯罪や差別に結びつくような応答は避けるように作られています。もちろん、生成AIも例外ではありません。

例えば、ChatGPTに“○○銀行を騙るフィッシング文面を作ってください”とか、“ランサムウェアのソースコードを書いて”など、ストレートな要求をしても拒否されます。しかし、攻撃者の知恵をもってすれば、悪意を隠す表現に変えるような調整は、難しくはないでしょう。ChatGPTの場合、内容に制限をかける機能は「ガードレール」と呼ばれていますが、ダークウェブではこれを外す知見が共有されています。

また、“ランサムウェアのソースコードを記述せよ”と指示する代わりに、“不正アクセスに備えてデータを暗号化したい”、“指定したファイルのバックアップを抽出する方法を定義しておきたい”など、タスクを分割して支持するとランサムウェアの部品ができてしまうと指摘されています。

システムや技術にセキュリティ上の抜け穴があれば、提供側は対策を施しますが、攻撃者も次から次へと回避策を考えてきます。生成AIを運営する企業も、“脱獄”は予測できたはずですから、可能な限りの手は打っているでしょう。しかし、ここは生成AIに限りませんが、新しい技術の悪用を100％防ぐことは難しくいたちごっこが続くと思われます。

“アンダーグラウンド版ChatGPT”も登場

生成AIとフィッシングの結びつきも、当初から懸念されていました。

フィッシング対策協議会の報告によると、2022年は不正利用の被害額が過去最悪の436億7,000万円に達し、2023年も過去にないようなペースで増加を続けています。EC利用者の急増などいくつか要因はありますが、より自然な文面が作成できる生成AIを誰もが使えるようになったことも影響している可能性があります。

ダークウェブではマルウェアや攻撃ツールの売買も行われています。例えば、アカウント情報を盗む「アカウントチェッカー」。流出したIDとパスワードのリストを使って、いろいろなサイトへのログインを試みるマルウェアの一種で、パスワードを使い回しているユーザーは、生成AIのアカウントも狙われてしまうのです。いくつかのアカウントを“実績”として公開した上で、“生成AIのアカウント盗用にも好適”とアピールするツールも出品されているようです。

“アンダーグラウンド版ChatGPT”に関する報告も増えてきました。最初からガードレールを外し、フィッシングやマルウェア生成など悪用に特化させた生成AIです。

悪用に特化した生成AI「WormGPT」の特徴を伝える画面

出典：SLASH NEXT

ダークウェブで高い評価を得ているアカウントチェッカーや悪用特化型の生成AIは、それなりの価格帯と見え、サブスクリプション形式の月額や時間貸しの課金もあって、実行犯の使いやすさも考慮されているようです。

攻撃の質的向上と工数の短縮

一般社会と同様、生成AIの進展はダークウェブの世界にもインパクトを与え、かつてなかったような勢いで、情報の共有と議論、機密情報やマルウェアなどの違法な売買も活発化しています。生成AIの進展、そしてダークウェブの存在は、今後のサイバー攻撃にどのような影響を与えるのでしょうか。

明白な点は、まず攻撃の質的な向上です。例えば、少し前までのフィッシングは、外国語を直訳したような稚拙な文面も多かったのですが、ニュースリリースなどの文書を学習し、偽装先になりきった文案とより自然な日本語を生成することはAIの得意とする作業です。

もう一つは、工数と時間の短縮が挙げられるでしょう。フィッシングやビジネスメール詐欺、ランサムウェア攻撃などのサイバー犯罪に必要なノウハウ、そして生成AIの活かし方は、着々とダークウェブに蓄積されています。攻撃者は以前に比べ、より少ない工数と時間で、サイバー攻撃に着手できるようになるはずです。

生成AIでビジネスメール詐欺の文面を生成した例　　出典：SLASH NEXT

生成AIの時代にも普遍的な対策は？

一方、生成AIによって、サイバー攻撃の質的向上、工数と時間の短縮が進むとしても、AIはまったく新しい攻撃手法を生み出すわけではありません。一部では、プログラムが生成AIと対話を繰り返し、自律的に形を変えてガードをかいくぐるような高度なマルウェアが登場する可能性も指摘されていますが、現時点で一般企業が留意すべきは、攻撃の質的向上、工数と時間の短縮でしょう。

言い換えると、生成AIの進展、悪用の温床となるダークウェブがあるとしても、企業側の対処は、既存の手法の強化に行き着きます。

l  簡単に想像できるパスワードの使用を避け、使い回しはしないなどアカウント情報管理の徹底

l  フィッシングやビジネスメール詐欺への適切な対処ができる教育

l  AIを使用したアンチウイルスの導入などのセキュリティシステム強化

l  異常を迅速に発見し対処するためのダークウェブ監視

基本的なことなのでつい忘れてしまいがちですが、このような基本のセキュリティ対策を見直して徹底することがとても重要です。

 

ダークウェブで日本企業のドメインとログイン情報を検知した例（StealthMole）

ステルスモールの評価アカウントは申し込み後すぐに発行が可能です。