Cyber SecurityサウナJapan

河野:
みなさん、こんにちは。あるいは、こんばんは。『Cyber SecurityサウナJapan』へ、ようこそ。このポッドキャストでは、サイバーセキュリティに関するサウナのようなホットなトピックをお届けします。ホストを務めるのは、ウィズセキュア株式会社法人営業本部、AWS re:Inventから帰ってきて、時差ボケをサウナで吹き飛ばしてます、サウナ大好きの河野真一郎と、

トゥオミ:
はい、同じくウィズセキュア法人のサイバーセキュリティコンサルタントのアンッティです。ちなみに、11月にフィンランドに行ってきて、いっぱいサウナ浴びました。最高でした。

河野:
と言ったところで、今回のエピソードは残念ながらサウナではなく、オフィスだったり自宅からリモートで収録しています。
今日の『Cyber SecurityサウナJapan』は、「ウィズセキュア、2023年のサイバー脅威に関する予測を発表」というプレスリリースの内容をもとに、アンッティさんと河野でお話していきます。
このプレスリリースには、かなり多くのトピックが含まれているのですが、中でも興味深いトピックをいくつか取り上げていきます。
1個目のトピックなんですが、アンディ・パテル、ウィズセキュアのシニアリサーチャーのコメントとして、「自然言語生成モデルは敵に利用される」というコメントがあります。これ、ちょっと面白いなと思ったのが、「子供たちは既に自然言語生成モデルを使って宿題をごまかしている。サイバーセキュリティの敵はこの技術を利用して、説得力のある偽のコンテンツを生成し始めるだろう。このようなモデルは、文法的に正しく比較的よく書かれたテキストを作り出し、説得力と信憑性を持たせるためには、せいぜいわずかな編集を加えるだけで良い。」っていうプレスリリースの言葉があります。これ見てちょっと面白いなと思ったのは、まず子供たちがもう既に自然言語の生成モデルを使って宿題をごまかしてるっていうのが現実の世界に起きてるってこと。で、さらにサイバーセキュリティで攻撃をするにあたって、例えばよくある「河野さんって人に、Amazonから物が届きましたよ」とか、「楽天から売り上げの話が来ましたよ」みたいな、そういうフィッシングのテキストを自然言語生成モデルで、今までだと、いやこれいかにも何か作ったサイバー攻撃用のテキストが来たなっていうのがぱっと見わかるようなものだったのが、ものすごくナチュラルな形で、自然言語生成モデルが悪い意味で使われてしまってるっていうところを、今回のプレスリリースで取り上げているというのは興味深いなと思ったんですが、アンッティさんはこのトピックについてどう考えますか？

トゥオミ:
そうですね。かなり興味深いですね。1つ、最近友達に見せられた写真とか、インターネットからのスクリーンショットとしてはですね。最近オープンAIさんが公開したChatGPTという、こういうテキストオンリーの生成モデルによってですね、例えばこういうITシステムがありますね。例えばJavaのフロントエンドがあって、バックエンドがCで書いて振込みをするモデルですね。それについて、脅威モデルはどうなりますか？どういう脅威が考えられますか？って言っちゃったら、プロンプトをして、このオープンAIのチャットボットはそれについてはですね、例えばDOS攻撃だったり、例えば悪用のAPIコールで不正な振込みをさせてもらうとか、そういうタイプの脅威がありますよっていう。そういうぐらいのレベルでのアウトプットが出るのはかなりすごいなと思ってました。
あとは、例えばRust言語で自分のコードを書いて、こちらのコードには何か問題ありますか？とか、例えばこういうフィーチャーをRust言語で書いてくださいとか、そういうこともできるんじゃないかぐらいのレベルになってますね。すごく興味深いですね。

河野:
これは、アンッティさん。よくWebページとかでチャットAIとかで、すいませんこういうことを書いたらどうなるんですかっていうふうに回答してくるような、そういうテクノロジーで、今このシステムを動かしてるんだけど、サイバーセキュリティの興味何って送信ボタンと押すと、もう自然言語生成モデルでバーって (ズラズラズラっと) 今のアンッティさんのコメントが出てくるってことですよね？

トゥオミ:
そうですね。しかも、こちらの脅威モデルのところですが、基本的に回答はあってました。なんか初心者よりは、ちょっといい回答になってるんじゃないですかって、判断になってましたね。かなりレベルが高いですね、と思ってました。

河野:
ウィズセキュアのプリンシパルコンサルタントであるアンッティさんから見ても、AIが生成した、今こういうシステムを動かしてるんだけど、どこにサイバー攻撃の脅威がありますか？っていう回答はかなりいいものが生成されてると。ちょっとアンッティさん、教えてください。さっき言った初心者っていうのは、IT技術の初心者としての回答としてまあまあのものが来たのか。それとも、サイバーセキュリティコンサルタントの初心者としての回答なのか、どういうクオリティなんですか？

トゥオミ:
これはですね。サイバーセキュリティの初心者よりはいいものが出ました、って観点ですね。本当に、まだ出せるものがありましたし、ちょっと具体的なところがありましたし、もちろん例えば、技術によってもうちょっと細かいところがありましたとか、そういう感じですが。例えば、あまりセキュリティがわからない人としてこういうプロンプトで、小企業のあのビジネスオーナーとして、じゃあITセキュリティはよくわからないですがこういうことがありますが、セキュリティはどうすればいいですか？っていうぐらいの回答としては、結構十分なものが出ましたね。

河野:
ということは・・・。今、サイバーセキュリティのこういう情報はどうですか？っていうのがAIがちゃんと自然言語生成モデルが回答してくれるっていうことは、うちのアンディ・パテルが言ってる自然言語生成モデルを使ったサイバー攻撃、フィッシング攻撃だったり、標的型メール攻撃っていうのが、ものすごい広い範囲で、しかも人間が普通にメール見た限りではこれはフィッシングだって気付かれないようなテキストができてくる可能性というのが相当高いっていうのはここで言われてるわけですね。

トゥオミ:
そうですね。

河野:
なるほど。アンッティさん、コメントありがとうございました。自然言語生成モデルが小学生の宿題をAIにやらせることや、サイバーセキュリティの脅威分析、悪意あるサイバー攻撃者の標的型メールのテキストにまで利用されてしまうという状況はとても驚きます。
私の仕事は営業職なのですが、テレビやニュースなどでよく言われる「10年後にAIに取って代わられる仕事」に本当に営業の仕事も含まれてしまうのではないかと考えさせられるトピックですね。

河野:
それでは、次のトピックに行きましょう。
ウィズセキュアのシニアリサーチャー、アンディ・パテルがもう1つトピックとして取り上げてるところとしては、貴重な機会学習モデルを盗み出す試みが増える、というトピックがありました。「2022年末、AIのアートをサービスとして提供するNovelAI社が不正侵入を受け、モデルがインターネット上に流出した。このようなサービスが増えれば増えるほど、モデルの流出や盗難が増えると予想される。また、AIによる音声模倣は高価値のソーシャルエンジニアリング攻撃でより多く使用されるようになる。」という予測がされています。これも興味深いなというふうに思ったのが、AIによる音声模倣って書いてるのはおそらく自動音声で何かしらの電話応答サービスみたいなもので使われるものかなと思ったんですが、これがソーシャルエンジニア攻撃で使われるっていうことは、例えば自分の家の両親のところに、日本語で言うオレオレ詐欺みたいな感じで「息子の河野真一郎がどうしてもお金ないからこの銀行口座にお金振り込んでくれませんか？」みたいな問い合わせだったり、家族に対して「今すぐクレジットカードの番号が聞きたいんだけど、この番号を私のこの電話番号まで送ってくれませんか？」みたいな。普通に機械音声で「私の銀行口座にお金を振り込んでくれませんか？」って言ったら一発でバレるのが、AIとかでものすごくナチュラルな感じで作られてしまう、それがサイバー攻撃で悪用されてしまう、というようなシナリオが現実になりつつあるというふうに、ここのプレスリリースが書いてあると思うんですね。
これもかなり興味深いと思ったんですがアンッティさん、このトピックについてどう考えますか？

トゥオミ:
そうですね。これは、かなり現実的ではないかと思いますね。やっぱり、今のところはそういう簡単に手に入れる、こういうちょっとロボット的な音声が出せるモデルもありますが、例えばインプットによってこういうオレオレ詐欺的に、自然な男性の声だったり、それにちょっと例えば、交通の音を出してくださいとか。そういうことで、結構有効な攻撃もできるんじゃないかと思ってます。もう既に例えば音楽の中でもボーカロイドとかAIで生成された音楽もかなり良くなってますので、こういう形で実際にこういう詐欺に使われることもかなり可能性が高いんじゃないかと思います。

河野:
なるほど。アンッティさん、ありがとうございました。AI自然言語の生成モデルみたいなものがプラスの意味で使われるという観点では、我々が例えばYouTubeとかで目にする、AIが作った音楽、AIが作った歌や曲みたいなもの。あるいは、AIが作った綺麗な写真、素敵なイラストとか、プラスの意味でAIや機械学習というものが使われるという観点もありますが、その一方で、AIなどによる音や声といったものがソーシャルハッキングで使用されるリスクがあるというのは、サイバーセキュリティの仕事をしている私にとってはかなり興味深いトピックでした。

トゥオミ:
そうですね。しかも、防止する方法はどうなるのかなということも気になりますよね。

河野:
そうですね。こういったお話に対して、お悩みのある方に対して、営業っぽいコメントになるんですけれど、ウィズセキュアはトレーニングのサービスだったり、コンサルティングサービスを提供してますよっていうことも思い出すようなトピックでしたね。

今日は「ウィズセキュア、2023年のサイバー脅威に関する予測を発表」のプレスリリースから、2つのトピックを取り上げてアンッティさんと河野でディスカッションしました。

河野:
ここで初めての『Cyber SecurityサウナJapan』次回予告があります。
「ウィズセキュア、2023年のサイバー脅威に関する予測を発表」はかなり興味深いトピックが多いため、今回の続きをやっていきます。みんな大好き、ミッコ・ヒッポネンのサイバー脅威予測の話も多分しますので、ぜひ聞いてください。

収録している現在は12月。テントサウナ後の水風呂が最高な季節です。テントサウナと一緒に『Cyber SecurityサウナJapan』ポッドキャストへ参加したいという方は、ぜひTwitterからメッセージください。ということで、『Cyber SecurityサウナJapan』第3回は、

トゥオミ:
アンッティ・トゥオミと

河野:
河野真一郎でお送りしました。みなさま、ハッピーホリデイズ！

トゥオミ:
メリークリスマス。

Cyber SecurityサウナJapan エピソード#3はYouTubeでもご覧いただけます。
https://www.youtube.com/watch?v=hjicY_QQt2w