ChatGPT は EDR による検出を回避する変異型マルウェアを作成します

Oct 29, 2023

シュエタ・シャルマ著

シニアライター、CSO |

昨年末の最初のリリース以来、世界的なセンセーションを巻き起こした ChatGPT は、消費者と IT 専門家の間で同様に人気があり、システムの脆弱性を悪用するためにどのように使用されるかというサイバーセキュリティの悪夢を引き起こしています。 重要な問題は、エンドポイント検出および応答 (EDR) システムを回避するために、ChatGPT およびその他の大規模言語モデル (LLM) が多態性コード、または変異コードを生成する能力であることをサイバーセキュリティ専門家が実証しています。

最近の一連の概念実証攻撃では、実行時に毎回 ChatGPT への API 呼び出しを行うように、無害に見える実行可能ファイルがどのように作成されるかを示しています。 ChatGPT は、すでに作成されたコード スニペットの例を単に再現するのではなく、呼び出しのたびに動的に変化するバージョンの悪意のあるコードを生成するよう指示することができ、その結果生じる脆弱性の悪用をサイバーセキュリティ ツールで検出することが困難になります。

サイバーセキュリティ企業GitGuardianの開発者アドボケート、マッケンジー・ジャクソン氏は「ChatGPTはハッカーのハードルを下げる。AIモデルを使用する悪意のある攻撃者は現代の『スクリプトキディ』とみなされる可能性がある」と述べた。 「騙されて作成できるマルウェア ChatGPT は画期的とは程遠いですが、モデルが改良され、より多くのサンプル データが消費され、さまざまな製品が市場に登場するにつれて、AI は他の AI システムでしか検出できないマルウェアを作成してしまう可能性があります。この試合でどちらが勝つかは誰にも分からない。」

高度で多様なマルウェアを開発する際にこのツールの機能を悪用できる可能性を示すさまざまな概念実証が行われています。

ChatGPT およびその他の LLM には、悪意のあるコードなどの有害なコンテンツを生成するコマンドやプロンプトに従うことを禁止するコンテンツ フィルターがあります。 ただし、コンテンツ フィルターはバイパスできます。

ChatGPT を通じて実行できる可能性があると報告されているほぼすべてのエクスプロイトは、いわゆる「プロンプト エンジニアリング」、つまり入力プロンプトを変更してツールのコンテンツ フィルターをバイパスし、目的の出力を取得する実践を通じて達成されています。 たとえば、初期のユーザーは、プロンプトを仮説として組み立てることにより、ChatGPT が作成するはずのないコンテンツを作成できること、つまりプログラムを「脱獄」できることを発見しました。たとえば、AI ではないかのように何かをするように要求することにより、ChatGPT が作成できることを発見しました。危害を加えようとする悪意のある人。

「ChatGPT は、質問のコンテキストを評価して ChatGPT が提供する回答の範囲を制限するフィルターなど、システムにいくつかの制限を設けています」と、Kubernetes を専門とするサイバーセキュリティ会社 KSOC のセキュリティ研究ディレクター、Andrew Josephides 氏は述べています。 「ChatGPT に悪意のあるコードを書くように依頼した場合、ChatGPT はそのリクエストを拒否するでしょう。ChatGPT に、作成しようとしている悪意のあるコードの効果的な機能を実行できるコードを書くように依頼した場合、ChatGPT はビルドする可能性があります。それはあなたのためのコードです。」

更新のたびに、ChatGPT を悪意のあるものに騙すのは難しくなっているが、さまざまなモデルや製品が市場に参入するにつれて、LLM が悪意のある目的で使用されるのを防ぐためにコンテンツ フィルターに頼ることはできない、とジョセフィデス氏は述べています。

ChatGPT を騙して、知っていてもフィルターの背後にあるものを利用させる機能により、ユーザーが有効な悪意のあるコードを生成する可能性があります。 これを使用すると、同じクエリを複数回実行した場合に結果を変更および微調整するツールの機能を利用して、コードをポリモーフィックにレンダリングできます。

たとえば、一見無害な Python 実行可能ファイルは、実行可能ファイルが実行されるたびに、異なるバージョンの悪意のあるコードを処理するために ChatGPT API に送信するクエリを生成する可能性があります。 このようにして、悪意のあるアクションは exec() 関数の外部で実行されます。 この技術を使用すると、脅威スキャナーによる検出が困難な、変異する多態性のマルウェア プログラムを作成することができます。

今年初め、脅威検出会社 HYAS InfoSec の主任セキュリティ エンジニアである Jeff Sims 氏は、このようなエクスプロイトの実用モデルに関する概念実証のホワイト ペーパーを公開しました。 彼は、プロンプト エンジニアリングを使用し、実行時に ChatGPT API をクエリして、BlackMamba と呼ばれるポリモーフィック キーロガー ペイロードを構築する方法をデモンストレーションしました。

本質的に、BlackMamba は Python 実行可能ファイルであり、ChatGPT の API に悪意のあるキーロガーを構築させます。このキーロガーは、実行時に呼び出しごとに変化して多態性を持たせ、エンドポイントと応答 (EDR) フィルターを回避します。

「Python の exec() 関数は、実行時に Python コードを動的に実行できるようにする組み込み機能です」と Sims 氏は言います。 「実行したいコードを含む文字列を入力として受け取り、そのコードを実行します。 exec() 関数は一般に、実行中のプログラム変更に使用されます。つまり、実行中のプログラムの動作を変更できます。プログラムの実行中に新しいコードを実行することによってプログラムを実行します。」

BlackMambaの文脈では、「ポリモーフィズムの制限は、プロンプトエンジニアの創造性（入力の創造性）と、生成的な応答を生成するためのモデルのトレーニングデータの品質によって制約される」とシムズ氏は述べた。

BlackMamba の概念実証では、キーストロークが収集された後、データは Web フックによって Microsoft Teams チャネルに流出するとシムズ氏は述べています。 Sims氏によると、BlackMambaは「業界をリードする」EDRアプリケーションを複数回回避したが、どのアプリケーションかは明らかにしなかった。

サイバーセキュリティ企業 Cyber​​Ark の Eran Shimany 氏と Omer Tsarfati 氏が作成した別の概念実証プログラムでは、マルウェア自体に ChatGPT が使用されていました。 シモニー氏とツァルファティ氏が概念実証を説明するために書いたブログによると、このマルウェアには「悪意のあるアクションを実行する新しいモジュールを定期的にChatGPTに問い合わせるPythonインタプリタ」が含まれているという。 「ChatGPT からコード インジェクション、ファイル暗号化、永続化などの特定の機能をリクエストすることで、新しいコードを簡単に取得したり、既存のコードを変更したりできます。」

ChattyCat は BlackMamba とは異なり、特定の種類のマルウェアを対象としたものではありませんが、ランサムウェアや情報窃盗を含む多種多様なマルウェアを構築するためのテンプレートを提供します。

「私たちのPOCであるChattyCatyは、GPTモデルを使用して多態性プログラムを作成するためのインフラストラクチャを実証するオープンソースプロジェクトです」とTsarfati氏は述べた。 「ポリモーフィズムを使用すると、ウイルス対策プログラムやマルウェア プログラムによる検出を回避できます。」

また、Shimony と Tsarfati は、最初のオンライン バージョンとは対照的に、ChatGPT API ではコンテンツ フィルターが弱いか、存在しないことさえ発見しました。

「興味深いのは、API を使用するときに、ChatGPT システムがコンテンツ フィルターを利用していないように見えることです。なぜそうなるのかは不明ですが、Web バージョンでは作業が行き詰まりがちなので、このおかげで作業がはるかに簡単になります。」もっと複雑な要求だ」とシモニー氏とツァルファティ氏はブログに書いた。

世界中の政府が危害を防ぐためにAIをどのように規制するかに取り組んでいるが、これまで新たな規則を制定した主要国は中国だけだ。 専門家は、生成型 AI が害を及ぼす可能性を抑制するためのさまざまなアプローチを提案しています。

「現時点では、AI の問題を制御するための解決策は、『AI を追加する』ことのようですが、これはおそらく現実的ではないと思います。」 フォレスター社のアナリスト、ジェフ・ポラード氏はこう語る。 「これらのソリューションに適切な制御層を実際に追加するには、システムへのコンテキストの説明可能性と可観測性を向上させる必要があります。これらは API と統合され、意味のある詳細を提供し、現時点では存在しないように見える管理機能を提供するために使用される必要があります。 」

しかし、テクノロジー業界は生成AIに何ができるかを理解する初期段階にあるため、生成AIを規制するのは難しいだろうと、アナリスト兼コンサルティング会社エンタープライズ・マネジメント・アソシエイトのリサーチ・ディレクター、クリス・ステファン氏は述べた。

「規制が恐ろしい見通しである理由は、ChatGPT は事実上無限の可能性を秘めたものの 1 つであり、GPT インスタンスがカバーできる可能性のあるすべての状況をカバーする方法で簡単に準備できるものではないからです」 」とステフェンは言いました。 「特に、どのように規制するか、どのようなプロセスを採用するか、誰が責任を負うかなどの分野で困難になるだろう。」

著作権 © 2023 IDG コミュニケーションズ株式会社