ウィズセキュア - エフセキュアの時から、MITRE Engenuity ATT&CK® Evaluations とは様々な形で協業を続けてきました。当社の MDR サービス - Countercept に採用されている Elements EDR のコア技術は、これまで MITRE 評価の 4 つのラウンドをクリアしています。

ATT&CK Evaluationsは、外部からの攻撃に対する組織の防御担当者や購買担当者にとって、ソリューション採用の評価基準として役立ちますが、当社にとっても重要な基準を示唆してくれます。もちろん、私たちは自社のツールやサービスの能力を理解しており、また当社のお客様からも多くのフィードバックを頂いていますが、第三者評価機関による評価視点は大変貴重なものです。

MITRE Engenuity が 検知と対応のマネージドサービス 対しての評価実施を発表したときに、当社が参加を表明したことは言うまでもありません。今回、その評価結果を受けて、私たちは多くのことを学び、理解することができました。

当初のATT&CK評価から変わることのない目的は、「勝者」を宣言するようなレポートではありません。つまり、参加ベンダー各社とそのサイバーセキュリティの技術に対して、全体的なスコアやランキングの評価を行わない点を明確にしています。サービスが異なれば、メリットをもたらすユーザーや顧客のタイプも異なります。

検知と対応のマネージドサービスの購入を検討している組織は、ぜひ MITRE Engenuityのウェブサイトで全ての結果 を確認し、結果と評価基準の両方の詳細を批判的に見てから結論を出すことをお勧めします。.

MITRE Engenuityの結果を知ったベンダーは、2023年にはどうすれば検知と対応のマネージドサービスの評価を次のレベルに引き上げることができるか、すでに真剣に考えて始めていることでしょう。当社もまた、いかにして次のラウンドで評価を改善するか、いくつかアイデアがありますので、以下にその概要を紹介します。

• 当社の評価結果は、検知能力とサービスレイヤーのパフォーマンスが優れていることを示していました。

• 次回の評価ラウンドでは、MITRE Engenuityがさらに複雑な攻撃シナリオに基づいて実行されることを期待しています。

• 現在の採点の仕組みでは、エスカレーションのタイミングや付随するコンテキストは考慮されません。この点は多くのユーザーも認めるところです。

• 封じ込めと修復はスコープに含まれていませんが、これらの対応フェーズは、悪意のあるアクターによる脅威を排除するためには不可欠です。

• 当社は同業他社との比較を十分にしていますが、MITREの評価が真にサービスプロバイダー間の品質の違いを示しているかというと確信は持てません。

シミュレーションの精緻化

MITREのシミュレーションは非常にシンプルで、高度な攻撃者にみられる巧妙な動きを再現するには至っていません。 もう少し狡猾なやり方、例えばいくつかのメモリインジェクション技術や高度で複雑なC2フレームワークを導入すると良いかと思います。こういった卑劣な攻撃を用いて評価することで、ユーザーが選定する際に参考となるより明確な判断に基づいた評価結果を示すことができます。

「量」は必ずしも「質」を伴わない

評価の仕組みはEDRの評価に使用されたものとよく似ていました。インプットの数の多さが品質の指標として使用されたように見受けられます。攻撃との関連性の有無にかかわらず、そのデバイスで起こったすべての事象をリストアップすればするほどスコアは良くなっていくようです。「大量の誤検知アラートが発生することは良いことではない」、というのは言いつくされた周知の事実ですが、疑わしいアクティビティに関しても、手当たり次第に試せばいつか手ごたえが得られるというようなやり方は良いアプローチとは言えません。

当社が実際の運用の際に報告する詳細なインシデントの数は必要最低限に留めています。たとえば、netstatコマンドをリストしないことが、そのサービスの、ひいてはMDRプロバイダーの優位性を示すものなのかどうかを判断するのは難しいことです。

MDR 製品の「質」の評価

MITREの「質」の評価は、MDR製品に関心のある組織からよく聞こえてくる懸念事項を反映していません。

当社の経験では、お客様が最も気に掛けている重要項目は、以下のとおりです。

• 検知の適時性

• 通知の適時性

• 技術的に詳しくない人に向けた分かりやすい解説

• 修復、封じ込め、復旧に関する適切なアドバイス

• インシデント対応時の一貫したコミュニケーション

今回の評価ラウンドでは、これらの問題は厳格に言及されてはいませんでしたが、これらは評価目的ではなくとも、お客様が侵害を発見するために常時使用している基準となっています。むしろ、すべての実行ラインをリスト化しなかったことが、お客様のサービスの「質」の認識に対して悪影響を与えたという例はありません.。

アドバイスの適時性と有効性

これはMITRE評価の特徴でもあるのですが、提起されたチケットのスナップショットが週の終わりまで放置することは、お客様や当社自身、そして同業他社のMDRプロバイダーの運用方法と矛盾しているように思われます。月曜日に実行され、その日のうちに報告された活動は、その活動が土曜日に報告された場合よりも、防御担当者にとって実質的に価値があります。

最終的に、お客様が気に掛けていることは、修復・復旧できる適切な手段があるかどうかです。それが採点の仕組みに反映されれば改善につながると考えられます。

そうは言っても、今回の評価では、貴重なデータポイントとインサイトのセットが新たに導入されています。それにより、CounterceptのMDRとしての有効性を確立され、これまで独立した情報が少なかったところに洞察をもたらす評価基準やテストを構築するプロセスが開始されました。

ウィズセキュアは、2023年のMDR製品の評価に参加することを楽しみにしています。

最後に、当社は現在、欧州限定版のCountercept MDRにより、欧州のデータレジデンシー要件およびユーザーニーズに対応できるようになったことをこの機会にお伝えします。