誰がサイバーセキュリティ製品をテストを行っているのか？

サイバー脅威は急速に進化しており、セキュリティテストは複雑でコストがかかります。技術スタックのセキュリティレベルを徹底的にテストするために必要なスキルやその他のリソースは、多くの場合、国家安全保障機関や超大手企業に頼らざる得ません。それ以外の企業では、より費用対効果の高い方法に頼ることになります。

• ラボ: MRG Effitas、AV-Test、AV-Comparatives、SE Labs、そして今はなき NSS Labs などが該当します。アンチウイルスはベンチマークテストを行うには比較的簡単なツールですが、より複雑な検知機能を持つ製品は、一筋縄ではいきません。
  
• 業界アナリスト: 製品に関する戦略的分析や市場の意見を提供しますが、多くの場合、それらの製品を使用することもなく、製品に関する意見を提供しています。その場合、ユーザーからのフィードバックが最も重要な情報源となることが多いのですが、そのフィードバックはインストールベース、マーケティング費用、その他の要因によって歪められることが多く、通常、新しいサービスや現在展開されているサービスの可視性は低くなってしまいます。
• セキュリティ製品を認証する標準化団体: AMTSO や MITRE など

•  

サイバーセキュリティ評価テストの課題

セキュリティ製品の評価テストには課題があります: 

• 評価テストの方法論の欠点: ラボテストでは、製品の正確性よりも、脅威に対する製品の感度に焦点が当てられることが多くなります。また、真の結果に対する偽陽性の比率を測定していない可能性のある特定の脅威の検出能力をテストするのではなく、製品の差別化を図る傾向があります。このようなテスト結果は、リスクベースの意思決定をサポートするものではありません。

1. 検査の独立性の問題: 検査機関が顧客の製品を検査するために報酬を得ている場合、利害の対立は明らかです。
2. 不透明性: 
   • ベンダーと独立評価機関は通常、評価結果がベンダーの利益に合致する限り協力します。
   • 多くの評価テスト結果は、ペイウォールの後ろに置かれています。利用可能なセキュリティテスト結果がないということは、製品がどの程度機能するのかを誰も知らないことを意味しています。
3. 評価テストはその結果を求める市場がある場合にのみ実施:  ベンダーには、自社製品のセキュリティについて透明性を確保したり、その証拠を提供したりするインセンティブが見出せない。ベンダーの中には、セキュリティを守るためと称して、自社製品の機能を秘密にしているところもあります。一部の市場アナリストは「ペイツープレイ」モデルを採用し、ベンダーの選定基準として、評価されるためにお金を払う意思のあるベンダーを優遇しています。

MITRE ATT&CKとは?

MITRE は「より安全な世界を実現するための問題解決」を目的とする米国の非営利団体組織です。MITRE Corporation の子会社である MITRE Engenuity™ は、ATT&CK® ナレッジベースを所有し、ATT&CK評価サービスを運営しています。

MITRE ATT&CK は、既知の国家支援グループや犯罪グループが使用するTTP (戦術、技術、手順) を含む、グローバルにアクセス可能で継続的に更新されるナレッジベースです。このナレッジベースベースにより、組織は最も永続的な脅威や脅威グループに関する検知に優先順位をつけることができます。

MITRE は D&R (検知/対応) ベンダーと協力して、毎年、参加ベンダーの製品の検知能力を定量的に評価しています。各製品は、2つの主要な脅威グループが使用する TTP に対してテストが行われ、製品は、検出したテストの割合に基づいて採点されます。

ウィズセキュアでは、MITRE ATT&CKを使用して標準的な語彙と説明を提供しています。また、MITRE ATT&CK の評価が始まって以来、私たちはこの評価に参加してきました。私たちは第2回と第3回に参加しており、第4回の評価は間もなく発表される予定です。

MITRE ATT&CK の結果の解釈

MITRE ATT&CK の評価結果を確認する際には、4 つのことを覚えておく必要があります: 

1. 少なければ少ないほどよい: ベンダーは、特定の脅威を確実に検知するために100%のスコアを出す必要はありません。攻撃は複数のフェーズやアクティビティにまたがりますが、攻撃は1カ所で検知できればよいのです。いくつかの精度の高い初期段階の検知技術に重点を置く製品の方が、すべての攻撃段階にわたって精度の低いアラートを発出する製品よりも、より優れた保護を提供することができます。
2. カバレッジ: 1つまたは2つの脅威グループが使用するTTPに対する検知能力をテストする単一の評価結果は、製品品質の不完全な尺度を提供します。これは、サッカーリーグで誰が優勝するかを 1 試合の分析で予測することが困難ことと同じです。
3. 参加することは重要:  製品の検知能力の公開テストに参加するには、6桁の金額 (ユーロ)がかかります。ベンダーが参加するのは、自社製品の品質についての透明性を確保したいからなのです。
4. 傾向は重要:  各ベンダーのパフォーマンスを現在や過去の評価で確認し、品質に関する最良の指標を得てください。（また、自社環境における製品の有効性を考慮することも忘れないでください）

Detection & Responce（D&R）ソリューションを評価する際に考慮すべきその他の要素

特定のニーズに合った効果的で適切なD&Rソリューションを選択するためには、多くの要素が必要です。

テレメトリー

各検知技術は、異なるデータセットの取得と分析に依存しています。組織によっては、技術的または性能的な制限のために、特定の検知技術に必要なデータを収集できない場合があります。また、テレメトリーに関連する保存と分析のコストが法外な場合もあります。

有用なデータセットの重要性

• 検知の質: 忠実度の高い検知は重要です。偽陽性が発生しやすいと分かっているデータセット、検知ルール、分析結果は持たない方が良い場合があります。
• 調 査: 広範なデータセット (プロセスやメモリの実行、永続化メカニズム、ユーザー行動など) へのアクセスが、データ内の一貫したリンクとともにあれば、脅威ハンターは遠隔測定ソースから別のソースへ素早く移動して、調査イメージを構築できます。
• 対 応: 詳細なデータセットにより、攻撃者が被害を受けたシステム内で永続化しようとするメカニズムを特定し、それらをすべて排除するための封じ込めプランを考案することができます。
• 脅威ハンティング: 脅威ハンターは、検知範囲のギャップを特定して埋めます。可視性とデータが多ければ多いほど、新しい検知ルールでギャップを迅速に埋めることができます。

脅威インテリジェンスを使って検知能力開発に焦点を絞る

攻撃者は理論上、MITRE ATT&CK フレームワークのどの TTP でも使用する可能性があります。しかし、脅威インテリジェンスによって、どの TTPの使用が最も可能性が高いかを推測することができます。

攻撃者は不必要な作業を回避します。フレームワークには 59 の永続化技術が含まれていますが、私たちが目にしたほとんどの攻撃では 7 つしか使用されていません。最も一般的に使用されているテクニックにリソースを集中させることで、検知率と全体的な有効性を高めることができます。

公開されている侵害レポートを分析することは、攻撃者がよく使用するテクニックを知るための素晴らしい方法です。

インテリジェントに脅威に対応

MITRE ATT&CK 評価は脅威検知の透明性を提供しますが、製品やサービスの対応能力をテストするものではありません。効果的な対応とは、製品よりも人に依存します。サイバー脅威を検知し対応する場合、脅威ハンターの手にある一般的なツールの方が、SOCアナリストの初心者の手にある業界トップクラスのツールよりも良い結果をもたらします。

マネージドセキュリティサービス 

ITネットワークを監視し、脅威に対応するためのマネージドセキュリティサービスをご検討の場合は、以下の点をご確認ください: 

• 自社、自社の事業目標、自社が事業を展開する市場を理解する熱意があること
• パートナー候補が、自社の利益だけでなく、あなたの会社の長期的な利益にも配慮していること
• オープンで透明性の高いコミュニケーション
• 有意義なSLAに裏打ちされた対応力と柔軟性
• 継続的な改善の文化

その他の D&R 能力コンポーネント

検討すべきその他のD&R能力の構成要素には、以下のようなものがあります: 

• D&Rの管理方法を規定する概念、原則、運用方針、プロセス
• 関連要員の採用、トレーニング、支援の実施
• 組織、指揮統制、インフラ、回復力、脅威情報など、作戦の成功を実現するために必要な支援の実施

効果的なサイバー・セキュリティには、少なくともあと数十年は、人間の防御者が必要であると考えられます。しかし、熟練した人材の確保は非常に困難です。

望ましい結果を得る

多くの独立系テスト機関が D&R 機能の可視化を提供していますが、D&R ソリューション（MDR サービスまたは EDR/XDR テクノロジーのいずれか）を選択する際には、常にビジネスのセキュリティ成果を優先する必要があります。ウィズセキュアは、お客様が選択したアプローチで最高のセキュリティ成果を得るお手伝いをさせていただきます。