根据 NIST 的说法，安全操作可分为五个主要阶段：识别、防御、检测、响应和恢复。大多数组织在识别、防御、恢复三个阶段已经比较成熟。相比之下，检测、响应是当前安全能力的短板。

在检测方面，目前大部分都是基于单点检测。检测误报率较高，有效报警信息被大量无效报警淹没。同时，传统的单点检测设备检测能力有限，难以检测未知威胁和潜伏威胁。在应对方面，目前大多以应急预案为主，与恢复阶段的内容紧密结合。其中大多数是事件后恢复反应。对实时检测到的威胁事件针对性响应不足，主动响应能力不足。

而且，识别、防御、检测、响应、恢复并没有真正通过技术手段联系起来。这包括安全检测和分析对实时自动化风险分析的贡献不足，以及响应过程中缺乏与识别和防御能力的联动。为此，安全运营中心应重点提升大数据关联分析这一关键核心能力，帮助安全运营团队准确定位已知威胁、深度检测未知威胁。在此基础上，可以丰富安全事件场景，辅助安全运营决策。 。

大数据安全分析技术框架及关键技术

大数据安全分析利用大数据技术对海量数据的高效计算能力，结合关联分析、深度学习、机器学习算法等手段，快速发现和预警各种已知和未知的威胁，实现网络防御从被动转变向主动转型。大数据安全分析整体架构由数据采集与预处理、数据存储与处理、多维数据分析、数据应用与展示组成。

数据收集和预处理

数据源是大数据分析的基础和前提。准确、高质量的多源异构数据是安全分析结果的保障。安全分析需要收集的数据源包括：

解析、标准化和丰富从数据源收集的信息，为数据分析提供高质量的数据。

数据存储和处理

大数据平台的计算处理能力可达日存储数据1T以上，支持千亿级数据秒级处理、PB级数据管理和应用，保证高吞吐量和高数据压缩率，为安全智能分析提供实时或长期关联。分析数据库。

网络中所有原始网络数据均被存储，使得数据结果的分析更加全面、可信。对所有网络行为数据进行索引，方便快速查询、管理分析和取证。

关联分析引擎用于对采集到的实时数据流进行深度关联分析，包括安全告警、系统日志、资产、网络、漏洞等信息。采用基于规则、基于统计、基于资产、基于情报等深度关联分析方法，综合分析并进行安全威胁检测和预警。

通过机器学习和算法，将大量的历史信息和安全信息关联起来，主要是无监督学习（异常检测），以及人工辅助的半监督学习（专家和管理者的反馈），进行长期循环的威胁行为分析，识别安全威胁和攻击的异常行为和隐藏威胁行为。

数据应用与展示

基于数据分析结果，可以实现网络安全态势感知、安全预警、溯源等应用。

关于大数据安全分析如何收集数据的问题，很多人最初认为应该收集尽可能完整的数据，但也有人认为收集这么多数据占用大量资源，而且有些数据是无用的。收集后没有任何用处。需要什么？数据被收集。

在安全分析方法论模型中，安全分析要素分为应用场景、分析方法和数据来源，三者缺一不可。安全分析有两种思路。可以从数据源开始，收集所有数据，然后根据数据挖掘分析场景，找到分析技术；还可以从应用场景出发，根据应用场景收集数据，寻找分析技术。

从安全数据的角度来看，数据类别包括三类。第一类是安全报警数据（IDS、WAF等），是高威胁、低信任的数据；第二类是内容数据（主机、流量等），这部分属于低威胁、高可信的数据；第三类是上下文数据（资产、威胁、漏洞等），这部分属于辅助数据。

安全分析和数据类型已经解释清楚了。回顾如何收集数据，没有必要争论是收集所有安全数据还是收集需要的数据。只要掌握以下策略和方法即可。 。

1、报警数据本身属于安全功能，因此需要完整、尽可能地收集，并保存至少六个月。主要原因是：1）满足安全合规要求； 2）连续场景建模； 3）有利于攻击溯源和威胁狩猎。

2.大部分内容数据归网络或运维团队所有，整个数据应由其所有者存储。而且这部分数据的种类和数量都比报警要多得多。安全团队不需要单独存储全量数据，如果安全运营需要，应该从运维大数据中获取。

3.上下文数据的归属相对复杂。有的可能属于运维团队（比如资产），有的可能属于安全团队（威胁情报、漏洞等）。不过，这部分数据从安全分析的角度来看是辅助数据，因此可以根据安全分析进行分类。的需求和安全操作的能力。

大数据安全分析实践场景及方法 报警关联相关安全分析场景汇总

安全告警的关联性分析可归纳为四类： 1、同一攻击源/目的地的特定告警数量叠加，可能造成连续攻击； 2、内网主机发起安全攻击，主机可能已被攻破或受到横向攻击； 3）不同网络位置的关联报警可能绕过了边界保护； 4) 告警/异常告警关联后，判定攻击成功。

场景二：同一目的地址遭受多次同类型攻击。场景三：同一内网主机多次发起同一类型的攻击。场景四：同一内网主机受到攻击，发起网络扫描。场景 5：网页扫描后发生网络攻击。场景6：绕过WAF保护并发起Web攻击。场景7：SQL注入攻击后数据库提权。场景8：Web后端登录异常后发生注入。

从安全报警的角度来看，威胁情报数据可以为检测设备赋能，也可以作为辅助安全分析的数据。从异常检测层面，威胁情报可以与网络连接等数据结合，通过关联分析发现特定的行为异常和安全风险。从分析方法来看，威胁情报本质上是一种黑名单机制，其用于检测的有效性很大程度上取决于情报数据的质量。

场景二：内网主机与威胁情报黑IP/域名进行通信。场景三：邮件服务器向威胁情报黑IP发送大量邮件。场景四：内网主机连接C&C服务器，下载文件/程序。

网络设备、安全设备、操作系统、中间件、应用系统都有账号。只要有账户，就会涉及到账户异常（状态）、账户异常（行为）的安全监控和分析。从风险类型来看，账户异常涉及内部违规、暴力破解、账户泄露、程序错误等，在日常安全监控和态势感知中发挥着非常重要的作用。

场景二：服务器遭受安全攻击后创建新账户场景三：设备/系统/应用遭受暴力攻击分析

针对每个账户异常安全分析场景，可以针对同一源地址、同一目的地址、同一账户分别建立分析规则，还可以进一步细化外网地址和内网地址。另外，账户异常事件可以相互关联，可以拓展很多分析场景。下面列出了一些基于账户登录失败事件的典型分析场景。

FTP账户异常关联分析及扩展场景 账户状态异常关联分析及扩展场景

与网络异常相关的安全分析场景有很多，大致可以分为三类：1）网络端口扫描异常； 2）安全攻击后网络连接异常； 3）单网流量异常。下面根据这三类列出典型的分析场景。

场景二：内网主机遭受/发起特定网口扫描。场景三：服务器被植入，发起大量连接。场景4：服务器遭受Web攻击，然后进行非法外部连接。场景五：内网主机服务器网络流量异常/超过流量阈值。大数据安全分析的高级发展是威胁狩猎

威胁狩猎（ Hunt），又称威胁狩猎、威胁狩猎等，是一种重要的主动安全防御方法和过程。它通过主动、持续地分析入侵痕迹来捕获正在进行的入侵，从而缩短攻击停留时间。阻止攻击者完成攻击目标，减少攻击对业务造成更大的损害。

高级别攻击具有相对隐蔽性和潜伏性，甚至在某些情况下检测设备无法产生有效的警报。在这种情况下，威胁猎手需要在适当的时间、适当的条件下开展更广泛、更深入的威胁狩猎活动。正因为如此，威胁狩猎属于安全成熟度模型的主动防御阶段，强调人为驱动的基于数据、情报、资产线索的主动分析和挖掘。简而言之，威胁狩猎需要设定具体的目标，做出合理的假设，并利用专业知识、经验和工具来完成。因此，推动威胁狩猎成熟度的核心要素是“专业人员+数据”。此外，搜索和可视化、数据上下文丰富和自动化也是非常重要的元素。

威胁追踪者需要查看大量数据，以便能够从大量单条数据中发现威胁行为之间的相关性。如果收集的数据不足，无论有多少经验丰富的威胁猎手或昂贵的专业工具都不会有效。威胁追踪不仅需要安全告警数据，还需要应用、主机、网络层面的日志数据，以及威胁情报等外部相关数据。就威胁狩猎工具而言，没有单一的通用威胁狩猎工具。 SIEM、SOC、UEBA、SOAR 等安全运营平台也适用。搜索和可视化、数据上下文丰富和自动化都是很好的功能。此外，威胁猎手还会根据自己的喜好编写脚本或开发工具，甚至可以直接使用成熟的SaaS服务。

与安全监控和事件调查响应相比，威胁狩猎更关注威胁行为背后的人。威胁方必须具备三个要素：造成损害的意图、能力和机会。威胁狩猎重点关注这三个特征，然后在网络环境中搜索有威胁的对手，提供威胁预警和事件处理，尽早止损。除了攻击者画像之外，威胁狩猎还包括攻击者历史攻击行为分析、攻击者习惯技战术分析。攻击事件流程包括攻击时间维度、阶段维度、技战术维度分析，攻击趋势包括威胁情报/漏洞。保护对象的尺寸、研究与分析等

从以上分析可以看出，威胁狩猎不是一个功能或平台，而是一个功能和流程，大数据安全分析和威胁狩猎之间没有明显的界限。总之，威胁狩猎随着安全运营的存在而存在，并随着安全分析水平的提高而深入。