大數(shù)據(jù)：高端安全檢測的必由之路

摘要：信息安全的檢測中有一部分是高端安全檢測，高端安全檢測涉及對檢測模式的重新認(rèn)識，這就涉及到大數(shù)據(jù)。

?

信息安全的檢測中有一部分是高端安全檢測，高端安全檢測涉及對檢測模式的重新認(rèn)識，這就涉及到大數(shù)據(jù)。

?

探尋高端檢測

?

從檢測方面來看，有三個境界：

第一種是“檢測足”，屬于簡單檢測，比如：有閾值限制，超過了什么值，系統(tǒng)就會告警；再比如，包過濾規(guī)則；這些檢測都相對簡單。

?

第二種是“檢測腰”，基于單一特征的檢測，比如：漏洞特征、病毒特征、攻擊特征、URL黑白名單等等特征庫檢測。單一特征強(qiáng)調(diào)的是可表達(dá)、可處理和可操作性。所謂特征（或者稱某種模型），我們使用它的計算復(fù)雜度要大大低于提煉獲取它的復(fù)雜度。這里比喻成檢測腰，就是因為它有一個收緊計算復(fù)雜度的作用。傳統(tǒng)安全公司技術(shù)能力的競爭，主要就是看你能獲取和積累多少特征。

第三種是“檢測頸”，屬于高端檢測，包括APT檢測或者宏觀態(tài)勢感知等。另外，檢測腰中部分特征的提煉和分析其實也屬于高端檢測的范疇。
?

?安全的三種境界

談到高端安全檢測問題，可以簡單地分為兩類，一類是宏觀安全檢測，典型問題就是網(wǎng)絡(luò)宏觀態(tài)勢感知；一類是微觀安全問題，典型問題就是APT（Advanced Persistent Threat，高級持續(xù)性威脅）攻擊發(fā)現(xiàn)。

關(guān)于宏觀態(tài)勢感知，如城域網(wǎng)的網(wǎng)絡(luò)事件態(tài)勢感知，目前方法還相對較少。舉個例子，啟明星辰實現(xiàn)了一個地址熵算法。熵是離散度的一種評價，所謂地址熵就是累積計算網(wǎng)絡(luò)上的源地址的熵和目的地址的熵，并對兩條隨時間變化的地址熵曲線進(jìn)行跟蹤分析。如果目的地址熵突然下降，也就是目的地址突然集中了，由此可以立即判斷出來可能發(fā)生了分布式拒絕服務(wù)攻擊；如果目的地址熵微升而源地址熵下降，源地址相對較集中，意味著有網(wǎng)址在密集地向外廣泛地發(fā)包，可以初步判斷可能出現(xiàn)了掃描事件或蠕蟲傳播。這兩個地址熵指標(biāo)就像天氣預(yù)報中常用的溫度、氣壓等這些衡量指標(biāo)。目前，在城域網(wǎng)監(jiān)控方面這樣特別有效的既簡單又精妙的算法并不多。

關(guān)于APT攻擊，目前常見的提出的APT應(yīng)對方法，很多是在APT中的A（高級）上下功夫。也就是如何深入分析隱蔽性很深的惡意代碼和行為。確實，當(dāng)我們拿到一段值得懷疑的代碼和數(shù)據(jù)集，對其進(jìn)行深入分析是可行的；但是難的就是，從茫茫數(shù)據(jù)中，我怎么能夠確定哪段數(shù)據(jù)值得懷疑并進(jìn)行深入的分析呢？

?

試解高端檢測中的大數(shù)據(jù)問題

?

上面提到的這兩種高端信息安全檢測問題，最終都導(dǎo)向了大數(shù)據(jù)方法。

?

面對宏觀態(tài)勢感知和預(yù)測問題，歸結(jié)起來就是在海量的數(shù)據(jù)中發(fā)現(xiàn)宏觀的波動趨勢。哪怕是細(xì)微的波動，也是宏觀問題。宏觀態(tài)勢感知和預(yù)測，就是要發(fā)現(xiàn)這些波動，并且判斷出來哪些波動會演變成災(zāi)難性的網(wǎng)絡(luò)風(fēng)暴，以便及時加以遏制。要發(fā)現(xiàn)和描述這樣的態(tài)勢，僅僅靠局部數(shù)據(jù)計算得出的簡單統(tǒng)計指標(biāo)是非常不夠的，即使是地址熵這樣的精妙指標(biāo)也是不夠的。在這方面的研究中，可以類比的其他學(xué)科就是天氣預(yù)報、股票期貨金融品分析預(yù)測等等。這種分析活動，自然而然就是大數(shù)據(jù)。

而面對APT攻擊發(fā)現(xiàn)問題，最終也是大數(shù)據(jù)問題。

APT的A高級，不僅僅是某些具體攻擊手法隱藏很深，還包括APT攻擊在空間上的不確定性；而APT的P所代表的時間上的長期持續(xù)性或者斷續(xù)性，更是APT的檢測難點(diǎn)。
攻擊的空間拓展變化包括持續(xù)性、蔓延性、傳播性、滲透性等等，這一變化帶來了安全模式的變化。求檢對象隱藏在一個檢測環(huán)境里，你采集過來進(jìn)行檢測計算的就是一個“被檢測域”。你并不確切地知道你所要找的求檢對象在哪里；于是檢測者就希望“被檢測域”盡可能地多覆蓋求檢對象，也就是要先擴(kuò)大被檢測域。被檢測域變大了數(shù)據(jù)變多了，自然而然就變成了大數(shù)據(jù)問題。APT檢測的出路可能就在大數(shù)據(jù)上。

APT有很大的空間不確定性。APT攻擊走哪條路徑不得而知，這就是信息不對稱。防御者不知道攻擊者從哪條路徑來進(jìn)行攻擊，這是非常頭疼的事情。但路是防御者的路，攻擊者一定會通過防御者的路并靠近防御者，這就是防御者的優(yōu)勢。我們講從空間角度來擴(kuò)展被檢測域，只要擴(kuò)展更多的有效檢測點(diǎn)，總能獲得更高概率來截獲攻擊路徑。更多的檢測點(diǎn)、更多樣的檢測點(diǎn)、更多的數(shù)據(jù)，有利于解決APT問題。

APT有很大的時間不確定性。從時間角度來擴(kuò)展被檢測域，一個最簡單直接的思維突破就是“存儲”。說得更哲理一些，就是“記憶”。比如0-day問題，在沒有特征的時候是難于檢測到的。如果用一個網(wǎng)絡(luò)錄像機(jī)把所有的網(wǎng)絡(luò)流全錄下來，回過頭來有了特征之后再檢測，就可能發(fā)現(xiàn)攻擊。有部電影名字叫《源代碼》，其情節(jié)就是這個感覺。能夠運(yùn)用存儲、運(yùn)用記憶，形成一個時間機(jī)器，反復(fù)的回溯分析，這就是所謂的時間領(lǐng)域擴(kuò)展。也就是用P來對抗APT中的P。

在信息安全檢測的采集上，可以考慮給被檢測域數(shù)據(jù)提前打標(biāo)簽，可以稱之為輕干擾檢測（輕破壞檢測）。這可以使其具有某種全息性。這種干擾的不同處理，都是分析目的和過程對于前端采集技術(shù)鏈條施加影響。當(dāng)然，這樣很可能會進(jìn)一步增加檢測過程的復(fù)雜程度，也可能讓檢索變得更快捷。

?

新安全檢測思路——四階段檢測

原先我們的安全檢測都是三步檢測——采集、分析、關(guān)聯(lián)。而有了上面闡述的“大”思路，就變成了一個四步檢測——擴(kuò)大、濃縮、精確、場景。也就是將原先三步中的“采集”，變成了“擴(kuò)大”——擴(kuò)大被檢測域以便更可能覆蓋求檢對象，以及“濃縮”——將海量被檢測域數(shù)據(jù)中的有用數(shù)據(jù)濃縮下來。

濃縮、篩選、抽樣等等可以理解為分析過程中的物理處理過程，所謂物理過程就是不改變被檢測域數(shù)據(jù)的原有性質(zhì)和形態(tài)，就如同煉鐵過程中的選礦篩礦。比如渲染+半衰的處理算法：對于被檢測域進(jìn)行數(shù)據(jù)分塊，對數(shù)據(jù)塊的疑似程度進(jìn)行打分渲染；然后再一個周期中對所有數(shù)據(jù)塊進(jìn)行半衰式處理；之后在進(jìn)行打分再半衰，低于某一個閾值的數(shù)據(jù)塊被丟棄。如此循環(huán)下去，留下的數(shù)據(jù)塊集合就是被濃縮的被檢測域。

精確檢測就是借助傳統(tǒng)的誤用檢測和異常檢測來進(jìn)一步分析。在這個階段我常常將之比喻成分析過程的化學(xué)反應(yīng)。這個時候提取出來的結(jié)論數(shù)據(jù)，其數(shù)據(jù)性質(zhì)和形態(tài)都與被檢測域的數(shù)據(jù)大大不同了。

場景步驟是對于檢測結(jié)果的組合性分析。分析出的場景，可能來自對于精確檢測的細(xì)微時間的組合，也可能來自于濃縮過程的提煉。

?

信息安全與大數(shù)據(jù)

?

大數(shù)據(jù)通常分為兩類：一類是天然大數(shù)據(jù)問題，如基因計算、礦物勘測、空間探測等，這類是客觀存在的大數(shù)據(jù)問題；還有一類是人參與的大數(shù)據(jù)問題，如購物數(shù)據(jù)，社交網(wǎng)絡(luò)數(shù)據(jù)等，這一類可以通過檢測目的對這些數(shù)據(jù)進(jìn)行前端影響。安全屬于第二類。

大數(shù)據(jù)相關(guān)思維和技術(shù)在安全中的應(yīng)用非常值得期待。