導言
骨干網(wǎng)流量監(jiān)控系統(tǒng)主要是針對省級網(wǎng)絡運營商規(guī)模的網(wǎng)絡進行監(jiān)控，流量一般都在100G以上。網(wǎng)絡監(jiān)控系統(tǒng)的架構與傳統(tǒng)的IDS類似，都是通過分光器或者專用流量回流設備將流量鏡像到監(jiān)控系統(tǒng)，由于流量很大，所以需要配置專門的一級分流設備和二級流量負載均衡設備來進行流量的分流再接到每臺處理設備進行處理。這對單臺處理機的計算能力和網(wǎng)絡IO能力都提出了很高的要求。為此，專門研發(fā)出Flowfirm解決接入和分流的問題，Netfirm、videospeed等多種硬件設備，來提升處理機的網(wǎng)絡流量處理能力，而隨著這些手段的采用，也給傳統(tǒng)網(wǎng)監(jiān)系統(tǒng)的建設帶了新的變化。
方案架構
骨干網(wǎng)流量監(jiān)控系統(tǒng)方案分三個層次：前端一級分流設備將鏡像進行處理，并根據(jù)一定原則均衡的分流到各個服務器；前端處理平臺，配置Netfirm的前端處理探針對流量進行處理，為考慮到未來業(yè)務的擴展，前端探針將處理不了的流量轉發(fā)到后端；前端二級處理平臺，配置高速協(xié)處理卡的網(wǎng)絡處理一體機對這些數(shù)據(jù)進行更深入的挖掘和分析。同時分流設備具有流量復制功能，能夠將特定流量復制并傳輸?shù)狡渌胤降谋O(jiān)控網(wǎng)絡使用。
系統(tǒng)架構如下：
方案特色
Flowfirm - S流量接入分流設備
骨干網(wǎng)中的流量有很多種類，有效的數(shù)據(jù)包、無效的數(shù)據(jù)包等，如果直接交給服務器處理平臺進行處理，不僅增加服務器處理的壓力，而且增加整個鏈路的壓力，同時對軟件業(yè)務系統(tǒng)的包處理和分類能力是一個很大考驗。而Flowfirm - S正式在這種背景下，將骨干網(wǎng)的大流量進行匯聚、初步分析和處理，對業(yè)務“關心”的流量甄別并交給后續(xù)處理系統(tǒng)。
Flowfirm - S是基于國際開放電信設備標準ATCA規(guī)范開發(fā)的，針對通信運營商、各級政府安全單位需求的專用電信級綜合流量設備，主要用于各級POS/SDH及以太網(wǎng)線路進行流量的采集、過濾、匯聚分流以及其它復雜的流量規(guī)劃功能。
Flowfirm - S的主要功能包括：
1) 流量接入：支持各種接口子卡，支持OC3，OC12，OC48，OC192，GE，XE的單模，多模光纖鏈路，可接入40G POS、10G POS、10GE、2.5G POS、622M POS、155M POS、GE/FE多種流量，可支持混合接入、高密度接入，單板接入密度達到1路40G 或4路10G或16路2.5G。支持單纖的收和發(fā)。
2) 交換協(xié)議支持：主要針對POS接口，支持基于SDH/SONET的以太，PPP和CHDLC封裝的報文；支持MPLS封裝，VLAN封裝的IPV4/IPV6格式報文，并可剝離；通過解析HDLC、PPP、MPLS等封裝，提取IP數(shù)據(jù)包，再進行后續(xù)處理。兼容各種底層封裝參數(shù)。
3) ACL（數(shù)據(jù)包匹配分類）：支持基于五元組的靈活和掩碼規(guī)則；支持基于載荷的指定偏移的帶掩碼數(shù)據(jù)匹配擴展ACL功能（DPI功能）；同時支持IPV4和IPV6功能；支持用戶定義的六種靈活五元組規(guī)則200萬條（IPV4），100萬條（IPV6）；支持掩碼規(guī)則60萬（IPV4），20萬（IPV6）；支持不同規(guī)則種類間的32種優(yōu)先級；支持標準ACL和擴展ACL之間的綁定；分類規(guī)則按規(guī)則集方式進行管理，用戶可創(chuàng)建并設置多個規(guī)則集，并將規(guī)則集綁定到多個接口之上。
4) 流量過濾、匯聚、負載均衡分發(fā)：對命中ACL規(guī)則的報文，支持丟棄，透傳，分流轉發(fā)，流量復制，報文截斷，采樣分流；報文的分流支持多種負載分擔算法（輪詢、Hash、五元組等算法）；分流組內節(jié)點可基于硬件端口，也可以基于后端服務器IP地址；動態(tài)監(jiān)測后端服務器狀態(tài)，或者端口狀態(tài)，動態(tài)更新分流組，并盡可能保證同源同宿；支持32個分流組，組內最多支持256個節(jié)點；輸出報文的源MAC支持信息攜帶功能。
5) 流量復制：支持同一規(guī)則的流量復制：即為符合某條規(guī)則的流量指定復制方式，在不影響這條流量的分發(fā)策略的前提下，可以將流量復制到另一個或一批GE/10GE口輸出。
6) 數(shù)據(jù)包再封裝：對處理的IP包進行最后的符合標準以太協(xié)議的再封裝，并可攜帶輸入接口等信息；支持對輸出數(shù)據(jù)包進行截短、提取有用頭部。
7) 網(wǎng)管功能：支持SNMP、Telnet和ssh等網(wǎng)管功能。
圖 Flowfirm - S分流設備
Flowfirm - S具有以下特性：
1) 適應性強
針對低鏈路密度的監(jiān)控提供高性價比的單板或雙板方案，針對高鏈路密度的應用提供基于背板交換的大容量解決方案。
2) 電信級標準
基于電信級開放平臺的最高標準ATCA，提供基于標準的高可靠性產品，具有優(yōu)秀的芯片/刀片異構能力，可按需配置網(wǎng)絡處理刀片、通用計算刀片、各種專業(yè)業(yè)務刀片（如DSP語音通信刀片等）。保護用戶投資。
3) 全硬件轉發(fā)
多引擎流水線的硬件處理流程保證數(shù)據(jù)的線速轉發(fā)。包處理流水線每一個部分都有多個引擎工作。
4) 應用多樣性
適應高復雜度的過濾匹配和應用處理需求，面向不斷復雜化的新興網(wǎng)絡應用。
5) 高性價比
專門優(yōu)化設計的分流設備。能夠根據(jù)用戶實際的需求和網(wǎng)絡環(huán)境進行功能定制化。
6) 數(shù)據(jù)處理功能
包含多種接口的流量接入、協(xié)議轉換、數(shù)據(jù)包匹配分類、流量過濾、流量匯聚分發(fā)和負載均衡、流量復制、數(shù)據(jù)包再封裝等。
7) 支持設備級聯(lián)擴展
突破單設備系統(tǒng)的機箱槽位容量，并可按需擴展級聯(lián)，為支持未來網(wǎng)絡發(fā)展提供極大的空間。
圖 Flowfirm - S設備級聯(lián)
利用Netfirm提高單機處理能力
Netfirm是專門針對網(wǎng)絡流量監(jiān)控項目而研發(fā)的一塊高性能智能網(wǎng)絡加速卡。Netfirm基于FPGA實現(xiàn)，內置4G大內存做數(shù)據(jù)處理，利用Netfirm可以實現(xiàn)流量高速接入、卸載cpu負載等功能，是在當前越來越大的網(wǎng)絡流量的情況下，解決高網(wǎng)絡流量帶來的眾多問題的利器。
圖Netfirm智能加速卡
Netfirm給網(wǎng)監(jiān)系統(tǒng)帶來的優(yōu)勢包括：
1）0% CPU消耗，100% 數(shù)據(jù)包捕獲
普通的網(wǎng)卡在接收數(shù)據(jù)過程中需要耗費大量的cpu資源，并且隨著網(wǎng)絡流量的增大，這種消耗變得非?？捎^以至于無法100%將網(wǎng)絡數(shù)據(jù)獲取下來，對業(yè)務系統(tǒng)的監(jiān)控效果造成影響。由于這個原因，傳統(tǒng)的網(wǎng)監(jiān)應用的單機處理能力只能做到500Mbps左右。Netfirm智能加速卡將整個數(shù)據(jù)接收過程由硬件自動實現(xiàn)，從而在不消耗任何CPU資源的同時，保證了數(shù)據(jù)完全獲取，即使處理10Gbps的流量也沒有任何的丟包。
2）分流技術充分發(fā)揮每個CPU的計算能力
隨著CPU技術從提高主頻轉向多核技術，如何利用好這么多的CPU核成為網(wǎng)監(jiān)系統(tǒng)需要解決的重要問題。Netfirm針對網(wǎng)監(jiān)系統(tǒng)的特點，將接收的流量根據(jù)源目的IP信息進行分流，使得處理負載在多個CPU核間進行均衡，從而充分發(fā)揮CPU多核的處理能力。
3）靈活豐富的過濾規(guī)則進一步降低CPU負載
提高單機處理能力的另一個思路是將簡單不需要處理的流量過濾掉，這樣就可以將主機資源全部集中到有效流量的處理上來?；谶@一思路，Netfirm可以配置200K的IP過濾規(guī)則，并配置針對不同鏈接進行丟棄、轉發(fā)、標記等多種動作，從而進一步提高單機處理能力。
4）支持多個應用無縫融合，提高資源利用率，便于未來應用的擴展
在網(wǎng)監(jiān)系統(tǒng)建設的初期，基本都是采用一套應用一套硬件的建設方法。但隨著系統(tǒng)的逐漸成熟，用戶需要更多的功能更多的應用時，再想使用這種方法時，就會遇到機房空間、硬件采購成本等一系列問題。最好的實現(xiàn)方式是在一套硬件上運行多種不同的應用業(yè)務，并且二者間不相互影響，這在傳統(tǒng)的網(wǎng)監(jiān)系統(tǒng)中是無法實現(xiàn)的。但Netfirm則從設計之初就考慮到網(wǎng)監(jiān)系統(tǒng)業(yè)務擴展的可能性，支持多個不同應用同時從Netfirm取數(shù)據(jù)，并保證其間的隔離性，從而大大降低了網(wǎng)監(jiān)系統(tǒng)業(yè)務擴展中的成本。
5）基于通用接口和專用接口的API，便于應用的移植
目前很多網(wǎng)監(jiān)系統(tǒng)的應用在研發(fā)過程中是以普通網(wǎng)卡為基礎開發(fā)的，考慮到這一點，Netfirm支持與普通網(wǎng)卡一樣的使用方式，并且提供相同的訪問接口，只有在需要使用Netfirm附加功能時才需要使用專用接口，從而大大縮短了網(wǎng)監(jiān)應用的移植周期。
基于Videospeed的二級數(shù)據(jù)處理
Videospeed協(xié)處理卡是針對傳統(tǒng)網(wǎng)監(jiān)系統(tǒng)中難以處理的諸如音視頻流量等非文本數(shù)據(jù)的監(jiān)控所研發(fā)出的一塊基于眾核技術的協(xié)處理卡。該卡可以提供高速并行處理能力，可以支持多路音視頻碼流的編解碼處理，從而對過去普通網(wǎng)監(jiān)系統(tǒng)處理不了的音視頻流量進行處理。 也可以作為通用計算加速平臺，用于其它特定流量的深度數(shù)據(jù)處理。
圖 Videospeed加速卡
Videospeed協(xié)處理卡具有以下特性：
1) 基于眾核技術：采用Tilera眾核處理器，大大簡化系統(tǒng)架構， 成本，功耗及PCB板面積，可以根據(jù)單核處理能力，精確地分配資源以實現(xiàn)所規(guī)劃的功能，達到優(yōu)化性能和節(jié)省功耗。
2) 處理能力強大：完成一定流量音視頻混合流的解碼，目前能夠支持400MB以上的流量
3) 支持多種主流視頻格式：主流的視頻格式 H264，H263，Mpeg1/2，Mpeg4，vp6，flv，asf，avi等
4) 支持矢量運算：某些矢量運算等函數(shù)運算加速
高性能網(wǎng)絡處理一體機
高性能網(wǎng)絡處理一體機可以將骨干網(wǎng)監(jiān)控方案中的流量處理探針和二級處理平臺集成為一臺一體機，單臺一體機提供10片雙路多核處理機的計算能力，配置6片Netfirm，可以支持24根GE，或者6根10GE流量的監(jiān)控。配置4片videospeed協(xié)處理卡，可以進行這些流量的二級處理。也可以全部配置Netfirm進行10GE流量的處理，最多提供單臺一體機100G流量的處理能力，具有極高的性價比。
