網絡安全設備聯動中小文件存儲優化方法論文

時間：2021-04-30 18:22:16 論文我要投稿

　　摘要：網絡系統在運行過程中會產生大量日志，采用Java編程技術將各安全設備日志轉換為XML文件。在對日志文件存儲過程中，現有的存儲系統硬件成本高，擴展能力差，數據并行訪問效率低，難以滿足網絡安全設備聯動系統的需求。因此，該文采用基于HDFS的云存儲系統對日志文件進行存儲。為了提高基于HDFS的云存儲系統中小文件存儲效率，該文設計了云存儲系統中小文件存儲的優化方案，主要在小文件合并和小文件檢索方面做了優化。該方案結合網絡安全設備聯動系統中日志文件的特點，首先是根據不同設備的文件進行分類，然后根據小文件在合并后的大文件中的偏移量進行檢索。最后采用3組文件集合對優化方案進行了測試，實驗結果表明，在不影響存儲系統運行狀況的基礎上，該方案提高了小文件的存儲效率和讀取效率。

網絡安全設備聯動中小文件存儲優化方法論文

　　關鍵詞：網絡安全；小文件；Hadoop；存儲優化

　　中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044(2015)35-0010-02

　　1引言

　　網絡系統在運行過程中會產生大量的系統日志、應用日志、安全日志和網絡日志，這些日志包含著關于網絡運行、安全及狀態的數據。隨著采集日志的大規模增長，現有的存儲系統硬件成本高，擴展能力差，數據并行訪問效率低，難以滿足網絡安全設備聯動系統的需求。因此，提供一種更高性能、更低成本、更好可靠性的易于管理的存儲平臺，才能夠幫助該系統用盡可能低的成本應對日益增長的數據存儲需求。HDFS采用主從式架構設計模式(master/slave)，一個名稱節點(NameNode)和若干數據節點(DataNode)構成HDFS集群[1]。HDFS的這種單名稱節點的設計極大地簡化了文件系統的結構，然而也因此引發了HDFS的小文件存儲效率低的問題。HDFS設計之初的目的是存儲大量的大文件，所以需要采用分塊策略先將每個文件分塊，保存機制是每個文件都占用一個或多個塊。因為HDFS中的每個目錄和文件的元數據信息都存放在名稱節點的內存中，如果系統中存在大量的小文件(指那些比HDFS數據塊(默認為64MB)小得多的文件)，則無疑會降低整個存儲系統的存儲效率和存儲能力。然而，在網路安全設備聯動系統[2]存在著大量的小文件。大量的小文件存在于云存儲系統中無疑會降低整個系統的I/O性能。針對這一問題，本文提出云存儲中小文件的合并處理方法，以提高小文件的存儲效率，提高整個系統的I/O性能。

　　2整體方案優化設計

　　文件的優化方案主要包括4個部分：數據預存儲節點的功能設計，小文件合并方案，小文件索引結構的設計以及小文件合并過程的整體設計。

　　2.1數據預存儲節點功能設計

　　數據預存儲節點是在HDFS架構的基礎上新增的節點，它位于客戶端與名稱節點和數據節點之間，主要實現對存儲的文件進行預處理，根據文件大小，判斷是否屬于小文件，對于小文件主要完成存儲前的合并，生成索引以及小文件檢索時的文件分離等功能。增加數據預存儲節點之后，在數據存儲的過程中，數據的流向由從客戶端直接到數據節點變成了由客戶端先到預存儲節點再到數據節點。

　　2.2小文件合并算法設計

　　當客戶端寫入小文件時，首先根據小文件的類型對數據預存儲節點進行分組。然后分別將每個分組中的小文件合并成大文件，此時，生成相關小文件索引信息及元數據信息。最后將合并后的文件和相關的元數據，按照原HDFS寫入文件的方式一同上傳至HDFS中，其中第二類元數據信息由數據預存儲節點進行存儲，第一類元數據信息由名稱節點進行存儲，數據節點存儲合并成的大文件[3]當客戶端需要讀取某個小文件時，從名稱節點獲取小文件所在大文件的元數據信息，然后從數據預存儲節點獲取第二類元數據信息，從數據節點獲取小文件所在的大文件，并在接口中將大文件解檔為若干小文件，并將這些小文件緩存在客戶端。為了便于算法描述，對算法里的符號進行定義：File[type][MD5][key]——緩沖區中待合并的文件；type——日志文件的類型（1：主機日志；2：sort日志；3：防火墻日志；4：交換機日志）；MD5——文件的MD5值；fi——要合并的第i個文件；xj——合并第j類文件個數。分組合并算法描述如下：（1）初始化，定義一個三維數組File[type][MD5][key]，type初始化為1，key值初始化為文件的大�。唬�2）讀入緩沖區的所有文件大小，更新數組File[type][MD5][key]，根據文件的`類型更新數組的type值，初始化i=1；（3）采用冒泡排序，分別將數組File[i][MD5][key]從大到小進行排序。首先判斷File[i][MD5][key]的大小，如果所有文件的總大小大于64M，開始進行合并，否則退出程序，i++，等待下次分組合并調度；（4）從最大的文件fi開始分組。如果放入文件fi后，此類文件的總大小小于64M，則存放下一個文件，從數組中把文件fi的記錄刪除，循環這個過程，直到所有的File[i][MD5][key]文件都合并到一起；（5）計算每類文件合并后的大小，文件大小達到63M的調用HDFS命令將文件上傳到HDFS上，大小小于63M的文件，再從緩沖區中查找文件進行裝入，返回（2）；（6）上傳成功；主要是考慮到用戶的訪問效率，算法中采用將同類日志文件進行分組，無論從寫入小文件，還是從讀取小文件方面，都能大大提高HDFS的性能：首先減輕了名稱節點的負擔，在讀取小文件方面，不用連接數據節點讀取，減少文件讀寫的I/O操作，節約大量數據傳輸時間，極大地節省了網絡通信開銷，降低了HDFS的訪問壓力，提高客戶端訪問文件的速率和性能。當用戶刪除數據時，把合并后的文件取回數據預存儲節點，進行分解，刪除指定文件，再與緩存區中已有的文件進行合并。用戶查詢文件時，需要對HDFS索引進行查詢，同時也需要查詢緩沖區里面的文件。

　　2.3小文件索引結構的設計

　　在小文件合并之后，僅僅根據名稱節點中存儲的元數據信息不能檢索到小文件，為了提高檢索效率，需要為所有小文件構建相應的索引，使用戶能夠通過索引快速的檢索到小文件。小文件索引信息是在小文件合并成大文件之后生成的，保存在數據預存儲節點中，通過此類元數據信息，再結合名稱節點中的第一類元數據信息，才能正確找到小文件的存儲位置。所以小文件的索引信息對于后期的小文件檢索極其重要，其中要包含小文件的一些重要信息：File_name類型為String，表示小文件名稱；File_size類型為int，表示小文件大小；File_type類型為int，表示小文件類型；Merge_file_nam類型為string，表示小文件合并成大文件后的名稱；File_offset類型為int，當前小文件在合并文件中的偏移量；time類型為long，表示文件的寫入時間；If_use類型為bool，表示文件是否存在。

　　2.4小文件合并過程的整體設計

　　大致流程如下：當需要寫入文件時，首先將數據傳輸到數據預存儲節點，判斷文件大小，如果文件大小超過了HDFS數據塊的大小，則直接存入數據節點，并將元數據信息寫入到名稱節點；如果需要寫入的文件屬于小文件，則先判斷小文件的類型，然后根據2.2中設計的小文件合并算法將小文件合并，生成索引信息，在這個合并的過程中，不斷地將正在合并的小文件索引信息插入到小文件索引信息列表中，當合并文件塊達到合適的大小時，客戶端將寫文件請求發送到名稱節點將合并后的文件存儲到相應的數據節點中。

　　3實驗驗證

　　實驗需要搭建Hadoop集群，集群中包括4個節點：一臺Na-meNode，二臺DataNode，以及客戶端用來提交數據的NameNode。使用VMware7.0來模擬Linux環境[4,5臺機器上模擬海量小文件的存儲和訪問操作。本文隨機選取了10000個xml日志數據文件，文件大小分布情況為：200kB占1%，300kB占2%，400kB占10%，500kB占20%，600kB占30%，700kB占20%，800kB占10%，900kB占4%，1000kB占3%，可見文件大小集中在400kb到1000kb之間。為了直觀的反應優化方案在處理小文件和大文件時的系統性能，本文在測試數據中分別選取了100、1000、10000組數據，按照以上測試和執行程序步驟，對文件寫入時間進行測試，測試結果如圖1所示。實驗結果表明，隨著文件數量的增多，寫入文件所用時間增長趨勢的變化緩慢，說明本文設計的Hadoop小文件存儲優化方案在寫入海量小文件時性能更高。

　　4結論

　　本文首先對網絡安全設備聯動系統的數據轉化為XML文檔，然后對文件的特點及文件大小的分布進行了分析。針對HDFS對小文件存儲效率低的問題，對小文件存儲方案進行了優化，設計了小文件分組合并的算法。最后搭建了Hadoop集群環境，對改進的方案進行測試，實驗結果表明，本文設計的Hadoop小文件存儲優化方案在寫入文件所用時間增長趨勢的變化緩慢，說明本方案在寫入海量小文件時具有很高的性能，在不影響存儲系統運行狀況的基礎上，該方案提高了小文件的存儲效率和讀取效率。

　　參考文獻：

　　[1]廖彬,于炯,張陶,楊興耀.基于分布式文件系統HDFS的節能算法[J].計算機學報,2013(05):1047-1064.

　　[2]傅穎勛,羅圣美，舒繼武．安全云存儲系統與關鍵技術綜述[J]．計算機研究與發展，2013，50(1):136-145

　　[3]DLTennenhouse,JMSmith,WDSincoskie,etal.ASurveyofActiveNetworksResearch[J].IEEECommunicationsMagazine,1997,35(l):80-86.

　　[4]許春玲,張廣泉.分布式文件系統HadoopHDFS與傳統文件系統LinuxFS的比較與分析[J].蘇州大學學報(工科版),2010,04:5-9+19.

　　[5]崔杰,李陶深,蘭紅星.基于Hadoop的海量數據存儲平臺設計與開發[J].計算機研究與發展,2012(S1):12-18.

【網絡安全設備聯動中小文件存儲優化方法論文】相關文章：

網絡存儲技術論文03-29

網絡優化論文03-12

gsm網絡優化論文02-25

淺談通過文件的網絡存儲培養學生信息管理意識的能力論文10-28