關(guān)于Frame頁(yè)面網(wǎng)絡(luò)日志數(shù)據(jù)挖掘預(yù)處理方法的論文
摘 要
本文結(jié)合網(wǎng)絡(luò)日志數(shù)據(jù)挖掘技術(shù)，通過(guò)對(duì)Frame頁(yè)面和SubFrame頁(yè)面進(jìn)行分析，提出基于改進(jìn)的Frame頁(yè)面數(shù)據(jù)挖掘預(yù)處理方法。該方法從SubFrame頁(yè)面信息著手，從而提高預(yù)處理過(guò)程中的信息識(shí)別能力。實(shí)驗(yàn)表明，該方法在網(wǎng)絡(luò)日志的數(shù)據(jù)挖掘預(yù)處理過(guò)程中，有效提高了信息的精準(zhǔn)度。
【關(guān)鍵詞】數(shù)據(jù)挖掘 Frame頁(yè)面 SubFrame頁(yè)面
1 引言
隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，簡(jiǎn)單的信息搜索技術(shù)已經(jīng)不能滿(mǎn)足現(xiàn)階段網(wǎng)絡(luò)信息獲取的需求。網(wǎng)絡(luò)日志數(shù)據(jù)挖掘技術(shù)是結(jié)合網(wǎng)絡(luò)日志用戶(hù)的訪(fǎng)問(wèn)行為規(guī)律、興趣需求等信息，加以分析，優(yōu)化網(wǎng)絡(luò)內(nèi)容與網(wǎng)絡(luò)文本文檔的組織結(jié)構(gòu)，以此提高網(wǎng)絡(luò)站點(diǎn)的競(jìng)爭(zhēng)力。我們發(fā)現(xiàn)網(wǎng)絡(luò)日志記錄往往十分龐大，傳統(tǒng)的預(yù)處理方法，并不能很好解決日志頁(yè)面對(duì)站點(diǎn)組織結(jié)構(gòu)的影響。因此，進(jìn)行網(wǎng)絡(luò)日志預(yù)處理方法的研究，具有一定的現(xiàn)實(shí)意義。
對(duì)于傳統(tǒng)的網(wǎng)絡(luò)日志的數(shù)據(jù)挖掘，預(yù)處理階段的Frame頁(yè)面和SubFrame頁(yè)面在用戶(hù)會(huì)話(huà)文件出現(xiàn)的概率很高，這就降低了會(huì)話(huà)識(shí)別的興趣度。因此，必須消除Frame頁(yè)面對(duì)網(wǎng)絡(luò)日志數(shù)據(jù)挖掘的影響。我們將Frame頁(yè)面以及其SubFrame頁(yè)面被看為一個(gè)整體，用Frame頁(yè)面代替通過(guò)會(huì)話(huà)文件尋找Frame頁(yè)面和Subframe頁(yè)面，并剔除多余的頁(yè)面，以提高日志數(shù)據(jù)挖掘的興趣性。
2 改進(jìn)的'Frame頁(yè)面數(shù)據(jù)挖掘預(yù)處理方法
通過(guò)對(duì)Frame頁(yè)面過(guò)濾方法，結(jié)合實(shí)際情況分析，我們利用ID3決策樹(shù)算法，提出基于改進(jìn)的Frame頁(yè)面過(guò)濾方法，以提高網(wǎng)絡(luò)日志數(shù)據(jù)挖據(jù)的效率。該方法如下：
輸入：FS表（pidframne ， pidsubframe）所對(duì)應(yīng)的集合；集合屬性包括 {index.html，top.html，left.html，main.html，…}
輸出：判定策略
For each users session
{
currentframe=null
make_node（web）
if（（cerrenframe， pid， ∈FS） make_tree（currentframe，web_left）
Else if pid， ∈dom（FS）
{curremtframe pidi make_decition_tree（currentframe，web_left}
else make_decition-tree（currentframe，web_rleft
if attribute_list=null{make_decition_tree（currentframe，web_right）；}
else if（one ofattribute_list）>allgain
currentframe=test-attribute；
make_decition（ai，web_left）
Else generate_decision_tree（ai，web_right）
}
上述策略認(rèn)為，訪(fǎng)問(wèn)站點(diǎn)的頁(yè)面為根節(jié)點(diǎn)，具有信息增益最高的特征，currentframe變量記錄web當(dāng)前頁(yè)面pidi。若當(dāng)前頁(yè)面pidi不屬于frame頁(yè)面，則歸類(lèi)左子樹(shù)，反之當(dāng)前頁(yè)面pidi歸入右子樹(shù)。即pid，∈DOM（FS）。而frame頁(yè)面的subframe頁(yè)面歸類(lèi)左子樹(shù)。這樣一來(lái)，frame頁(yè)面為決策樹(shù)右樹(shù)，subframe頁(yè)面為決策樹(shù)左樹(shù)，subframe頁(yè)面在會(huì)話(huà)識(shí)別階段得到保留，以便后續(xù)路徑補(bǔ)充。該方法優(yōu)化了站點(diǎn)的組織結(jié)構(gòu)，較好提升了網(wǎng)絡(luò)日志數(shù)據(jù)預(yù)處理效率。
3 實(shí)驗(yàn)分析
我們通過(guò)Frame頁(yè)面過(guò)濾預(yù)處理方法實(shí)驗(yàn)，驗(yàn)證本文提出的改進(jìn)方法。實(shí)驗(yàn)提取700個(gè)日志所記錄的訪(fǎng)問(wèn)頁(yè)面，共20萬(wàn)條日志文件，結(jié)合本文提出的改進(jìn)Frame頁(yè)面網(wǎng)絡(luò)日志數(shù)據(jù)挖掘預(yù)處理方法，與傳統(tǒng)頁(yè)面預(yù)處理方法進(jìn)行對(duì)比測(cè)試。結(jié)果如表1所示。
在表1中，絕對(duì)支持度表示用戶(hù)頻繁訪(fǎng)問(wèn)頁(yè)面的最小會(huì)話(huà)數(shù)，F(xiàn)Si表示用戶(hù)頻繁訪(fǎng)問(wèn)頁(yè)面集合數(shù)，*為用戶(hù)不感興趣的頁(yè)面集，△表示頁(yè)面集是用戶(hù)感興趣的，△△表示頁(yè)面集用戶(hù)感興趣程度加強(qiáng)。實(shí)驗(yàn)表明，改進(jìn)Frame頁(yè)面過(guò)濾方法相比傳統(tǒng)方法，預(yù)處理結(jié)果得到提高，因此，網(wǎng)絡(luò)日志的數(shù)據(jù)挖掘效率得到加強(qiáng)。
4 小結(jié)
本文通過(guò)對(duì)網(wǎng)絡(luò)日志數(shù)據(jù)挖掘預(yù)處理技術(shù)進(jìn)行分析，結(jié)合預(yù)處理過(guò)程中的實(shí)際情況，著重考慮SubFrame頁(yè)面剔除對(duì)站點(diǎn)組織結(jié)構(gòu)的影響，提出了改進(jìn)的Frame頁(yè)面網(wǎng)絡(luò)日志數(shù)據(jù)挖掘預(yù)處理方法，實(shí)驗(yàn)表明，該方法較好的提高了網(wǎng)絡(luò)日志數(shù)據(jù)挖掘的預(yù)處理精度和效率。
參考文獻(xiàn)
[1]方元康等.一種改進(jìn)的Web日志會(huì)話(huà)識(shí)別方法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2008，18（11）：214-216.
[2]朱明.數(shù)據(jù)挖掘[M].合肥：中國(guó)科技大學(xué)出版社，2008：13-56.
[3]朱志國(guó)等.持久偏愛(ài)的Web用戶(hù)訪(fǎng)問(wèn)路徑信息挖掘方法[J].情報(bào)學(xué)報(bào)，2010，29（2）.
[4]凌海峰等.基于混合蟻群算法的web用戶(hù)會(huì)話(huà)聚類(lèi)[J].計(jì)算機(jī)工程與應(yīng)用，2013（22）.
[5]韓法旺.Web日志挖掘數(shù)據(jù)預(yù)處理過(guò)程研究[J].南京工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2012（2）.
[6]凌海峰等.基于聚類(lèi)的web用戶(hù)會(huì)話(huà)識(shí)別優(yōu)化方法[J].計(jì)算機(jī)應(yīng)用研究，2012（8）.
【Frame頁(yè)面網(wǎng)絡(luò)日志數(shù)據(jù)挖掘預(yù)處理方法的論文】相關(guān)文章：
數(shù)據(jù)挖掘論文03-31
數(shù)據(jù)挖掘論文07-15
數(shù)據(jù)挖掘教學(xué)方法研究論文07-04
專(zhuān)利數(shù)據(jù)挖掘的論文06-12
網(wǎng)絡(luò)數(shù)據(jù)挖掘規(guī)劃論文04-03
大數(shù)據(jù)自動(dòng)分析與數(shù)據(jù)挖掘探討的論文04-26