企業(yè)與個人網(wǎng)絡(luò)營銷一站式服務(wù)商
網(wǎng)站建設(shè) / SEO優(yōu)化排名 / 小程序開發(fā) / OA
0731-88571521
136-3748-2004
136-3748-2004
1，網(wǎng)站重復內(nèi)容的判斷
A，獲取多個網(wǎng)頁;
B，分別提取網(wǎng)頁的網(wǎng)頁正文;
C，從網(wǎng)頁正文中提取一個或多個句子，并根據(jù)一個或多個句子計算網(wǎng)頁正文句子簽名;
D，根據(jù)網(wǎng)頁正文句子簽名對多個網(wǎng)頁進行聚類;
E，針對每一類下的網(wǎng)頁，計算網(wǎng)頁的附加簽名;
F，根據(jù)附加簽名判斷每一類下的網(wǎng)頁是否重復。
通過上述方式，網(wǎng)頁重復的判斷系統(tǒng)及其判斷方法通過包括網(wǎng)頁正文句子簽名在內(nèi)的多維度簽名有效且快速地判斷網(wǎng)頁是否重復。
網(wǎng)站頁面基本架構(gòu)
提取正文
A，對網(wǎng)頁進行分塊;
B，對分塊后的網(wǎng)頁進行塊過濾，以獲取包含網(wǎng)頁正文的內(nèi)容快;
C，從內(nèi)容塊中提取網(wǎng)頁正文。
正文分句
A，對網(wǎng)頁正文進行分句;
在本步驟中，可利用分號，句號，感嘆號等表示句子完結(jié)的標志符號來對網(wǎng)頁正文進行分句。此外，還可以通過網(wǎng)頁正文的視覺信息來對網(wǎng)頁正文進行分句。
B，對分句后的網(wǎng)頁正文進行過濾及轉(zhuǎn)換;
在步驟中，首先過濾掉句子中的數(shù)字信息;版權(quán)信息以及其他對網(wǎng)頁重復判斷不起決定性作用的信息。隨后，對句子進行轉(zhuǎn)換，例如，進行全角/半角轉(zhuǎn)換或者繁體/簡體轉(zhuǎn)換，以使得轉(zhuǎn)換后的句子的格式統(tǒng)一。
C，從過濾及轉(zhuǎn)換后的網(wǎng)頁正文中提取最長的一個或多個句子;
在本步驟中，過濾及轉(zhuǎn)換后的網(wǎng)頁正文提取出最長的一個句子或者做場的預定數(shù)量連續(xù)句子的組合。例如，某個網(wǎng)頁實例中，經(jīng)過過濾及轉(zhuǎn)換后的某段最長，遠超其他句子，因此可選擇該段為網(wǎng)頁正文句子，或者選擇最長的連續(xù)句子組合作為網(wǎng)頁正文句子。
D，對一個或多個句子進行hash簽名運算，以獲取網(wǎng)頁正文句子簽名。
湘公網(wǎng)安備 43010302000270號 統(tǒng)一社會信用代碼：92430103MA4LAMB24R 網(wǎng)站ICP備案號：湘ICP備13006070號-2 
