微信: 30955
【太倉(cāng)網(wǎng)站優(yōu)化】搜索引擎指紋算法是什么?常見(jiàn)的搜索引擎指紋算法有哪些?,!
發(fā)布于 2021-12-25 20:27:36 閱讀()
互聯(lián)網(wǎng)上肯定會(huì)存在大量的重復(fù)內(nèi)容網(wǎng)頁(yè),這時(shí)需要有一個(gè)過(guò)濾的機(jī)制,,主要目的是處理文本內(nèi)容的去重,、過(guò)濾和聚類(lèi),而搜索引擎指紋算法是屬于文章質(zhì)量度的一種算法,。那么搜索引擎指紋算法是什么?常見(jiàn)的搜索引擎指紋算法有哪些?【網(wǎng)站優(yōu)化】
一,、搜索引擎指紋算法是什么?
簡(jiǎn)單來(lái)說(shuō)搜索引擎指紋算法就和人的指紋一樣,,看起來(lái)這個(gè)手指是差不多的,但是實(shí)際上每一個(gè)人的手指都有一個(gè)獨(dú)一無(wú)二的指紋,,而我們所看到的網(wǎng)頁(yè)也是一樣的,。不少網(wǎng)頁(yè)內(nèi)容其實(shí)都是差不多的,但是每一個(gè)網(wǎng)頁(yè)搜索引擎抓取以后都會(huì)保存,,然后建立一個(gè)指紋,,可以理解為唯一標(biāo)識(shí)符,而這個(gè)算法最大的好處就是可以通過(guò)這個(gè)唯一標(biāo)識(shí)別符來(lái)計(jì)算網(wǎng)頁(yè)的重復(fù),。
搜索引擎網(wǎng)頁(yè)指紋技術(shù)在百科詞條中的解釋是:提取一個(gè)信息的特征,,通常是一組詞或者一組詞+權(quán)重,然后根據(jù)這組詞調(diào)用特別的算法,,例如MD5,,將之轉(zhuǎn)化為一組代碼,這組代碼就成為標(biāo)識(shí)這個(gè)信息的指紋,。搜索引擎在抓取內(nèi)容之后,,會(huì)首先剔除掉文章中的一些非特征信息關(guān)鍵詞,比如:你,、我,、他等稱(chēng)謂;而且、但是等連接詞;哦,、呢,、吧等語(yǔ)氣詞。這些詞對(duì)于信息標(biāo)識(shí)是沒(méi)有幫助的,,然后就是對(duì)文字信息的提取與處理,,經(jīng)過(guò)一系列復(fù)雜的算法流程。
二,、常見(jiàn)的搜索引擎指紋算法有哪些?
最簡(jiǎn)單的指紋構(gòu)造方式就是計(jì)算文本的md5或者sha哈希值,,除非輸入相同的文本,否則會(huì)發(fā)生“雪崩效應(yīng)”,,極小的文本差異通過(guò)md5或者sha計(jì)算出來(lái)的指紋就會(huì)不同(發(fā)生沖撞的概率極低),,那么對(duì)于稍加改動(dòng)的文本,計(jì)算出來(lái)的指紋也是不一樣,。
因此,,一個(gè)好的指紋應(yīng)該具備如下特點(diǎn):
1、指紋是確定性的,,相同的文本的指紋是相同的;
2,、指紋越相似,文本相似性就越高;
3,、指紋生成和匹配效率高,。
業(yè)界關(guān)于文本指紋去重的算法眾多,,如k-shingle算法、google提出的simhash算法,、Minhash算法,、top k最長(zhǎng)句子簽名算法等。搜索引擎指紋算法和一般的算法不一樣的地方在于它是針對(duì)網(wǎng)頁(yè)集合來(lái)進(jìn)行判斷的,,不像網(wǎng)頁(yè)去重這種算法是頁(yè)面與頁(yè)面之間判斷,。而指紋是通過(guò)大數(shù)據(jù)進(jìn)行集合判斷,最后通過(guò)唯一標(biāo)識(shí)符號(hào)判斷網(wǎng)頁(yè)內(nèi)容是否原創(chuàng),。
以上就是《搜索引擎指紋算法是什么?常見(jiàn)的搜索引擎指紋算法有哪些?》的全部?jī)?nèi)容,,僅供站長(zhǎng)朋友們互動(dòng)交流學(xué)習(xí),SEO優(yōu)化是一個(gè)需要堅(jiān)持的過(guò)程,,希望大家一起共同進(jìn)步,。
相關(guān)閱讀
- 太倉(cāng)企業(yè)網(wǎng)站建設(shè)是選擇價(jià)格還是選擇性能
- 在網(wǎng)絡(luò)營(yíng)銷(xiāo)中,怎么設(shè)計(jì)好的網(wǎng)站
- 網(wǎng)站建造主頁(yè)對(duì)于網(wǎng)站的重要性
- 2020年找網(wǎng)站制造公司做一個(gè)網(wǎng)站要多少錢(qián),?
- 2020年如何做招引用戶(hù)的網(wǎng)站規(guī)劃,?
- 2020年規(guī)劃企業(yè)網(wǎng)站建造前,先看這幾點(diǎn)
- 找網(wǎng)絡(luò)公司做網(wǎng)站之前要自我剖析這九點(diǎn)
- 網(wǎng)站優(yōu)化并不徹底等于SEO優(yōu)化
- 快速了解在網(wǎng)站建設(shè)一般需求多久,?
- 快速了解在網(wǎng)站建設(shè)一般需求多久,?
新聞資訊
-
網(wǎng)站建造主頁(yè)對(duì)于網(wǎng)站的重要性 2020-09-04
-
2020年如何做招引用戶(hù)的網(wǎng)站規(guī)劃? 2020-09-04