一、爬蟲如何抓取您的網(wǎng)站？
百度會在網(wǎng)絡(luò)上的某個位置找到指向您網(wǎng)站的鏈接。
此時，該URL是虛擬堆的開始。之后這個過程非常簡單：百度蜘蛛從那一堆中獲取一頁；它抓取頁面并索引所有內(nèi)容以供在百度中使用；然后它將該頁面上的所有鏈接添加到堆中。在抓取過程中，百度蜘蛛可能會遇到重定向。它被重定向到的URL在堆上。
您的主要目標(biāo)是確保百度蜘蛛可以訪問該網(wǎng)站上的所有網(wǎng)頁。第二個目標(biāo)是確保快速抓取新內(nèi)容和更新內(nèi)容。良好的網(wǎng)站架構(gòu)將幫助您實現(xiàn)這一目標(biāo)。盡管如此，您仍然可以很好地維護(hù)您的網(wǎng)站。
二、爬行深度
在談?wù)撆佬袝r，一個重要的概念是爬行深度的概念。假設(shè)您有1個鏈接，從您的網(wǎng)站上的1個網(wǎng)站到1個網(wǎng)頁。此頁面鏈接到另一個，另一個，另一個，等等.百度蜘蛛將繼續(xù)爬行一段時間。但在某些時候，它會決定不再需要繼續(xù)爬行。當(dāng)這一點時，取決于指向第一頁的鏈接的重要性。
這似乎是理論上的，所以讓我們看一個實際的例子。如果您有10,000個帖子，則所有帖子都屬于同一類別，并且每頁顯示10篇文章。這些頁面僅鏈接到“下一個”和“上一個”。百度需要抓取1,000頁深度才能獲得這10,000個帖子中的第一個。在大多數(shù)網(wǎng)站上，它不會這樣做。
這就是為什么重要的是：使用類別/標(biāo)簽和其他分類法進(jìn)行更細(xì)粒度的細(xì)分。不要過度使用它們。根據(jù)經(jīng)驗，標(biāo)記僅在連接3個以上內(nèi)容時才有用。此外，請確保優(yōu)化這些類別檔案。
鏈接到帶有數(shù)字的更深層頁面，因此百度蜘蛛可以更快地到達(dá)目的地。假設(shè)你鏈接第1頁的第1頁到第10頁并繼續(xù)這樣做。在上面的示例中，最深的頁面只有100次點擊遠(yuǎn)離主頁。
保持您的網(wǎng)站快速。您的網(wǎng)站越慢，抓取的時間就越長。
三、XML站點地圖和抓取效率
您的站點應(yīng)具有一個或多個XML站點地圖。這些XML站點地圖告訴百度您網(wǎng)站上存在哪些網(wǎng)址。一個好的XML站點地圖還會指示您上次更新特定URL的時間。大多數(shù)搜索引擎會比其他搜索引擎更頻繁地抓取XML站點地圖中的URL。
在百度搜索控制臺中，XML站點地圖為您提供了額外的好處。對于每個站點地圖，百度都會向您顯示錯誤和警告。您可以通過為不同類型的URL創(chuàng)建不同的XML站點地圖來實現(xiàn)此目的。這意味著您可以查看網(wǎng)站上哪些類型的網(wǎng)址出現(xiàn)問題最多。
四、導(dǎo)致爬行效率低的問題
1.許多404和其他錯誤
當(dāng)它抓取您的網(wǎng)站時，百度會遇到錯誤。它通常只是從堆中挑選下一頁。如果您在抓取過程中網(wǎng)站上有很多錯誤，百度蜘蛛會放慢速度。這樣做是因為它害怕它通過爬得太快而導(dǎo)致錯誤。為防止百度蜘蛛放慢速度，您需要盡可能多地修復(fù)錯誤。
百度會在其網(wǎng)站站長工具中向您報告所有這些錯誤，360和搜狗也是如此。我們之前已經(jīng)在百度搜索控制臺和360網(wǎng)站管理員工具中介紹了錯誤 。
您不會是我們看到的第一個客戶端，它在百度搜索控制臺中有3,000個實際URL和20,000個錯誤。不要讓您的網(wǎng)站成為該網(wǎng)站。至少每個月定期修復(fù)這些錯誤。
2.301重定向過多
我最近在一個剛剛完成域遷移的網(wǎng)站上進(jìn)行咨詢。該網(wǎng)站很大，所以我使用我們的一個工具來運行網(wǎng)站的完整抓取，看看我們應(yīng)該修復(fù)什么。很明顯我們有一個大問題。此站點上的一大組URL始終鏈接到?jīng)]有尾部斜杠。如果您使用不帶尾部斜杠的此類URL，則會重定向301。您將被重定向到帶有斜杠的版本 。如果您網(wǎng)站上的一個或兩個網(wǎng)址存在問題則無關(guān)緊要。實際上這通常是主頁的問題。如果這是您網(wǎng)站上250,000個網(wǎng)址的問題，那么這就成了一個更大的問題。百度蜘蛛不必抓取250,000個網(wǎng)址，而是抓取500,000個網(wǎng)址。這不是很有效率。
這就是為什么在更改網(wǎng)址時應(yīng)始終嘗試更新網(wǎng)站中的鏈接的原因。如果不這樣做，隨著時間的推移，您將獲得越來越多的301重定向。這會降低您的抓取速度和用戶速度。大多數(shù)系統(tǒng)需要一秒鐘來服務(wù)器重定向。這會在頁面加載時間上再增加一秒。
3.蜘蛛陷阱
如果您的網(wǎng)站在百度眼中更具權(quán)威性，那么有趣的事情就會發(fā)生。即使很明顯鏈接沒有意義，百度也會抓取它。給百度虛擬相當(dāng)于一個無限螺旋樓梯，它將繼續(xù)前進(jìn)。