網站上線都一個多月了,收錄挺快的,但為什么搜索引擎蜘蛛抓取頻次僅有個位數呢?這么低的蜘蛛抓取頻次能否完成全站內容的爬行及抓取呢?
1、站點內容不夠充實
對于新站而言,當前內容體積較小,并沒有太多的頁面供蜘蛛抓取。再加上網站系統產生的低質量格式化頁面,致使優質頁面在全站頁面數量中占比較少。
建議:保持網站內容持續更新,尤其是新做的網站上線初期,網站的更新質量以及更新頻率都很重要。試想一下一個內容質量較高且更新頻繁的站點,有什么理由得不到搜索引擎的青睞,及時提交新產出的資源給搜素引擎,是改善新站抓取頻次過低的第一步。其次搜索引擎盡管對新站的考核力度較大(沙盒效應),但在收錄上同樣給新站開辟了綠色通道(網站完成備案信息,合理利用新站保護扶持)。
2、站點沒有得到足夠的認可
新站說白了就是白紙一張,要是內容沒有內容,要收錄沒有收錄。在這樣的情況下,沒有流量也就沒有數據,搜索引擎無法對網站做出評價,因此很難得到搜索引擎的信賴。
建議:隨著網站的持續經營,網站的內容不斷擴充,蜘蛛抓取就會變得頻繁。新站內容建設固然重要,但需要注意的是,網站大量復制采集而來的內容,很容易導致被判定為低質量站點,從而再次降低蜘蛛抓取頻次,甚至是不再抓取。因此需要在保證質量的基礎上提高數量,其次對新站留有足夠的耐心。
優化蜘蛛抓取效率提升網站抓取頻次
1、通過外鏈提升網站鏈接被蜘蛛爬行的機會
搜索引擎蜘蛛的工作原理與爬蟲程序類似,是一個不斷循環的過程,首先對URL資源列表逐條訪問,其次提取當前頁面中的新URL鏈接,接著對新URL鏈接資源進行篩選過濾,最后將過濾后剩余的URL資源推送至資源列表。一般情況下高質量站點蜘蛛抓取頻繁,而通過外鏈將網站鏈接放置在蜘蛛經常訪問的地方,無疑增加了該鏈接被蜘蛛爬行的機會,思維上與前幾年較為流行的蜘蛛池類似。
2、合理的內鏈結構配合Nofollow屬性引導蜘蛛抓取
假設通過外鏈引來了蜘蛛爬行,那么如何增加站內其他URL被抓取的機會呢?這就需要通過內鏈結構優化,幫助蜘蛛程序更好的識別抓取站內鏈接(面包屑導航、最新文章推送、相關閱讀推送、標簽集合等)。另外對于質量較低但卻不能從網站結構中剔除的頁面而言,就需要用到Nofollow引導蜘蛛爬行了,比如首頁上關于我們,聯系我們等搜索價值較低的頁面,就可以通過Nofollow提高蜘蛛程序的抓取效率,將抓取機會留給供重要的頁面。
無論是蜘蛛池還是外鏈都是為了提升蜘蛛爬行機會,但當下的站長工具可以通過多種方式進行URL提交,因此站長并不用將太多的精力放到蜘蛛引入上,更需要考慮的是網站內容建設的質量,以及站內鏈接優化是否合理。SEO是一個長期堅持的過程,只有堅持才會收獲希望,而不是等坐等希望再去堅持。