對于搜索引擎而言，爬蟲效率的一個重要評價標準就是爬蟲開銷。淺析提高全棲運營網站的抓取率的方法有哪些？

Dasgupta等人將爬蟲開銷定義為：爬蟲開銷=重復抓取的老頁面數/發掘的新頁面數。那么，爬蟲的抓取頻率以及效率該如何優化呢？下面進行具體介紹。

首先，以robots.txt命名的文本文件是個很強的利器，當網站上擁有重復內容、無內容且無意義頁面等類似內容的時候，就可以果斷地用robots.txt屏蔽掉。這里需要注意：robots.txt文件可以用通配符書寫，書寫是比較自由的。建議把xml格式的sitemap路徑放在robots.txt文件中，供搜索引擎尋找。

其次，當需要合理地、有效率地下載一個網站時，設置參數nofollow，可以讓百度搜索引擎不抓取頁面上的所有鏈接。在robots.txt文件中添加rel=“noindex”語句，不能阻止百度爬蟲抓取，因為noindex參數可以讓搜索引擎不把當前網頁置入索引庫，但是頁面上所有的鏈接，爬蟲都會去分析。若要屏蔽鏈接，要加上nofollow參數。

總之，提高爬蟲的抓取效率在SEO之中是一件比較重要的事情，尤其對于中大型網站而言，應該將大部分精力放在讓爬蟲抓取更多更準的頁面上，而不是讓它抓到無意義的頁面。