九枝蘭：很多人經常混淆“抓取”和“索引”這兩個概念，你能否解釋一下，以及頁面在什么情況下應該追求索引，什么時候應該追求收錄？

 

昝輝：頁面不要被抓取一般在這種情況下使用：對于一個特定的網站，搜索引擎抓取網站的時長基本是固定的，所以我們應該把抓取時間用在核心頁面上。對于一些大網站，這一點尤其重要，由于網站太大，如果把抓取時間都放在一些過濾頁面上，很容易一組合就幾百萬幾千萬個頁面了，搜索引擎沒有機會也沒有時間再去訪問你想要被訪問的頁面。所以有的時候，你可能希望搜索引擎不要抓某些頁面。那么，那些你不想讓抓的頁面的鏈接盡量不要在網站上出現。你可以用Java去隱藏，或者加nofollow，或者用robots文件禁止搜索引擎去抓這些文件。

 

另外一種情況是，你可以讓搜索引擎抓，但是不想讓搜索引擎索引，“索引”也就是把這個頁面的信息放在它的數據庫當中。有的時候，這兩個，不讓抓取和不讓索引是相反的過程，比如說剛才講的上面提到的過濾頁面。有的時候，其實如果你的網站沒有那么大，你的抓取時間還沒有達到搜索引擎分配給你的上限，那可以讓這些頁面抓取，但是你不想被收錄，因為這些頁面往往都是重復內容，因為它無非就是換個搜索條件，換個篩選條件，重排了一遍，產品還是一樣，所以經常是大量的重復內容。如果這種重復頁面多了的話，搜索引擎有可能認為這個網站是不是有什么問題，或者總體質量不太高。那么你可以讓搜索引擎不去索引這些頁面。你要用頁面頭上的no index標簽，放上no index以后，這些頁面就不會被放到索引庫里。所以在搜索這些頁面的時候，是沒有結果的。但這些頁面其實是被抓取過的，因為如果沒有被抓取的，搜進去根本看不見no index這個標簽，但是你不想讓它被收錄。所以“抓取”和“索引”是兩種不同的情況，處理的時候也要用不同的方法。你需要根據網站的具體情況確定使用哪種技術方法去實現。

 

九枝蘭：當網站巨大，頁面數量特別達到千萬或上億量級，就會出現這樣的情況：有一些頁面非常難被收錄。針對這一塊，有沒有好的解決方案？

 

昝輝：有時候這種情況不可避免，但是我們可以去盡量想辦法。

 

第一， 提高網站整體的權重。整體權重的提高，就會使搜索引擎分配給你的抓取時間也提高，然后整個網站能被帶動，也就使所能允許被索引的頁面總數也能提高。權重很低的網站，它可能就給你三個頁面，你只能收錄那么多，然后抓取時間也很少。但是像新浪啊，阿里巴巴那種級別的，域名又老，權重又高，給它的時間也長，能抓取的機會，能收錄的數量也會相應地提高。這是一方面，提高域名的總體權重。

 

另一方面，提高整個網站內容的平均質量。也就是說盡量讓原創內容更多一點，更新的速度更快一點，使搜索引擎覺得你這個網站內容都是原創的，這樣它能夠更快地收錄你的網站，也能夠消除一些像剛才講的不利于SEO的重復內容。

 

第三個方面，就是剛才講的，SEO工作過程里面的第二步：網站架構的設計。大的網站，頁面多，就必然要想很多方法，怎么能夠使搜索引擎蜘蛛從首頁出發，能夠盡快達到所有的頁面。比如說不要超過4次到5次點擊距離，如果是大一點的網站，可能6到7次點擊距離。但對于大網站，頁面特別多，往往是無論你怎么安排鏈接，怎么安排導航結構，都很難使所有的頁面都在4次點擊距離內。通過網站頁面之間互相的內鏈，內鏈的安排，相關欄目相關產品內鏈的安排，去使搜索引擎蜘蛛從那些已經被收錄的頁面或者欄目，找到一個通路，到達那些沒有被收錄的頁面。基本上，這些方法能夠盡量使網站被收錄和被抓取的頁面能夠越多越好。