<strong id="vlglo"></strong>
    1. <rt id="vlglo"><menuitem id="vlglo"></menuitem></rt>
        1. 易捷網絡專注企業網站建設
          11年企業網站建設經驗、響應式網站建設,兼容PC、手機、平板全
          終端,給你更佳的瀏覽體驗...
          QQ在線咨詢

          與spider溝通渠道:robots

          來源:網站建設行業資訊網         添加時間:2022-1-17
          摘要:

          robots是站點與spider溝通的重要渠道,站點通過robots文件聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意,僅當您的網站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件。

          robots文件往往放置于根目錄下,包含一條或更多的記錄,這些記錄通過空行分開(以CR,CR/NL,orNL作為結束符),每一條記錄的格式如下所示:
          ":"

          在該文件中可以使用#進行注解,具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始,后面加上若干Disallow和Allow行,詳細情況如下:
          User-agent:該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則對任何robot均有效,在"robots.txt"文件中,"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名為"SomeBot"只受到"User-agent:SomeBot"后面的Disallow和Allow行的限制。

          Disallow:該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html,不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網站的所有url,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件,則對于所有的搜索引擎robot,該網站都是開放的。

          Allow:該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有URL的功能。

          使用"*"and"$":Baiduspider支持使用通配符"*"和"$"來模糊匹配url。
          "*"匹配0或多個任意字符
          "$"匹配行結束符。

          較后需要說明的是:百度會嚴格遵守robots的相關協議,請注意區分您不想被抓取或收錄的目錄的大小寫,百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做—有效匹配,否則robots協議無法生效。

          以上內容由科技(深圳網站設計,深圳網站制作)為您提供,更多精彩內容:http://www.xazcit.com/

          網站建設計最新案例賞析:


          廣東思遠工程技術網站制作首頁設計效果圖
          廣東思遠工程技術
          廣東童年之家實業網站制作首頁設計效果圖
          廣東童年之家實業
          深圳四強科技網站制作首頁設計效果圖
          深圳四強科技
          深圳尚青文化創意網站制作首頁設計效果圖
          深圳尚青文化創意
          山東博納電氣網站制作首頁設計效果圖
          山東博納電氣
          深圳信雅文化傳播網站制作首頁設計效果圖
          深圳信雅文化傳播
          上海傲秀展覽展示網站制作首頁設計效果圖
          上海傲秀展覽展示
          深圳大獅影業攝影廣告網站制作首頁設計效果圖
          深圳大獅影業攝影廣告
          陜西松峰實驗設備網站制作首頁設計效果圖
          陜西松峰實驗設備
          東莞吉川機械科技網站制作首頁設計效果圖
          東莞吉川機械科技
           

          網站建設行業資訊推薦閱讀:


          企業網站建設行業信息服務發布平臺!
          (www.ykcly.cn)版權所有
          日韩AV乱伦