很多建設(shè)系統(tǒng)在建設(shè)網(wǎng)站后，在所有網(wǎng)站的根目錄中默認(rèn)robots.txt協(xié)議文件。 在網(wǎng)站優(yōu)化競爭日益激烈的今天，最初設(shè)立的沒有優(yōu)化因素的robots.txt文件也被最大化使用，掌握了其寫法，掌握了有無患者。




robots.txt協(xié)議文件有什么用？




搜索引擎訪問網(wǎng)站時，第一個訪問的文件是robots.txt。 她告訴搜索引擎蜘蛛能捕獲哪個網(wǎng)站頁面，不能捕獲哪個網(wǎng)站頁面。 從表面上看，這個功能的作用有限。 從搜索引擎優(yōu)化的觀點來看，屏蔽頁面可以起到集中權(quán)重的作用，這也是優(yōu)化者最重要的地方。




以seo站點為例，robots.txt文件如下：




https://www.xminseo.com/wp-content/uploads/2017/09/1-29.png




2 :在網(wǎng)站上安裝robots.txt的幾個理由。




1 :設(shè)置訪問權(quán)限以保護(hù)站點安全。




2 :禁止搜索引擎爬無效的頁面，把權(quán)重集中在主頁上。




三：如何用標(biāo)準(zhǔn)寫法寫協(xié)議？




我們需要掌握一些概念。




User-agent指示定義哪個搜索引擎，如User-agent:Baiduspider，并定義百度蜘蛛。




Disallow表示禁止訪問。




Allow表示要執(zhí)行訪問。




以上三個命令可以組合多種寫法，允許哪個搜索引擎訪問或禁止哪個頁面。




四： robots.txt文件放在哪里？




這個文件必須放在網(wǎng)站的根目錄中，字符大小有限制。 文件名必須是小寫字母。 所有命令的第一個字母必須是大寫字母。 其余的小寫字母。 另外，命令后需要英語文字空間。




5 :我需要什么時候使用這個協(xié)議？




1 :浪費的頁面，很多網(wǎng)站都有聯(lián)系方式和用戶協(xié)議等頁面。 這些頁面對搜索引擎的優(yōu)化沒有太大的效果




2 :動態(tài)頁面、企業(yè)類型網(wǎng)站屏蔽動態(tài)頁面，有助于網(wǎng)站的安全。 另外，多個網(wǎng)站訪問同一頁面時，權(quán)重會分散。 因此，通常會屏蔽動態(tài)頁面，并保留靜態(tài)或偽靜態(tài)頁面。




3 :網(wǎng)站背景頁面、網(wǎng)站背景也可以分類為無用的頁面，禁止收錄是有益的，沒有害處。




資料來源： robots.txt協(xié)議