robots是網站非常重要的一個指令，公司網站上線之前部署好非常重要。我們可以用這個指令告知搜索引擎哪些內容是需要它們收錄的，哪些敏感信息是不需要它們收錄的。如下圖：
該指令意思就是：允許所有蜘蛛爬行網站，但是有些目錄做了限制。/*？*這個指令是禁止所有動態頁面被蜘蛛抓取到。(如果企業網站是純靜態編寫，這個指令是非常有用的。可以解決引擎重復收錄的煩惱和黑客攻擊流量的煩惱)。
網站運維者在部署robots協議的時候一定要仔細，防止所有頁面被引擎清空。小編就遇到這么一次，不小心設置了禁止所有引擎抓取網站，悲催的事情發生了——所有索引一夜之間消失。好在更新及時才挽回損失。下一次小編專門給大家講一下失誤是如何解決的，很實用。
最好是可以在站長robots工具進行設置，很方便。工具地址大家在度娘搜索。今天就給大家講到這里，希望您收獲滿滿。中秋快樂！
上一篇
公司網站是否需要做等保下一篇
公司網站更換新服務器會有哪些影響
