資訊中心
通過robots.txt文件屏蔽蜘蛛抓取不存在的后綴
關鍵詞：文件,后綴,robots 來源：南寧網站建設公司 作者：云尚網絡 發布日期：2022-04-02????瀏覽次數：1665
通過網站日志分析，會發現搜索引擎蜘蛛抓取了一些網站上不存在的文件后綴，如：.php、.asp、.aspx等。
搜外網站后臺日志分析結果如下圖：
搜外主站實際上不存在php后綴的URL地址。
可通過robots.txt文件禁止蜘蛛抓取不存在的后綴，減少出現404返回值。
在robots.txt文件填寫屏蔽規則如下：
注意前面一個*，后面一個$，代表后綴。
參考搜外的robots.txt文件寫法，點擊這里
擴展閱讀：
robots.txt概念和10條注意事項
評論（0 條評論）
