蜘蛛爬行规则

了解蜘蛛爬行规则，才能提高蜘蛛对网站的爬行频次

外链让蜘蛛访问网站，这可能吸引蜘蛛为网站服务。外链可能添加网站页面在蜘蛛后面的曝光度，从而防止蜘蛛找到