Robots协【xié】议也称为爬虫【chóng】协议、爬虫规则、机器人【rén】协【xié】议等，也就是robots.txt，网站通【tōng】过【guò】Robots协【xié】议告诉搜【sōu】索引擎可以抓取哪【nǎ】些页面和不能抓取哪些页【yè】面，优化网站的收录【lù】和【hé】权重。
User-agent: * Disallow: /wp-admin/ Disallow: /wp-include/ Disallow: /wp-login* Disallow: /?s=* sitemap: https://域名/wp-sitemap-posts-post-1.xml
在网站根目【mù】录创建名为robots.txt的文件【jiàn】，把以上【shàng】内【nèi】容粘贴到txt文【wén】件内，再把【bǎ】内容的最后一条【tiáo】的“域【yù】名【míng】”修改成自己网【wǎng】站的域名并保存文件。
版权所有：深圳市网商在线科技有限公司
