wordpress修改robots.txt文件插件KB Robots.txt

在使用wordpress的时候，常常会碰到不能修改、设置Robots.txt文件的问题。即使用ftp工具从根目录下载robots，修改后上传依然显示原来的内容，根本无法从新设置。这是因为wp自带的robots.txt文件是虚拟robots，它会一直保持默认文件内容。

下面我就教大家一个最简单的方法解决这个问题，使用KB Robots.txt插件

插件安装

1、自动下载安装：wordpress后台“插件”→“安装查件”→在搜索框中输入“KB Robots.txt”搜索→选择第一个安装

2、手动下载插件：点击此处下载KB Robots插件，注意下载的是.zip文件，先不要解压。然后进入wp后台，找到外观→插件→安装插件→上传，选择刚刚下好的zip文件，直接上传，点击开始安装即可。

使用插件

安装完毕后，你会在后台“设置”中找到KB robots.txt这个插件，点击插件进入后，在输入框中进行编辑(KB robots.txt这个插件设置页面有robots编写的简单提示，在本页面的submit按钮下面，不太明白的朋友可以看一下，或者百度一下)，robots写好后，点击“submit”按钮发送即可。这是以我的博客为例，都是非常基本的robots设置。

User-agent: *
Disallow: /*?*
Disallow: /index.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /360safe
Disallow: /avatar

Disallow: /trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments
Disallow: /*/comments

Sitemap: https://www.csyor.com/sitemap.xml

查看地址：https://www.csyor.com/robots.txt

注意事项

Robots的写法非常的灵活，建议在网站初期可以先设置基础robots规则，比如：禁止抓取动态页面，禁止抓取wp后台文件，以及抓取sitemap地址等。详尽的robots优化，需要视自己网站的情况而定，不应乱抄袭，建议在整体分析网站日志，了解蜘蛛抓取页面的行为后，在进行详细的robots优化。