为什么你的WordPress外贸网站没有被Google收录？

正常情况下，一个新网站（新域名）在建设好后，并向google提交了网站地图，（如何制作网站地图请看文章《WordPress网站如何制作网站地图》，如何向google提交网站地图请看文章《如何让Google,Yahoo,Bing等搜索引擎快速地收录你的外贸网站》），一般网站在3-5天，甚至1-2天就会被google收录了。如果你向google提交了网站地图，过了10天甚至1个月都没有被收录，或者只收录了首页，并提示 “No information is available” , “URL restricted by robots.txt”。

安装WordPress时，生成了robots.txt禁止了你的网站被收录

那么你网站很可能是被你网站根目录下的 robots.txt限制了google的收录。robots.txt位于你网站根目录下，是和wp-content, wp-admin, wp-includes在同一层。如下图：

robots.txt的用来告诉搜索引擎，你网站目录下哪些内容是可以收录的，哪些内容是不可以收录的。WordPress在安装的时候，在最后一步有提示你，你的网站是否要被google收录。

如果你禁止收录，它就会在网站根目录下生成一个禁止搜索引擎收录的robots.txt， 禁止搜录的robots.txt的规则如下：

User-agent: *
Disallow: /

如果是WordPress安装时候选择了禁止收录，如何开放重新收录：

如果你在网站建设好了之后要重新开放给搜索引擎收录，你只需要在WordPress后台， 在路径 Setting(设置)->Reading(阅读)， 打开Reading页面，拉到最底下，不要勾选”Discourage search engines from indexing this site(建议搜索引擎不索引本站点)“：

如果robots.txt还禁止搜索引擎收录

如果在wordpress后台已经不勾选”Discourage search engines from indexing this site(建议搜索引擎不索引本站点)“，但robots.txt还是禁止搜索引擎收录，你可以进入空间的文件管理器（进入前点击勾选显示隐藏文件), 找到robots.txt , 直接删除或者修改为允许搜索引擎收录，并保存。这个robots.txt该怎么写 ？如下：

User-agent: *
Allow: /

Sitemap: http://www.example.com/sitemap.xml

解析：

1. 所有其他用户代理均可访问整个网站。
2. 网站的站点地图文件位于 http://www.example.com/sitemap.xml。

修改了robots.txt后，重新提交网站地图，等google更新后你的网站就会慢慢被收录了

PS: 有部分网友在使用文件管理器进入后找不到robots.txt, 可能该robots.txt的个隐藏文件，在进入文件管理器前，请勾选显示隐藏文件。 或者使用FTP登陆空间文件夹目录，即可看到。

robots.txt存在但google抓取失败的不良影响

虽然您有 robots.txt 文件，但系统目前无法抓取此文件。在这种情况下，系统要么会停止抓取您的网站，直至获得 robots.txt 内容后再继续抓取；要么会按照上一版已知有效的 robots.txt 文件实施抓取。所以，一定要确定你的robots.txt语法正确，并能够被读取得到，你可以输入你的网址：domain.com/robots.txt 去访问下，看能否访问，并到google webmasers的google抓取工具的robots.txt那里测试下，并请求google 更新。

下面是google对robots.txt的一些说明：

https://support.google.com/webmasters/answer/6062596?hl=zh-Hans&ref_topic=6061961&authuser=0

原创文章，转载请注明： 转载自DIYzhan.com-从零开始自己做外贸网站和海外网络营销
本文链接地址:https://www.diyzhan.com/2018/02/why-not-index/