为什么你的WordPress外贸网站没有被Google收录?

为什么你的WordPress外贸网站没有被Google收录?

作者:DIYzhan.com |  浏览:175 |  0 条评论

正常情况下,一个新网站(新域名)在建设好后,并向google提交了网站地图,(如何制作网站地图请看文章《WordPress网站如何制作网站地图》,如何向google提交网站地图请看文章《如何让Google,Yahoo,Bing等搜索引擎快速地收录你的外贸网站》),一般网站在3-5天,甚至1-2天就会被google收录了。如果你向google提交了网站地图,过了10天甚至1个月都没有被收录,或者只收录了首页,并提示 “No information is available” , “URL restricted by robots.txt”。

安装WordPress时,生成了robots.txt禁止了你的网站被收录

那么你网站很可能是被你网站根目录下的 robots.txt限制了google的收录。robots.txt位于你网站根目录下,是和wp-content, wp-admin, wp-includes在同一层。如下图:

robots.txt的用来告诉搜索引擎,你网站目录下哪些内容是可以收录的,哪些内容是不可以收录的。WordPress在安装的时候,在最后一步有提示你,你的网站是否要被google收录。

如果你禁止收录,它就会在网站根目录下生成一个禁止搜索引擎收录的robots.txt, 禁止搜录的robots.txt的规则如下:

User-agent: *
Disallow: /

如果是WordPress安装时候选择了禁止收录,如何开放重新收录:

如果你在网站建设好了之后要重新开放给搜索引擎收录,你只需要在WordPress后台, 在路径 Setting(设置)->Reading(阅读), 打开Reading页面,拉到最底下,不要勾选”Discourage search engines from indexing this site(建议搜索引擎不索引本站点)“:

如果robots.txt还禁止搜索引擎收录

如果在wordpress后台已经不勾选”Discourage search engines from indexing this site(建议搜索引擎不索引本站点)“,但robots.txt还是禁止搜索引擎收录,你可以进入空间的文件管理器(进入前点击勾选显示隐藏文件), 找到robots.txt , 直接删除或者修改为允许搜索引擎收录,并保存。这个robots.txt该怎么写 ?如下:

User-agent: *
Allow: /

Sitemap: http://www.example.com/sitemap.xml

解析:

  1. 所有其他用户代理均可访问整个网站。
  2. 网站的站点地图文件位于 http://www.example.com/sitemap.xml。

修改了robots.txt后,重新提交网站地图,等google更新后你的网站就会慢慢被收录了

PS: 有部分网友在使用文件管理器进入后找不到robots.txt, 可能该robots.txt的个隐藏文件,在进入文件管理器前,请勾选显示隐藏文件。 或者使用FTP登陆空间文件夹目录,即可看到。

robots.txt存在但google抓取失败的不良影响

虽然您有 robots.txt 文件,但系统目前无法抓取此文件。在这种情况下,系统要么会停止抓取您的网站,直至获得 robots.txt 内容后再继续抓取;要么会按照上一版已知有效的 robots.txt 文件实施抓取。所以,一定要确定你的robots.txt语法正确,并能够被读取得到,你可以输入你的网址:domain.com/robots.txt 去访问下,看能否访问,并到google webmasers的google抓取工具的robots.txt那里测试下,并请求google 更新。

下面是google对robots.txt的一些说明:

https://support.google.com/webmasters/answer/6062596?hl=zh-Hans&ref_topic=6061961&authuser=0

 

 

原创文章,转载请注明: 转载自DIYzhan.com-从零开始自己做外贸网站和海外网络营销
本文链接地址:http://www.diyzhan.com/2018/02/why-not-index/

相关推荐
更多

发表评论

长按扫我微信
需要帮助?
点击这里给我发消息