wordpress主题建站,选择WEB主题公园中文原创企业网站模板!

WordPress技术博客 news
您现在的位置:首页 > WordPress技术博客 > 教你设置wordpress的robots

本周推荐网站模板

WordPress主题视频教程

最近更新的WordPress主题
最新更新过的网站模板

教你设置wordpress的robots

发布时间:2013/06/12 WordPress技术博客 wp应用技术 1764 0

robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守。一些病毒如malware(马威尔病毒)经常通过忽略robots协议的方式,获取网站后台数据和个人信息。

我们建立一个网站,有一些内容是不希望搜索引擎收录的,比如重复性的内容,动态的页面等,这些页面被搜索引擎发现之后,会降低权重,从而影响收录和排名,甚至有时候会导致被K站,这样就得不偿失了,这里小编就来教你如何设置wordpress的robots.txt

语法:

Disallow: /?s=
Allow:.htm$

Disallow: 是告诉搜索引擎不要收录  /?s= 则是禁止收录的链接

Allow是告诉搜索引擎可以收录

具体如下:

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图

基于这个,小编这里给大家写了一些针对wordpress的robots.txt:

1. 你的wordpress网站设置了伪静态后缀,打开内页的域名和WEB主题公园一样 是这样子的:www.****.com/***.html,那么可以参考下面的robots.txt

User-agent: *
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?*
Disallow: /cgi-sys/
Disallow: /img-sys/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: (填写你的网站地图xml)
# END XML-SITEMAP-PLUGIN

2.如果你的网站并没有做伪静态化,你的内页出现的是www.***.com/?P=123
那么可以使用下面的robots.txt:

User-agent: *
Disallow: /?s=
Disallow: /?feed=
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?tis=buy$
Disallow: /*?tis=dl$
Disallow: /*?tis=img$
Disallow: /cgi-sys/
Disallow: /img-sys/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: (填写你的网站地图xml)
# END XML-SITEMAP-PLUGIN

以上内容仅供参考,你的针对你自己的网站做出一些修改和选择,最后转写完这些编码之后,将他们保存在一个名为robots.txt的文档中,上传到网站的根目录就OK了!  是不是很简单呢,如果你的wordpress网站还没有设置robots.txt,那赶快去设置把!
希望以上文章对你有所帮助!

WordPress原创主题,高端网站模板建站,网站模板建站资源以及开发知识分享,尽在WEB主题公园

如未标明出处,所有文章均为WEB主题公园原创,如需转载,请附上原文地址,感谢您的支持和关注。

============关于WEB主题公园=============

WEB主题公园致力于开发适合中国人习惯的中文WordPress网站模板,并提供全程视频教程,让您能够轻松的使用网站模板建立好自己的网站!

分享WordPress开发,网站维护经验,分享更多有用的WordPress知识

WEB主题公园--做最好的中文原创WordPress主题,网站模版。