SEO robots协议 （ WordPress - robots.txt ）

我的网站怎么不被收录？什么是Robots？什么是动态地址？什么是静态地址？ WordPress 的 Robots.txt 协议怎么写？ SEO

我自建blog网站：https://tl8517.com/ 已经很长时间了。 搜索引擎就是不收录我的网址，除了Google收录了（网站就是建在Google云，不可能自家的都不会不收录吧），其它的搜索引擎都不能收录。

百度也没有收录，但是我在贴吧发的帖子却收录了！其它的搜索引擎bing，搜狗,雅虎搜索，360搜索是什么都没有收录。吐血~~~

难道是百度收录是要查看网站备案情况的吗？查了下资料备案也不是必须的。

什么是Robots？

Robots是网站跟爬虫间的协议，是约束，一般的搜索引擎爬虫都会遵守这个协议的，而且robots.txt一般也是站点为了更好被搜索引擎收录。当搜索蜘蛛访问站点时，它首先检查站点根目录下是否存在Robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

我网站根目录下并没有robots.txt文件，蜘蛛还是不收录，不知什么原因。难道我的网页是蜘蛛的天敌吗！

什么是动态网页地址？什么是静态网页地址？

除了朴素是动态地址，其它全都是静态地址（伪静态）

定义来自网络：

静态网页：

（1）静态网页不能简单地理解成静止不动的网页，他主要指的是网页中没有程序代码，只有HTML（即：超文本标记语言），一般后缀为.html,.htm,或者.xml等。虽然静态网页的页面一旦做成，内容就不会再改变了。但是，静态网页也包括一些能动的部分，这些主要是一些GIF动画等

（2）静态网页的打开，用户可以直接双击，并且不管任何人任何时间打开的页面的内容都是不变的。

动态网页：

（1）动态网页是指跟静态网页相对的一种网页编程技术。动态网页的网页文件中除了HTML标记以外，还包括一些特定功能的程序代码，这些代码可以使得浏览器和服务器可以交互，所以服务器端根据客户的不同请求动态的生成网页内容。

即：动态网页相对于静态网页来说，页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。

（2）动态网页，与网页上的各种动画、滚动字幕等视觉上的动态效果没有直接关系，动态网页也可以是纯文字内容的，也可以是包含各种动画的内容，这些只是网页具体内容的表现形式，无论网页是否具有动态效果，只要是采用了动态网站技术（如PHP、ASP、JSP等）生成的网页都可以称为动态网页。

WordPress的Robots协议怎么写？

Robots协议命令

User-agent: User-agent:是用来指定搜索引擎的，这里我们网站一般是允许搜索引擎访问的，因此书写为“User-agent: * ”，这里的“ * ”是通用命令符。

Disallow: 在上面我们已经说了“Disallow: ”就是禁止抓取的意思，使用“Disallow: ”我们告诉搜索引擎那些网站内容不允许收录和抓取。

Allow: “Allow:”是允许的意思，也就是我使用“Allow:”可以告诉搜索引擎那些网站内容可以被收录抓取。

Sitemap: “Sitemap:”用来告诉搜索引擎抓取我们网站的网站地图Sitemap.xml文件的位置。

robots.txt内容如下（命令的含义可查看原帖）：

User-agent: *
Allow: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /wp-*
Disallow: /wp-*.php
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /*?connect=*
Disallow: /page/
Disallow: /page/*
Disallow: /*/*/page/
Disallow: /page/1$
Disallow: /date/
Disallow: /xmlrpc.php
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /trackback/
Disallow: /*/trackback
Disallow: */trackback
Disallow: /*/*/trackback
Disallow: /feed
Disallow: /feed/
Disallow: /*/feed
Disallow: */feed
Disallow: */feed*/feed
Disallow: /*/*/feed
Disallow: /comments/
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*/?s=*
Disallow: /?p=*
Disallow: /?p=*&preview=true
Disallow: /?page_id=*&preview=true
Disallow: /attachment/
Disallow: /wp-login.php
Allow: /wp-content/uploads/
Sitemap: https://tl8517.com/sitemap.xml

原帖地址：https://tl8517.com/wordpress-robots/

晚姐，撒花。

试试看有没有效果，过几天在序。

更新：不管用。把撒的花赶紧捡起来……