适合seo的robots,SEO推广Robots什么意思

seo基础     2020-12-29    浏览:0

SEO推广Robots什么意思

首先,你要明白什么Robots。这是一个协议文件,百度和360搜索站长后台有的。以百度举例。


Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

9月11日,百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

如您的网站未设置robots协议,百度搜索对网站视频URL的收录将包含视频播放页URL,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外,综艺影视类长视频,搜索引擎仅收录页面URL。


Robots如何写?你也可以复制下面的内容:


# robots.txt generated at http://tool.chinaz.com/robots/ ;

User-agent: *

allow:/


这个就表示,允许搜索引擎抓取你网站的所有内容,保存为“.txt”格式。再上传到你网站的根目录下。就可以了。

如下图:


文件上传后,一定要点右上角的那个“发布”按钮,才会生效。



有关seo中的robots文件的写法,谁可以帮我详细解答下呢
做SEO时,最好是把Robots.txt文件写好,下面说下写法:
搜索引擎Robots协议:是放置在网站根目录下robots.txt文本文件,在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。
下面是robots的写法规则与含义:
首先要创建一个robots.txt文本文件,放置到网站的根目录下,下面开始编辑设置Robots协议文件:

一、允许所有搜索引擎蜘蛛抓取所以目录文件,如果文件无内容,也表示允许所有的蜘蛛访问,设置代码如下:

User-agent: *
Disallow:

或者

User-agent: *
Allow: /

二、禁止某个搜索引擎蜘蛛抓取目录文件,设置代码如下:

User-agent: Msnbot
Disallow: /

例如想禁止MSN的蜘蛛抓取就设为,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更换蜘蛛名字即可,其他蜘蛛名字如下:
百度的蜘蛛:baiduspider
Google的蜘蛛: Googlebot
腾讯Soso:Sosospider
Yahoo的蜘蛛:Yahoo Slurp
Msn的蜘蛛:Msnbot
Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex)

三、禁止某个目录被搜索引擎蜘蛛抓取,设置代码如下:
User-agent: *
Disallow: /目录名字1/
Disallow: /目录名字2/
Disallow: /目录名字3/

把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取,目录名字未写表示可以被搜索引擎抓取。


四、禁止某个目录被某个搜索引擎蜘蛛抓取,设置代码如下:

User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)
Disallow: /目录名字/ 说明(这里设定禁止蜘蛛抓取的目录名称)

例如,想禁目Msn蜘蛛抓取admin文件夹,可以设代码如下:
User-agent: Msnbot
Disallow: /admin/

五、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取,设置代码如下:

User-agent: *
Disallow: /*.htm 说明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

六、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取,设置代码如下:

User-agent: *
Allow: .htm$ 说明(其中“.htm”,表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)


七、只充许某个搜索引擎蜘蛛抓取目录文件,设置代码如下:

User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)
Disallow:
爱站seo工具之robots.txt生成工具使用方法

“Robots”经常被一些同行朋友称作“萝卜丝”,是搜索引擎“网络爬虫排除协议”。通过Robots协议我们可以告诉搜索引擎,网站哪些页面允许抓取,哪些不允许。

如果你想禁止爬虫抓取网站某些目录,却又不熟悉robots文件的编写,你可以通过爱站seo工具包的robots制作工具,简单设置即可生成robots.txt文件。

blob.png

blob.png

如图,我们可以通过简单的选择和设置,生成robots.txt,并放在网站根目录下面,即可高速搜索引擎爬虫哪些哪些页面可以抓取,哪些页面不能够抓取。
爱站seo工具之robots.txt生成工具使用介绍

“Robots”经常被一些同行朋友称作“萝卜丝”,是搜索引擎“网络爬虫排除协议”。通过Robots协议我们可以告诉搜索引擎,网站哪些页面允许抓取,哪些不允许。

爱站SEO工具包下载:爱站SEO工具包

如果你想禁止爬虫抓取网站某些目录,却又不熟悉robots文件的编写,你可以通过爱站seo工具包的robots制作工具,简单设置即可生成robots.txt文件。

如图,我们可以通过简单的选择和设置,生成robots.txt,并放在网站根目录下面,即可告诉搜索引擎爬虫哪些哪些页面可以抓取,哪些页面不能够抓取。

相关搜索

相似文章

seo的robots协议,SEO推广Robots什么意思 2020-12-29

seo robots,SEO推广Robots什么意思 2020-12-29

robots seo,SEO推广Robots什么意思 2020-12-29

seo优化robots,SEO推广Robots什么意思 2020-12-29

robots文件配置seo,SEO推广Robots什么意思 2020-12-29

seo-robots,SEO推广Robots什么意思 2020-12-29

robots.seo怎么处理,SEO推广Robots什么意思 2020-12-29

seo基础robots写法,SEO推广Robots什么意思 2020-12-29

robots协议对seo优劣,SEO推广Robots什么意思 2020-12-29

seo robots协议怎么写,SEO推广Robots什么意思 2020-12-29