织梦网站栏目分页优化小白用robots更简单!

发布时间:2021-01-13 作者:安阳博客网 所属分类:程序代码

织梦网站栏目分页对优化而言不友好,所以我们需要对织梦网站栏目分页的URL进行处理,而处理URL部分则需要修改部分织梦网站核心文件,通常需要有PHP基础的人员来进行修改,而如果是小白,轻易的去修改系统核心文件容易造成各种各样的错误,因此许多小白认为如果是想让织梦网站栏目分页优化更友好,而修改系统文件是一件即风险且又非常难的事情,其实作为小白并不需要非要修改核心文件,别忘了我们还可以修改robots文件来达到我们织梦网站栏目分页优化的目的,这样也更简单!

robots文件通常可以限制规定搜索引擎的抓取行为,简单来说就是搜索引擎在抓取网站时通常第一个要做的事情就是检测被抓取网站是否有robots文件,如果有搜索引擎将会按照网站设置的robots规则来进行抓取.

那这样的话我们是否可以用robots来限制搜索引擎抓取织梦网站栏目分页呢?答案是肯定的,且对于小白而言更简单,一般情况下织梦的默认栏目分页为 {typedir}/list_{tid}_{page}.html 这也就意味着分页列表的URL通常是 目录/list_1_2.html,这样的url形式,好在我们的robots是支持通配符的因此我们可以这样设置robots.

Disallow: /*/list_*_*.html

在本地桌面新建一个 robots.txt 而后 将内容复制到里面,并保存上传至网站根目录.