通常的robots屏蔽就好了,具体如下所示:
User-agent: *
Disallow: /abc/
但是紧接着方法都被一一放弃了,因为统统行不通。因为他们的网站所有二级目录和主目录在ftp中都是在同一文件夹下,然后我又总结了他们网站出现的问题。
1、网站不带www的二级域名已经收录过万,且每日都有蜘蛛爬取,但带www的主域名至今只收录二三十个,且还有下降的趋势,所以想让网站收录带www的主域名页面。
2、网站所有页面在同一个文件夹下无法利用robots屏蔽路径方式屏蔽页面。
虽然我在百度查询了很久但是却并未查到过多有用信息,大多都是和我第一次给出的答案一样,但最后我们还是想出了办法解决了这个问题,那关于屏蔽二级目录收录问题,总结了以下几点可供选择:
1、如果需要屏蔽的页面和主页面是在不同的文件夹下我们可以直接采取我上面提到的直接robots文件屏蔽,写法例如Disallow: /abc/之类的直接robots屏蔽方法。
2、无法利用robots禁止搜索引擎收录某个二级域名的,最好的方法就是301,对于有用的页面将所有的二级目录类域名重定向,无用的就直接删除。
3、与目录分配到不同的空间下利用robots屏蔽。
4、个判断程序,让要屏蔽的二级域名下面有一个robots.txt文件。abc.xxx.com/robots.txt,然后在利用robots屏蔽。此方法我没有试过我是看到夫唯老师很久前给别人的一个建议,就理论而言是可以行的通的。
对于在网站建设中如何避免此类不需要收录的二级域名我罗列了一下几点如果有不完善的欢迎大家补充。
1、虚拟主机时空间自带了二级域名地址且地址已经收录的话最直接的办法就是站内开放的链接上要统一url规范不要给不想收录的二级域名任何的入口。
2、须分二级目录时,将主目录和二级目录分开在不同的文件夹。
3、名解析时候直接采用三W的的域名采用主域名。
以上就是对屏蔽已被百度收录的不必要二级目录的方法全部内容的介绍,更多内容请继续关注!屏蔽,百度,收录,二级目录
更新日志
- 群星《我们的歌第六季 第1期》[FLAC/分轨][456.01MB]
- 齐秦 《辉煌30年DSD》24K珍藏版2CD[WAV+CUE][1.9G]
- 张玮伽《聆听伽音 HQCDII 》[正版原抓WAV+CUE][1.1G]
- 阿杜2002《天黑》台湾首版 [WAV+CUE][1.2G]
- 关淑怡.2019-Psychoacoustics(金曲重绎)(24BIT)【FLAC】
- 米线《醉迷声线6N纯银SQCD》【WAV+CUE】
- 刘紫玲2024《清平调》[低速原抓WAV+CUE]
- 伍佰1998《世界第一等》98绝版收藏EP[WAV+CUE]
- 天乐试机天碟 《终极参考SACD》十大发烧唱片之一[WAV分轨]
- 群星《新说唱2024 第12期 (下)》[320K/MP3][95.27MB]
- 楼兰2024-《楼兰传奇》[低速原抓WAV+CUE]
- 楼兰《楼兰传奇2》2024[低速原抓WAV+CUE]
- 陈果《有了你》UPM24K金碟[日本限量版][WAV+CUE]
- 群星《新说唱2024 第12期 (下)》[FLAC/分轨][506.43MB]
- 李常超 (Lao乾妈)《天生江湖》[320K/MP3][168.84MB]