robots.txt禁止抓取所有.htm 允许抓取.html 这样写法有问题没?

2024-11-02 00:38:55
推荐回答(3个)
回答1:

htm是超文本标记Hypertext Markuphtml是超文本标记语言Hypertext Markup Language就后缀而言都是属于静态页面的后缀,但是对于URL而言是有区别的,是两个不同的个体。

回答2:

不会的,不相信的话,你自己用gg的工具测

回答3:

应该两个都会被禁止把,他们不是一样的后缀嘛