robots文件限制如何解决 由于此网站的robots限制,系统无法提供该页面的具体描述?

[更新]
·
·
分类:互联网
3555 阅读

robots文件限制如何解决

由于此网站的robots限制,系统无法提供该页面的具体描述?

由于此网站的robots限制,系统无法提供该页面的具体描述?

这是网站屏蔽了搜素引擎的抓取,淘宝就禁止baidu的抓取了。步骤:建立个robots文件,然后上传到web目录下就可以

如何让各大搜索引擎搜索收录到刚建的wordpress网站?

主动向各大搜索引擎提交sitemap,即网站地图以Google为例来做细致的解答
【提交地点】Google Search Console
【步骤】
1.注册账号,来到search console首页
2.点击右上方红色按钮【添加属性】,在弹出框里填写网址,点击蓝色按钮【添加】
3.下面的这一步,大家可能有点懵圈,不知所措。我们先把整个过程走一遍,走完过程再回头来讲这一步如何实现。
4.认证完网站以后,就要邀请搜索引擎来访问你的网站,网站的每一页。最好的方式是主动提交【网站地图】。你提交了网站资源以后,Google Search Console会主动提醒你上传【sitemap】,省了找的功夫。提醒请查收你的Gmail邮箱。
怎么生成网站地图?用插件即可,比如寻常的SEO插件都可以自动生成网站地图,yoast seo。 也有专门的Google版网站地图生成插件,比如Google XML Sitemaps。
如何用HTML认证网站资源?我们回到刚才落下的步骤,就是用HTML告诉Google,这个网站权属于你。
简单概括一句,就是把下载Google给的HTML文件,把它上传到根目录里,即可。
以下步骤,以cPanel为例
1.登录cPanel, 服务器提供商会给你的
2.点击【文件管理 | File Manager】
3. 点击根目录,就是前面有个小地球的菜单 【public_html】
4. 在导航菜单栏里点击【上传 | upload】
5. 把提前下载好的Google认证文件上传
到这一步就结束了。
当然,还有其他的方法,比如FTP上传。
cPanel是比较友好和简单的,阿里云linux和Windows服务器,一般用FTP上传。
这个问题就回答到这,再往外扩展就太多太多,如果有特定的问题,大家可以邀请我回答。