长沙网站建设加载中九零人正在努力加载中...

禁止搜索引擎收录的方法

长沙网站建设 长沙网络推广 长沙网站建设点击:长沙网站建设 时间:2013-04-10 长沙网站建设 类别:常见问题
  1. 什么是robots.txt文件?
    搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

    请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。
     

     
  2. robots.txt文件放在哪里?
    robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.90webweb.com)时,首先会检查该网站中是否存在http://www.90webweb.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

    网站 URL 相应的 robots.txt的 URL
    http://www.w3.org/ http://www.w3.org/robots.txt
    http://www.w3.org:80/ http://www.w3.org:80/robots.txt
    http://www.w3.org:1234/ http://www.w3.org:1234/robots.txt
    http://w3.org/ http://w3.org/robots.txt

     
  3. 我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?
    如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。


    九零人网络作为国内专业的网络服务提供商,已经为上百家企事业单位提供了网站建设、网站改版、域名注册、网站空间租用、企业邮局等服务,优质的服务得到了广大客户的一致认可,如果您有网站制作、网站托管、网站维护等方面的需求,请致电:18574395938,我们会根据您所从事的行业领域和网站类型,在最短的时间内请我们的技术人员与您预约后上门拜访您,直接面谈交流为您解答所有的网站建设疑问。
    本文由长沙网络推广发布,地址:http://www.90webweb.com/cjwt/790.html
    (未经允许,严禁抄袭,转载请注明出处,否则保留追究权利)

    长沙网站建设 搜素引擎 百度收录 搜素引擎收录 禁止收录 禁止收录方法

没安装畅言模块
rss
联系长沙网站建设QQ
点击返回长沙网站建设顶部