• 好爸爸开讲:这是我的童年 我的大指挥官 2019-10-15
  • 美元短线拉升 随后回吐涨幅 2019-10-15
  • 【打好精准脱贫攻坚战】那曲农牧业特色产业精准脱贫初见成效 2019-10-12
  • [大笑]是谁在炒呢?你们不参与,能炒得起来么? 2019-10-12
  • 海淀区公布第四批77处区级文物保护单位 2019-08-18
  • 互助献血成有偿兼职 揭秘新型“血头”的“生财术” 2019-08-02
  • 淘票票实施全链路营销策略,推动电影宣发进入“共振”时代 2019-08-02
  • 调查:约四成台湾幼儿园孩童每天使用手机逾30分钟 2019-07-17
  • 2019-07-17
  • 第二届加强创新和社会管理案例理论论坛暨社会管理创新案例颁奖典礼 2019-07-14
  • 光明网招聘时事新闻分析编辑 2019-07-14
  • Premiê chinês reúne-se com a imprensa 2019-07-11
  • 习近平:真抓实干埋头苦干万众一心 夺取脱贫攻坚战全面胜利 2019-07-11
  • 紫光阁中共中央国家机关工作委员会 2019-07-05
  • 北京公示东城区委常委、副区长陈之常拟为区长人选(图简历) 2019-07-05
  • 皇家马德里vs拜仁慕尼黑:您的网站服务器上的网络机器人

    什么是网络机器人?

    一个网络机器人是一个程序,自动递归遍历检索文件的内容和信息的一个网站。网络机器人最常见的类型是搜索引擎蜘蛛。这些机器人访问网站,并按照链接的搜索引擎数据库中添加更多的信息。

    网络机器人经常去不同的名称。您可能会听到他们所谓:

    蜘蛛
    机器人
    爬虫

    所有这些条款意味着同样的事情,但机器人是最清楚的,因为它并不意味着该方案正在通过自己的网站,而是编程系统将通过一个网站。

    网络机器人遵守的规则

    虽然有可能写一个机器人,无视规则,大多数Web机器人书面服从一定的规则,在一个网站上的特定文本文件。此文件的robots.txt文件。它通常是在Web服务器的根,并作为机器人网关。它告诉他们的网站,他们可以等领域,并不能遍历。

    请记住,而大多数Web机器人遵循的规则,你躺在您的robots.txt文件,有的没有。如果你有敏感信息,你应该使用密码或Intranet上的控制,而不是蜘蛛它不是依靠机器人访问它。

    如何使用网络漫游

    网络机器人最常见的用途是搜索引擎的网站索引。但机器人可以使用,以及用于其他目的。一些较常见的用途是:

    链接验证 - 机器人可以按照一个网站或网页上的所有环节,它们进行测试,以确保他们返回一个有效的页面代码。这样做的好处编程本质上是明显的,机器人可以在一两分钟访问页面上的所有环节,并提供一个比一个人可以做手动更快的结果的报告。
    HTML验证 - 类似链接验证,机器人可以被发送到您的网站上的各种页面,以评估的HTML编码。
    更改监测 - 是在网络上会告诉你,当网页已经改变的服务。这些服务是通过机器人发送到页面定期评估的内容发生了变化。不同的是,当机器人将提交报告。
    网站镜像 - 类似的变化监测机器人,这些机器人评估一个网站,并时有变化,机器人将更改的信息传输到镜像站点位置。

  • 好爸爸开讲:这是我的童年 我的大指挥官 2019-10-15
  • 美元短线拉升 随后回吐涨幅 2019-10-15
  • 【打好精准脱贫攻坚战】那曲农牧业特色产业精准脱贫初见成效 2019-10-12
  • [大笑]是谁在炒呢?你们不参与,能炒得起来么? 2019-10-12
  • 海淀区公布第四批77处区级文物保护单位 2019-08-18
  • 互助献血成有偿兼职 揭秘新型“血头”的“生财术” 2019-08-02
  • 淘票票实施全链路营销策略,推动电影宣发进入“共振”时代 2019-08-02
  • 调查:约四成台湾幼儿园孩童每天使用手机逾30分钟 2019-07-17
  • 2019-07-17
  • 第二届加强创新和社会管理案例理论论坛暨社会管理创新案例颁奖典礼 2019-07-14
  • 光明网招聘时事新闻分析编辑 2019-07-14
  • Premiê chinês reúne-se com a imprensa 2019-07-11
  • 习近平:真抓实干埋头苦干万众一心 夺取脱贫攻坚战全面胜利 2019-07-11
  • 紫光阁中共中央国家机关工作委员会 2019-07-05
  • 北京公示东城区委常委、副区长陈之常拟为区长人选(图简历) 2019-07-05
  • app盈宝彩票 抢庄牌九怎么玩 内蒙古时时彩 时时彩微信群谁有 彩票打印软件 网上炸金花发牌规律 重庆时时万位选号技巧 客户管理app 上海时时走势图 通比牛牛是什么意思 赛车pk10最新技巧 传奇国际网站 飞艇pk10一天稳赚5000 360老时时彩开奖 2019七星彩规律图今天 天津时时开奖号码记录