Robot

WWW Robot 是一種模擬WWW瀏灠器的程式(或被包含為瀏灠器的一部份), 會自動遊走網路上的位址,將一篇文件或任何檔案抓回,再根據該文件內所 連結到其它文件或資料的相關資訊,繼續將其它文件也抓回,如此不停循環 (參見 WWW Robot Frequently Asked Questions 一文)。 Robot的用途,包括建立搜尋引摯(WWW Search Engine)的資料庫、檢查 連結異動、複製資料等。例如AltaVista、Lycos、Infoseek等著名的搜尋 工具,都是利用類似的技巧,來建立查詢資料庫,對外提供服務。

由於 WWW系統的基本設計原理並不複雜,因此簡單的Robot程式容易取得或者 自行發展。然而由於程式是自動執行,使用者可能輕率使用、程式設計者可能 未把情況考慮完整,或者程式因有未發現的小錯誤,而會拼命地或重複地向 同一台機器不停地抓資料,造成該機器負擔過重,以及整個網路嚴重雍塞, 甚至影響整個網際網路及伺服機器的服務品質。私人Robot對整個公共網路的 負面影響,早已引起國際注意,並提出 A Standard for Robot Exclusion 給資訊提供者及伺服器管理員參考,另有 Guidelines for Robot Writers 一文,給程式設計者及跑Robot程式者良心建議,以做為網路運作的共同規範, 共同維護網路的正常運作。

蕃薯藤索引站目前是在台大資訊系及中研院資訊所熱心提供的機器上執行。 除提供網路服務外,本身同時尚支援學術運用。另外,台大與中研院本身的 網路為高度使用區,通訊量本已不小。一個不小心的Robot使用者,都有可能 造成伺服機器及網路的嚴重負擔,影響網路品質。自蕃薯藤索引測試版公布 以來,已被為數不少全球各地的Robot拜訪過,其中國外知名的搜尋引摯, 多能遵受規範。雖然自正式版公布以來,個人使用的Robot已有減少,惟偶爾 仍遭受未循規範的Robot程式的困擾。有些雖能及時發現予以控制,但仍有 數起影響到系統的運作。蕃薯藤索引系統持續保持相關使用記錄,以下是自 1996/01 至 1996/08,幾起初步發現異常使用的記錄,僅供參考。相關統計、 分析、研判正進行中。

日期 連續次數 來源
1996/01/01 338 202.39.220.2
1996/01/02 388 202.39.220.2
1996/01/04 15073 cssun21.cs.ccu.edu.tw
1996/01/08 1077 cssun21.cs.ccu.edu.tw
1996/01/11 1157 202.39.220.2
1996/01/14 7851 gumpism.edu.tw
1996/01/21 1240 gumpism.edu.tw
1996/02/02 2409 via-annex0-48.cl.msu.edu
1996/02/24 653 168.95.99.205
1996/03/05 324 203.66.90.11
1996/03/07 5976 sparc4.cs.ccu.edu.tw
1996/03/29 3028 192.72.106.5
1996/03/30 1537 192.72.106.5
1996/04/06 1116 tpe_dial1.wow.net.tw
1996/04/13 4215 proxy1.hkstar.net
1996/04/20 * amdext.amd.com
(04/21,04/22,06/01,07/11,07/12)
1996/05/08 * dbcl10.cs.ust.hk
(05/27,06/08,06/16,06/23,07/01,07/08,07/24,08/01,08/02)
1996/05/29 719 192.72.161.41
1996/05/31 2129 mariner.iis.sinica.edu.tw
1996/06/02 3915 mariner.iis.sinica.edu.tw
1996/06/12 566 amr.vip.best.com
1996/06/15 706 amr.vip.best.com
1996/06/26 3326 140.112.31.86
1996/06/27 2639 140.112.31.86
1996/06/27 3991 po08.sinica.edu.tw
1996/06/30 6084 crab.ccl.itri.org.tw
1996/07/21 916 140.96.85.63
1996/08/04 4089 egg.cc.nsysu.edu.tw
1996/08/05 3269 ppp73.szptt.net.cn
1996/08/05 637 chin.hip.berkeley.edu
1996/08/11 3109 chin.hip.berkeley.edu
1996/08/12 10708 chin.hip.berkeley.edu
1996/08/20 911 140.112.31.86
1996/08/22 3064 140.112.31.86