默認(rèn)的用戶(hù)代理的編程庫(kù)和命令行工具

這個(gè)文章的目的是收集一個(gè)列表常見(jiàn)HTTP用戶(hù)代理名稱(chēng)使用默認(rèn)由各種編程庫(kù)和命令行工具。許多這些用戶(hù)代理可能會(huì)用在一個(gè)真正的蜘蛛,但無(wú)論出于何種原因默認(rèn)的用戶(hù)代理字符串不重置雖然大多數(shù)很容易發(fā)生變化,以反映蜘蛛的名字。

希望這篇文章能幫助人們了解正在使用什么工具可以提供一些見(jiàn)解蜘蛛的目的,作為一個(gè)有用的資源在未來(lái)快速指南。

讓我踢掉這幾個(gè)條目列表中,有一個(gè)我自己的:

Jakarta commons httpclient

示例:“雅加達(dá)commons httpclient / 3 0 1”

HTTP客戶(hù)端協(xié)議庫(kù),請(qǐng)看Apache.org以獲得更多信息

史努比

示例:“史努比v1 2 3”

史努比v1 2 3它似乎是一個(gè)PHP類(lèi)和一個(gè)版本在源鍛造(看到史努比項(xiàng)目),這絕對(duì)是包含在Wordpress。

wget

示例:“Wget / 1 10 2(紅色帽子修改)”

GNU wget(wget)是一個(gè)免費(fèi)的網(wǎng)絡(luò)工具來(lái)檢索文件從萬(wàn)維網(wǎng),使用HTTP(超文本傳輸協(xié)議)和FTP(文件傳輸協(xié)議),兩個(gè)最廣泛使用的互聯(lián)網(wǎng)協(xié)議。”

libwww-perl

例如:“libwww-perl / 5.805”

這是一個(gè)通用的應(yīng)用程序庫(kù)檢索HTTP文檔使用PERL腳本通常從Linux服務(wù)器。這個(gè)特別的圖書(shū)館是常與黑客攻擊、僵尸網(wǎng)絡(luò)攻擊[webmasterworld.com],應(yīng)該阻止在一般。

卷曲或libcurl代理