這篇文章主要給大家介紹了關于在linux shell中curl和wget使用代理ip的相關資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面跟著小編來一起學習學習吧。
前言
大家都知道,在linux Shell中提供兩個非常實用的命令來爬取網頁,它們分別是 curl 和 wget,本文將給大家詳細介紹關于在Linux Shell中curl和wget使用代理IP的相關內容,分享出來供大家參考學習,下面話不多說了,來一起看看吧。
curl 和 wget 使用代理
-
curl 支持 http、https、socks4、socks5
-
wget 支持 http、https
代理示例:
#!/bin/bash # #?curl?支持?http、https、socks4、socks5 #?wget?支持?http、https # #?米撲代理示例: #?http://proxy.mimvp.com/demo2.php # #?米撲代理購買: #?http://proxy.mimvp.com # #?mimvp.com #?2015-11-09 ? ? #?http代理格式???http_proxy=http://IP:Port #?https代理格式???https_proxy=http://IP:Port ? {'http':?'http://120.77.176.179:8888'} curl?-m?30?--retry?3?-x?http://120.77.176.179:8888?http://proxy.mimvp.com/exist.php?????#?http_proxy wget?-T?30?--tries?3?-e?"http_proxy=http://120.77.176.179:8888"?http://proxy.mimvp.com/exist.php???#?http_proxy ? {'https':?'http://46.105.214.133:3128'} curl?-m?30?--retry?3?--proxy-insecure?-x?http://46.105.214.133:3128?-k?https://proxy.mimvp.com/exist.php?????#?https_proxy wget?-T?30?--tries?3?--no-check-certificate?-e?"https_proxy=http://46.105.214.133:3128"?https://proxy.mimvp.com/exist.php?#?https_proxy ? ?? #?curl?支持socks {'socks4':?'101.255.17.145:1080'} curl?-m?30?--retry?3?--socks4?101.255.17.145:1080?http://proxy.mimvp.com/exist.php ?? {'socks5':?'82.164.233.227:45454'} curl?-m?30?--retry?3?--socks5?82.164.233.227:45454?http://proxy.mimvp.com/exist.php ? ? #?wget?不支持socks
wget 配置文件設置代理
vim?~/.wgetrc ? http_proxy=http://120.77.176.179:8888:8080 https_proxy=http://12.7.17.17:8888:8080 use_proxy?=?on wait?=?30 ? wget?-T?30?--tries?3?http://proxy.mimvp.com
Shell 設置臨時局部代理
#?proxy?no?auth export?http_proxy=http://120.77.176.179:8888:8080 export?https_proxy=http://12.7.17.17:8888:8080 ? #?proxy?auth export?http_proxy=http://username:password@120.77.176.179:8888:8080 export?https_proxy=http://username:password@12.7.17.17:8888:8080 ? ? #?取消設置 unset?http_proxy unset?https_proxy
Shell 設置系統全局代理
#?修改?/etc/profile,保存并重啟服務器 sudo?vim?/etc/profile??#?所有人有效 或 sudo?vim?~/.bashrc??#?所有人有效 或 vim?~/.bash_profile??#?個人有效 ?? ?? #?proxy?no?auth export?http_proxy=http://120.77.176.179:8888:8080 export?https_proxy=http://12.7.17.17:8888:8080 ? #?proxy?auth export?http_proxy=http://username:password@120.77.176.179:8888:8080 export?https_proxy=http://username:password@12.7.17.17:8888:8080 ? source?/etc/profile 或 source?~/.bashrc 或 source?~/.bash_profile ? ? sudo?reboot
米撲代理示例
米撲代理示例,包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易語言等十多種編程語言或腳本,通過大量的可運行實例,詳細講解了使用代理IP的正確方法,方便網頁爬取、數據采集、自動化測試等領域。
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
THE END