Linux Shell中的curl和wget如何使用代理IP的方法教程

這篇文章主要給大家介紹了關于在linux shell中curl和wget使用代理ip的相關資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面跟著小編來一起學習學習吧。

前言

大家都知道,在linux Shell中提供兩個非常實用的命令來爬取網頁,它們分別是 curl 和 wget,本文將給大家詳細介紹關于在Linux Shell中curl和wget使用代理IP的相關內容,分享出來供大家參考學習,下面話不多說了,來一起看看吧。

curl 和 wget 使用代理

  • curl 支持 http、https、socks4、socks5

  • wget 支持 http、https

代理示例:

#!/bin/bash  #  #?curl?支持?http、https、socks4、socks5  #?wget?支持?http、https  #  #?米撲代理示例:  #?http://proxy.mimvp.com/demo2.php  #  #?米撲代理購買:  #?http://proxy.mimvp.com  #  #?mimvp.com  #?2015-11-09  ?  ?  #?http代理格式???http_proxy=http://IP:Port  #?https代理格式???https_proxy=http://IP:Port  ?  {'http':?'http://120.77.176.179:8888'}  curl?-m?30?--retry?3?-x?http://120.77.176.179:8888?http://proxy.mimvp.com/exist.php?????#?http_proxy  wget?-T?30?--tries?3?-e?"http_proxy=http://120.77.176.179:8888"?http://proxy.mimvp.com/exist.php???#?http_proxy  ?  {'https':?'http://46.105.214.133:3128'}  curl?-m?30?--retry?3?--proxy-insecure?-x?http://46.105.214.133:3128?-k?https://proxy.mimvp.com/exist.php?????#?https_proxy  wget?-T?30?--tries?3?--no-check-certificate?-e?"https_proxy=http://46.105.214.133:3128"?https://proxy.mimvp.com/exist.php?#?https_proxy  ?  ??  #?curl?支持socks  {'socks4':?'101.255.17.145:1080'}  curl?-m?30?--retry?3?--socks4?101.255.17.145:1080?http://proxy.mimvp.com/exist.php  ??  {'socks5':?'82.164.233.227:45454'}  curl?-m?30?--retry?3?--socks5?82.164.233.227:45454?http://proxy.mimvp.com/exist.php  ?  ?  #?wget?不支持socks

wget 配置文件設置代理

vim?~/.wgetrc  ?  http_proxy=http://120.77.176.179:8888:8080  https_proxy=http://12.7.17.17:8888:8080  use_proxy?=?on  wait?=?30  ?  wget?-T?30?--tries?3?http://proxy.mimvp.com

Shell 設置臨時局部代理

#?proxy?no?auth  export?http_proxy=http://120.77.176.179:8888:8080  export?https_proxy=http://12.7.17.17:8888:8080  ?  #?proxy?auth  export?http_proxy=http://username:password@120.77.176.179:8888:8080  export?https_proxy=http://username:password@12.7.17.17:8888:8080  ?  ?  #?取消設置  unset?http_proxy  unset?https_proxy

Shell 設置系統全局代理

#?修改?/etc/profile,保存并重啟服務器  sudo?vim?/etc/profile??#?所有人有效  或  sudo?vim?~/.bashrc??#?所有人有效  或  vim?~/.bash_profile??#?個人有效  ??  ??  #?proxy?no?auth  export?http_proxy=http://120.77.176.179:8888:8080  export?https_proxy=http://12.7.17.17:8888:8080  ?  #?proxy?auth  export?http_proxy=http://username:password@120.77.176.179:8888:8080  export?https_proxy=http://username:password@12.7.17.17:8888:8080  ?  source?/etc/profile  或  source?~/.bashrc  或  source?~/.bash_profile  ?  ?  sudo?reboot

米撲代理示例

米撲代理示例,包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易語言等十多種編程語言或腳本,通過大量的可運行實例,詳細講解了使用代理IP的正確方法,方便網頁爬取、數據采集、自動化測試等領域。

Linux Shell中的curl和wget如何使用代理IP的方法教程

? 版權聲明
THE END
喜歡就支持一下吧
點贊15 分享