当前位置: > python爬虫 >

安装配置mitmproxy
栏目分类:python爬虫   发布日期:2019年03月16日 23:28:19   浏览次数:

大家好,我是爱吃苹果的宇文拓,今天我给大家讲解的是关于中间人代理服务器的安装

        我们在做爬虫的时候,有时需要用到代理服务器进行抓包分析,还有一些网站某个参数是加密的情况下,直接破解会很费力,并且当网站更新以后,我们又要从头来一次,这样很麻烦。所以我们使用中间人代理服务器(mitmproxy)直接获取我们想要的内容,这里我们用mitmproxy,因为这个代理服务器可以注入python脚本,所以用起来功能是很强大的。

1.环境要求 python3.6以上
#python3 -m pip install mitmproxy

安装过程如果出现

error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++

Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools

是因为安装这个包的 window 系统需要首先安装 Microsoft Visual C++ V14.0以上 才行。可以在https://visualstudio.microsoft.com/zh-hans/downloads/直接下载即可,安装之后需要把 c++ 的库之类的东西都安装了,然后再在命令行进行安装 mitmproxy即可。
 
2.查看是否安装成功
window操作系统不支持使用 mitmproxy 这个命令,我们可以使用 mitmdump 或 mitmweb 代替。

#mitmdump --version

3.开启mitmproxy


#mitmdump -p 8888 :以8888的端口开启服务

mitmproxy 可以利用python进行二次开发启动时注入脚本利用-s参数

#mitmdump -p 8888 -s F:\scrapy.worker\taobao_crawler\proxy.py

4.为了抓取https协议的连接,我们需要安装证书

首先到$PYTHON_HOME/Scripts目录下运行一下mitmdump,完成之后在用户家目录下 的.mitmproxy文件夹下即会生成证书。双击箭头所指的文件


 



mitmproxy-ca.p12----PKCS12格式证书私钥
mitmproxy-ca.pem----PEM格式证书私钥
mitmproxy-ca-cert.cer----PEM格式证书,与mitmproxy-ca-cert.pem相同只是改变了后辍,适用于部分Android
mitmproxy-ca-cert.p12----PKCS12格式证书,适用于Windows
mitmproxy-ca-cert.pem----PEM格式证书,适用于大多数非Windows平台
mitmproxy-dhparam.pem----PEM格式秘钥文件,用于增强SSL安全性
Windows安装证书:双击mitmproxy-ca-cert.p12----全部默认直接点“下一步”直到安装完成。
 Android安装证书:把mitmproxy-ca-cert.cer通过usb复制到手机上----点击使用证书安装器安装证书(通过qq发送到手机上时提示无法读取证书不懂什么原因)

5.为火狐浏览器设置代理





6.为火狐浏览器注入证书



导入刚才安装的证书,并且使之可信任          



然后打开火狐浏览器查看www.baidu.com是否成功访问,成功说明设置成功


总结:今天我们介绍了关于中间人代理服务器(mitmproxy)的安装以及配置,一步一步跟着我的步骤来做,然后就能成功


相关热词:

相关内容
热门关键词
python字符串
     
python教程 python爬虫 python人工智能 Python+大数据 python问答