当前位置: > python爬虫 >

python爬虫之请求库requests学习
栏目分类:python爬虫   发布日期:2019年03月10日 22:13:46   浏览次数:

  大家好,我是爱吃苹果的宇文拓,今天我要讲解的知识是requests库的使用

   requests库是功能强大的一个库,相比于urllib使用它来请求网页是更加方便的。比如在处理网页验证,cookies时requests库使用起来会更加的快捷。

1.安装requests库
 #python -m pip install requests

验证安装还是通过进入python命令输入import requests进行验证,如图没有报错说明安装成功。




2.使用requests完成一个简单的请求,并打印一些相关信息




打印结果



3.使用其他请求类型来请求网页
  我们知道我们在http协议中,我们的请求方式有很多种,我们用requests库都可以实现。而且更加的简单。通过改变请求方式就可实现,这比urllib简单多了。




4.给请求添加请求头以及参数




如上图我们通过简单的params关键字参数以及headers参数就可以为我们的请求附带参数以及添加请求头。这是非常方便的,在以后的爬虫中经常会这样做。

5.requests文件上传的使用
如图通过修改添加箭头所指的代码,就可以轻易实现文件的上传功能。




6.Cookies的设置

有些网站必须登录才能访问,然而我们只要拿到有效的cookie并且在请求的时候携带有效cookie就可以访问到网页。





打印响应结果可以发现,携带cookie能成功获取网页。

7.代理的设置
我们在做爬虫的时候,请求过于频繁会被目标网站封ip,这时我们就需要为请求设置代理。如下图,这是设置代理ip 的关键




8.超时设置与ssl证书验证
   有时我们在爬取链接的时候,可能这个url不是有效的链接或是网络延迟等问题。我们就可以为这次请求设置一个超时时间。如图设置此次请求的超时时间为3秒




requests提供了证书验证功能,我们通过verify关键字来设置是否验证证书,默认为TRUE,如果我们的证书失效就有可能会影响到你的爬虫,我们设置False可以忽略证书警告。



总结:我们今天介绍了requests请求库,关于一些它的基础用法以及高级用法都有提到,朋友们一定要好好掌握这些知识点,因为在做爬虫的时候是离不开请求库的,掌握好requests库,将会对你的爬虫技术有大大的提示。

相关热词:

热门关键词
     
python教程 python爬虫 python人工智能 Python+大数据 python问答