python中使用pycurl库请求获取网页数据

pycurl是一个用c语言编写的libcurl Python实现，功能非常强大，支持操作协议有FTP，HTTP，HTTPS，TELNET等。

安装命令：pip install pycurl

使用pycurl库开发网页请求步骤：

（1）、创建curl实例

（2）、设置:setopt操作

（3）、执行:perform

（4）、获取信息:getinfo

下面给出一个具体的例子：

import pycurl
from io import BytesIO
c = pycurl.Curl()
c.setopt(pycurl.SSL_VERIFYPEER, 0)
c.setopt(pycurl.SSL_VERIFYHOST, 0)
c.setopt(pycurl.URL, "https://www.baidu.com/")
buffer = BytesIO()
buffer_header = BytesIO()
c.setopt(pycurl.WRITEHEADER,buffer_header )
c.setopt(pycurl.WRITEDATA,buffer )
c.perform()
print(buffer_header.getvalue().decode()) #输出网页源代码
print(buffer.getvalue().decode()) #输出 响应头信息
HTTP_CODE = c.getinfo(pycurl.HTTP_CODE) #输出 响应 http状态
print(HTTP_CODE)