教做粘土的网站360优化大师旧版本

一、爬虫的三个步骤（要学习的内容）

1、获取网页内容 （HTTP请求、Requests库）

2、解析网页内容  （HTML网页结构、Beautiful Soup库）

3、存储或分析数据

b站学习链接：

【【Python+爬虫】爆肝两个月！拜托三连了！这绝对是全B站最用心（没有之一）的Python+爬虫公开课程，从入门到（不）入狱 ！】 https://www.bilibili.co/video/BV1d54y1g7db/?share_source=copy_web&vd_source=7e5d8bc8e5429bc3a99a6b8e86b901f8

二、HTTP

1、什么是HTTP？

http: Hypertext Transfer Protocol（超文本传输协议）

      客户端和服务器之间的请求-响应协议

eg: 浏览器可看作一个服务端，在浏览器中输入网址，

浏览器就会向运行该网站的服务器发送请求，

然后等待服务器返回给浏览器响应

2、HTTP的两种请求方法

1、GET（获得数据）

大部分用get

2、POST（创建数据）

3、HTTP请求的组成结构

（1）请求行：

POST         / user / info ? new_user=true         HTTP / 1.1

方法类型            资源路径?查询参数             HTTP的协议版本

资源路径：指明要访问服务器的哪个资源

查询参数：写在？后面，传递给服务器额外的信息，不同信息之间用&分隔

eg: www.douban.com / movie /top250 ？start=75&filter=unwatched

      主机域名 （+资源路径）（+查询参数）== 网址

（2）请求头：

Host: www.douban.com  主机域名

User-Agent: curl /7.77.0  用来告知服务器客户端的相关信息

请求是什么东西发出来的，以及这个东西的版本

eg:  curl / 7.77.0（curl命令行工具发出的) 

       python-requests / 2.25.1 （python的requests库发出的）

Accept: */*  告诉服务器，客户端想接收的响应数据的类型

eg: 接受HTML：text / html

      接受HTML和JOSN：text / html, application / json （多种类型用逗号分隔开）

      接受任意类型：*/*

（3）请求体：客户端传给服务器的其他任意数据

（GET的请求体一般是空的）

{"username":"西瓜大侠",

"email":"3380958706@qq.com"}

简言之，HTTP请求由三部分组成：

请求行：用什么方法查询什么资源 + HTTP的版本

请求头：主机域名 + 客户端是什么及其版本 + 客户端想接受的响应类型 

            （where who what 服务器在哪儿  客户端是谁  客户端想要什么)

请求体：客户端的其他数据

4、HTTP响应的组成结构

（1）状态行：

HTTP / 1.1     200          OK

协议版本      状态码    状态消息

状态码和状态消息相对应：

2开头：表示请求成功

3开头：表示重定向，需要进一步的操作

4开头：表示客户端错误（请求不能被理解、请求未授权或404请求的资源不存在...）

5开头：表示服务器错误（出现问题或正在维护）

（2）响应头：包含一些告知客户端的信息

Date: Fri, 27 Jan 2023 02:10:48 GMT 生成相应的日期和时间

Content-Type: text/html; charset=utf-8 返回内容的类型及编码格式

（3）响应体：服务器想给客户端的数据内容