python爬虫之网页加载模式（同步和异步）及浏览器抓包数据文件分析（4）

文章目录

• 1、网页加载模式
• • 1.1 同步加载
  • 1.2 异步加载
• 2、网页数据返回的方式
• 、区分同步网站和异步网站
• 4、浏览器抓取数据包分析
• 5、常用反爬手段（代理和UA）

1、网页加载模式

网页的加载模式通常有两种，同步加载和异步加载；两种加载模式都有各自的优缺点

介绍：

同步加载，又称阻塞加载，浏览器在访问到第一个页面后便会停止对后续文件的加载，也就是阻止了包括图像、渲染、代码的执行

原理：

同步加载的网站都是按顺序依次加载出网页内容，前面的内容没有加载出，后续内容就不会显示，因此网页加载的速度大大降低

介绍：

异步加载，又称非阻塞加载，浏览器在加载第一个网页的同时，还会继续进行对后面页面的处理

原理：

异步加载的网站内容是可以实时刷新的，当我们需要查看后续页面的内容，浏览器会提前加载出下一页内容；相比同步加载&