【Python爬虫项目】新发地蔬菜水果等食品价格爬取（详细附源码）

新发地获取蔬菜水果等食品价格

爬取信息具体如下：
1.食品名称 2.最低价 .最高价 4.平均价 5.规格 6.产地 7.单位 8.发布日期

1.检查网页源码

通过检查源码可以看出数据并不在网页源码当中，需通过动态加载获取信息，打开开发者工具进行抓包

2.抓包

刷新页面，抓取商品信息，发现一页共20条商品信息。

.分析

查看请求头信息,比对其他页请求地址发现请求地址统一为:

url = 	.html	

请求头没有特殊内容，直接复制即可

data信息包含关键参数，选取蔬菜点击刷新重新进行抓取发现有三个参数分别是：limit,current,prodPcatid。

第1页data信息

第2页data信息

我们可以看出前前两个参数的用处分别是

1. limit :商品数量
2. current ：页数

我们选择水果类再重新抓取进行分析，发现prodPcatid改变，我们知道该参数的作用是不同类的id

4.编写代码

import json
import requests
import threading
import pandas as pd
#新发地：.html
#页数
page = 1
#商品总列表
count=list()
#json列表
js=list()#解析网页函数
def url_parse(page):#请求地址url = 	.html	headers = {Accept: */*,Accept-Encoding: gzip, deflate,Accept-Language: zh-C,zh;q=0.9,Cache-Control: no-cache,Connection: keep-alive,Content-Length: 89,Content-Type: application/x-www-form-urlencoded; charset=UTF-8,Host: www.xinfadi,Origin: ,Pragma: no-cache,Referer: .html,User-Agent: Mozilla/5.0 (Windows T 10.0; Win64; x64) AppleWebKit/57.6 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/57.6,X-Requested-With: XMLHttpRequest,}data = {limit: 20,current: page,pubDateStartTime: ,pubDateEndTime: ,prodPcatid: 1186, #商品类idprodCatid: ,prodame: ,}respe=requests.post(url=url,headers=headers,data=data).text#获取商品信息respe=json.loads(respe)[	list	]#生成线程锁对象lock=threading.RLock()#上锁lock.acquire()#添加到json列表中js.append(respe)#解锁lock.release()#解析json函数
def json_parse(product):lock=threading.RLock()lock.acquire()dic = {	品名	: product[	prodame	], 最低价: product[	lowPrice	], 	最高价	: product[	highPrice	],	平均价	: product[	avgPrice	], 	规格	: product[	specInfo	], 	产地	: product[	place	], 	单位	: product[	unitInfo	],	发布日期	: product[	pubDate	]}print(dic)#将商品信息添加到商品总列表中count.append(dic)lock.release()
def run():num=int(input(	请输入爬取页数：	))#多进程解析网页for i in range(1,num1):x=threading.Thread(target=url_parse,args=(i,))x.start()x.join()# 多进程解析jsonfor i in js:for product in i:y=threading.Thread(target=json_parse,args=(product,))y.start()y.join()#生成exceldata = pd.DataFrame(count)_excel(	蔬菜.xlsx	, index=one)
if __name__ == 	__main__	:run()

5.运行结果

不到秒钟就爬完了20页内容