Python爬虫 -- 喜马拉雅爬虫

一、思路设计

（1）分析网页

在喜马拉雅主页到自己想要的音频，得到目标

通过分析页面的网络抓包，最终的到一个比较有用的json数据包

通过分析，得到了发送json数据包的一个有用的API接口：https://www.ximalaya/revision/play/album?albumId=21787&pageum=2

其中album为主播的ID在页面url中有显示，pageum为json数据包的“页数”。每个json数据包有0个json数据

(2)设计代码

向服务器发送请求 ----> 得到json数据包 ----> 分析json数据包 ----> 提取json数据包中的有用数据 ----> 存储到本地MongoDB数据库

二、代码实例

代码共分为两部分，执行脚本（ximalaya.py)和配置文件(config_ximalaya.py)

ximalaya.py

 1 # -\*- coding:utf-8; -\*-
 2 # Author : Bingnan Huo
  # Create : 2018-12-06
 4 import os 5 import time 6 import json 7 import requests 8 
 9 from threading import Thread
10 from datetime import datetime
11 from pymongo import MongoClient
12 from config\_xiamalaya import \*
1 
14 def getWorkTimeow(): 
15     '''Acquire work time '''
16     t = ()
17     year = t.year
18     month = 
19     day = t.day
20     hour = t.hour
21     minute = 
22     time\_str = "\[%s-%s-%s-%s:%s\]"%(str(year),
2 str(month),
24 str(day),
25 str(hour),
26 str(minute)
27 )
28     return time\_str
29 
0 def getJsonData(userID,page):
1     '''Get target server json data'''
2     count = 0
     pa = {&