爬取东方财富网

爬取东方财富网

@TOC

前言

本文原本是想通过分享一个爬取东方财富网案例，来介绍parsel解析库的使用，没想到硬生生的写成了正则表达式的详细使用，想学习正则表达式的的小伙伴们可以来看下。

导航

• 爬取小说案例-BeautifulSoup教学篇
• 爬取二手房案例--parsel教学篇（CSS选择器）
• 爬取美国公司案例-parsel库教学篇（Xpath的详细使用）
• 爬取东方财富网-parsel教学篇（正则表达式的详细使用+实例）
• 爬取QQ音乐的评论-JSO库的详细使用

正则表达式介绍

正则表达式是一种用于匹配字符串中字符组合的模式。不管是在Linux，windows系统中，亦或是python，javascript，go等等语言中，都有可能用到正则表达式来匹配字符串。它就像是一种高级的文本搜索和处理工具，可以帮助你在大量文本中快速到符合特定规则的内容，或者对文本进行复杂的替换、提取等操作。例如，你可以使用正则表达式来验证用户输入的地址是否符合格式要求，或者从一段网页源代码中提取所有的链接。今天我们就是从爬取到东方财富网的数据通过正则表达式来进行分别提取出来。

#这里只是举一些正则表达式的语法，后面有这些实际应用的例子。

\d{6}:匹配6个连续长度数字的字符，例如：12456

^\D+$:匹配整个字符串都由非数字组成的字符,例如：用于用户名验证，要求用户名不能包含数字

\S+:根据非空白字符来查字符，例如："python is excellent ",查的结果为"python","is","excellent"

https?://([^/]+):提取URL中的域名部分。例如：".html",匹配域名test

\b\d{4}-\d{2}-\d{2}\b:匹配日期YYYY-MM-DD格式，如2019-04-25

\b\w+\.(jpg|png)\b：匹配以jpg和png为后缀的文件

(.*?):非贪婪匹配-->尽可能匹配少的字符

Python 的 re 库（正则表达式库）是一个功能强大的字符串处理工具，它提供了对正则表达式的支持，允许开发者进行复杂的字符串搜索、替换和匹配操作。

常用函数

• pattern:正则表达式，匹配的模式
• string：要匹配的源字符串
• flags=0:默认的匹配标志，可省略，下面是一些常见的匹配标志
  • re.I/re.IGORECASE:忽略大小写
  • re.M/re.MULTILIE:多行模式,^和$将匹配每一行的开始和结束，而不仅仅是整个字符串的开始和结束
  • re.S/re.DOTAIL:单行匹配,使 . 匹配包括换行符在内的所有字符
  • re.X/re.VERBOSE:允许正则表达式使用空白和注释来增强可读性
  • re.A/re.ASCII:对于 \w、\W、\b、\B 等特殊转义字符进行 ASCII 匹配
• repl:用于替换匹配的字符串
• count=0:表示替换次数的最大次数，默认为零，表示替换所有匹配项 下面是一些这些函数的使用例子：

import re

s_string = "520 I will Miss you whether you miss me or not 114"

pattern=r'\d+'
# data为匹配到的match对象，需要使用group()方法来获取其中的内容
data=(pattern,s_string)
print(data.group())
# 输出为：520

pattern_findall = r'miss'
data_findall=re.findall(pattern_findall,s_string,re.IGORECASE)
print(data_findall)
# 输出为：['Miss', 'miss']

pattern_search = r'(\d{}).*(\d{4})'
data_search=re.search(pattern_search,s_string)
print(data_search.group(1),data_search.group(2)) # 返回字符串
print(data_search.group(1,2)) # 返回元组
# 输出为：520 114
#       ('520', '114')

pattern_sub = r'\d+'
data_sub=re.sub(pattern_sub,'917',s_string)
print(data_sub) # 返回的是新的字符串，源字符串不变
print(s_string)
# 输出为：917 I will Miss you whenever you miss me or not 917
#       520 I will Miss you whenever you miss me or not 114

pattern_compile = repile(r'\bmiss you\b',re.IGORECASE)
data_compile=pattern_compile.findall(s_string)
print(data_compile)
# 输出为：['Miss you']


s_string = 'There are no shortcuts to any place worth going 12456'
pattern=repile(r'\d{6}')
data = pattern.findall(s_string)
print(data)
# 输出为：['12456']

s_string = 'python is excellent '
pattern=repile(r'\S+')
data = pattern.findall(s_string)
print(data)
# 输出为：['python', 'is', 'excellent']

s_string = '.html'
pattern=repile(r'https?://([^/]+)')
data=pattern.findall(s_string)
print(data)
# 输出为：['test']

s_string = '2024-12-20 19:08:50'
pattern=repile(r'\b\d{4}-\d{2}-\d{2}')
data=pattern.findall(s_string)
print(data)
# 输出为：['2024-12-20']

pattern = repile(r'(\b\w+\.(jpg|png)\b)')
s_string = 'image1.jpg image2.png image.gif doc.word '
data=pattern.findall(s_string)
print(data)
print([i[0] for i in data])
# 输出为：[('image1.jpg', 'jpg'), ('image2.png', 'png')]
#        ['image1.jpg', 'image2.png']

• 进阶：更多进阶的正则表达式教程可以参考这个网站：RegexOne
• ps：当匹配到一些特殊字符的时候，比如（) { } . 等,要用\进行转义，例如上面的提取域名的例子。

下面是一个爬取东方财富网中排名前一百的基金排行案例。

案例源码

import requests # 数据请求库
import parsel  # 数据解析库
import re # 正则表达式库

# 过滤函数 处理空字符串
def fiter_data(data):
    res=[item for item in data if item !=""]
    return res

# 东方财富网url
url='.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=1nzf&st=desc&sd=202-11-27&ed=2024-11-27&qdii=&tabSubtype=,,,,,&pi=1&pn=50&dx=1&v=0.67140461545714'
# 请求头：user-agent-->浏览器信息（用于伪装浏览器），cookie-->会话标识，referer-->表明请求从那个页面发起的
headers={
    'user-agent':'Mozilla/5.0 (Windows T 10.0; Win64; x64) AppleWebKit/57.6 (KHTML, like Gecko) Chrome/11.0.0.0 Safari/57.6 Edg/11.0.0.0',
    'cookie':'qgqp_b_id=21ae41f99fecb474bee6e0b450066c; st_si=257665055282; st_asi=delete; ASP.ET_SessionId=xldc42fk2zkk44sxgkvit2s; websitepoptg_api_time=172672471290; _adsame_fullscreen_14694=1; fund_registerAd_1=1; st_pvi=407986854789; st_sp=2024-11-25%2010%A19%A12; st_inirUrl=https%A%2F%2Fcn.bing%2F; st_sn=7; st_psi=202411270954478-1122001296-91758059',
    'referer':'.html'}
respe=requests.get(url=url,headers=headers)
# 将正则表达式编译成一个正则表达式对象
pattern = repile(r'var rankData = {datas:\[\"(.*?)\"].*')
# 查对应的字符
data=pattern.findall()
# 返回是个列表，所以需要取列表中的第一个字符串
data=data[0]
# 利用","进行分割
data=data.split('","')
# 遍历
for i in data:
    res=i.split(',')
    # 过滤其中的空白字符
    res=fiter_data(res)
    print(f'基金代码：{res[0]}，基金名称：{res[1]}，基金ID：{res[2]}，日期：{res[]}，单位净值：{res[4]}，累计净值:{res[5]},日增长率:{res[6]},周增长率:{res[7]},月增长率:{res[8]}')

运行截图

共勉

与其等风来，不如追风去！

博客

• 本人是一个渗透爱好者，不时会在（laity的渗透测试之路）更新一些实战渗透的实战案例，感兴趣的同学可以关注一下，大家一起进步。
• 之前在发布了一个kaliWiFi的文章，感兴趣的同学可以去看一下，在b站（up主:laity1717）也发布了相应的教学视频。