爬取美国公司案例

2025-07-23 07:48:00

爬取美国公司案例 @TOC前言本文分享一个爬虫案例，通过使用parsel库中的xpath来爬取美国排名前一百名的公司，来详细解释下Xpath的使用。导航爬取小说案例-BeautifulSoup教学篇爬取二手房案例--parsel教学篇（CSS选择器）爬取美国公司案例-parsel库教学篇（Xpath的详细使用）爬取东方财富网-parsel教学篇（正则表达式的详细使用+实例）爬取QQ音乐的评论-

爬取美国公司案例

@TOC

前言

本文分享一个爬虫案例，通过使用parsel库中的xpath来爬取美国排名前一百名的公司，来详细解释下Xpath的使用。

Xpath的使用

Xpath的介绍

XPath 是一门在 XML /HTML文档中查信息的语言。

Xpath节点

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

看下面这个HTML文档

代码语言：html复制

<!DOCTYPE html>
<html > // 根节点
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title lang='eng'>我是标题</title> // 元素节点
</head>
<body>
    
    <div class="ancestor"> // class为属性节点
        <div id="father">
            <a href="https:xx.xxx">哈喽</a> // href为属性节点
            <h1>在你的身边</h1>  // h1标签内的文字为文本
           <div class="son">
           <div>ping<div/>
            <span>多幸运</span>
           </div>
        </div>
    </div>
</body>
</html>

元素之间会有一些节点关系，下面是常见的节点关系：

父节点：每个元素以及属性都有一个父。在上面的例子中，id为father的div元素是 a、h1、div 以及 span元素的父节点
子节点：元素节点可有零个、一个或多个子。在上面的例子中，a、h1、div 以及 span元素是id为father的div元素的子节点
兄弟节点：拥有相同的父的节点。在上面的例子中，a、h1、div 以及 span元素都是兄弟节点
祖先 - 子孙节点：就是至少隔两代的元素节点，比如父节点的父节点和子节点的子节点。再上面的例子中，html元素节点就是 a、h1、div 以及 span元素的的祖先节点，反之。

Xpath语法

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的，下面列出一些常用的路径表达式。

路径表达式	描述
/	从根节点选取（取子节点）
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

下面来举几个例子来讲讲下xpath的应用：

"/html":选取根元素

"//div": 选取所有 div子元素，而不管它们在文档中的位置。

"//div@class='ancestor'":选取class为ancestor的所有div元素

"//div@class='ancestor'//div":选取class为ancestor的div元素下的所有div元素（不管什么位置）

"//title@lang='eng'":选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性

"//div@class='ancestor'//div@id='father'/*":选取class为ancestor的div元素下id为father的div元素下的所有元素

"//div@class='ancestor'/div2":选取class为ancestor的div元素下的第二个div元素

实战应用

下面通过一个实战应用来继续熟悉下Xpath的使用：通过爬取美国排名前一百的公司，公司名字，公司市值，公司所属国家等数据。也会附上到xpath的路径截图。

完整源码

代码语言：python代码运行次数：0运行复制

import requests # 数据请求库
import parsel  # 数据解析库

# 目标网站
url='/'
# 请求体，用于伪装浏览器访问
headers={
'User-Agent':'Mozilla/5.0 (Windows T 10.0; Win64; x64) AppleWebKit/57.6 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/57.6 Edg/126.0.0.0'
}
# 响应数据
respe = requests.get(url=url, headers=headers)
# 实例化对象
selector = parsel.Selector()
# 利用xpath先获取所有名字的selector对象
name=selector.xpath("//div[@class='company-name']")
# 再利用css选择器来获取所有的文字：即美国排名前一百的公司名称
name_detail=('*::text').getall()

# 获取美国前一百公司的市值,利用xpath获取：后面附图具体讲解了每个元素的定位
value_data=selector.xpath("//td[@class='td-right']")
#  再利用css选择器获取所有市值，储存到value_detail列表中
value_detail=value_('*::text').getall()

# 获取每个公司的所属国家
fallGains = selector.xpath("//span[@class='respive-hidden']")
fallGains=('*::text').getall()

# 对列表进行遍历 输出公司名称和市值
for num in range(1,101):
    new_num=*num-2
    name_company=name_detail[num-1]
    print(f"美国公司第{num}名：{name_company},市值为：{value_detail[new_num]},所属国家为：{fallGains[num]}")

运行截图

共勉

少年有梦不应止于心动

玩法：先利用xpath选择元素，再利用css选择器选择文本或属性。

name=selector.xpath("//div[@class='company-name']")

name_detail=('*::text').getall()

博客

本人是一个渗透爱好者，不时会在（laity的渗透测试之路）更新一些实战渗透的实战案例，感兴趣的同学可以关注一下，大家一起进步。
之前在发布了一个kaliWiFi的文章，感兴趣的同学可以去看一下，在b站（up主:laity1717）也发布了相应的教学视频。

#感谢您对电脑配置推荐网 - 最新i3 i5 i7组装电脑配置单推荐报价格的认可，转载请说明来源于"电脑配置推荐网 - 最新i3 i5 i7组装电脑配置单推荐报价格

本文地址：http://www.dnpztj.cn/biancheng/1176734.html

推荐阅读

留言与评论（共有 20 条评论）

本站网友查成绩的网站	26分钟前发表
选取根元素"//div"
本站网友中华门二手房	6分钟前发表
a
本站网友福临万家二期	25分钟前发表
选取根元素"//div"
本站网友电力文章	25分钟前发表
感兴趣的同学可以关注一下
本站网友泰州美食	10分钟前发表
text').getall()博客本人是一个渗透爱好者
本站网友刷票机	18分钟前发表
公司所属国家等数据
本站网友得了白癜风	7分钟前发表
id为father的div元素是 a
本站网友 flash游戏源码	22分钟前发表
公司市值
本站网友新东方网络课堂怎么样	1分钟前发表
有七种类型的节点：元素
本站网友刷alexa	23分钟前发表
h1
本站网友 wuyuetian	26分钟前发表
在上面的例子中
本站网友怀孕全过程	29分钟前发表
"//div@class='ancestor'"
本站网友炭疽粉末	27分钟前发表
headers=headers) # 实例化对象 selector = parsel.Selector() # 利用xpath先获取所有名字的selector对象 name=selector.xpath("//div[@class='company-name']") # 再利用css选择器来获取所有的文字：即美国排名前一百的公司名称 name_detail=('*
本站网友东新园二手房	16分钟前发表
text').getall() # 获取每个公司的所属国家 fallGains = selector.xpath("//span[@class='respive-hidden']") fallGains=('*
本站网友葡萄酒泡洋葱	15分钟前发表

本站网友花溪租房	16分钟前发表
文本
本站网友麻柳叶	2分钟前发表
h1
本站网友大脸变小脸	5分钟前发表

本站网友水垢的主要成分	5分钟前发表
且这些元素拥有值为 eng 的 lang 属性"//div@class='ancestor'//div@id='father'/*"

爬取美国公司案例