春满大地,富贵花开。微雨众卉新,一雷惊蛰始。敬请关注微信公众号:AiryData。

Python中lxml库的用法

PYTHON Airy 5089℃ 0评论

前言

前面已经学习了requests和beautifulsoup库的知识,大家可以看Python中Requests库的用法Python中Beautiful Soup的用法,今天再来学习一下用一种网页解析的库lxml。

lxml是Python语言里和XML以及HTML工作的功能最丰富和最容易使用的库。lxml是为libxml2和libxslt库的一个Python化的绑定。它与众不同的地方是它兼顾了这些库的速度和功能完整性,以及纯Python API的简洁性,大部分与熟知的ElementTree API兼容但比之更优越。

lxml库的安装

pip install lxml
利用 pip 安装即可

lxml库的简单用法

首先我们利用它来解析 HTML 代码,先来一个小例子来感受一下它的基本用法。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from lxml import etree
text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>
'''

html = etree.HTML(text)
result = etree.tostring(html)
print(result)

 

首先我们使用 lxml 的 etree 库,然后利用 etree.HTML 初始化,然后我们将其打印出来。其中,这里体现了 lxml 的一个非常实用的功能就是自动修正 html 代码,大家应该注意到了,最后一个 li 标签,其实我把尾标签删掉了,是不闭合的。不过,lxml 因为继承了 libxml2 的特性,具有自动修正 HTML 代码的功能。

1
2
3
4
5
6
7
8
9
10
<html><body><div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </li></ul>
 </div>
</body></html>

 
不仅补全了 li 标签,还添加了 body,html 标签。

 
文件读取
除了直接读取字符串,还支持从文件读取内容。比如我们新建一个文件叫做 hello.html,内容为

1
2
3
4
5
6
7
8
9
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>

 

利用 parse 方法来读取文件,同样可以得到相同的结果。

1
2
3
4
from lxml import etree
html = etree.parse('hello.html')
result = etree.tostring(html, pretty_print=True)
print(result)

 

实例测试

以上一段程序为例。

(1)获取所有的 li 标签

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from lxml import etree
html = etree.parse('hello.html')
print type(html)
result = html.xpath('//li')
print result
print len(result)
print type(result)
print type(result[0])

#运行结果
<type 'lxml.etree._ElementTree'>
[<Element li at 0xc54f288>, <Element li at 0xc56e888>, <Element li at 0xc541408>, <Element li at 0xced7e88>, <Element li at 0xced7508>]
5
<type 'list'>
<type 'lxml.etree._Element'>

 
可见,etree.parse 的类型是 ElementTree,通过调用 xpath 以后,得到了一个列表,包含了 5 个 li 元素,每个元素都是 Element 类型。

(2)获取 li 标签的所有 class

1
2
3
4
result = html.xpath('//li/@class')
print result
#运行结果
['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']

 

(3)获取 li 标签下 href 为 link1.html 的 a 标签

1
2
3
4
result = html.xpath('//li/a[@href="link1.html"]')
print result
#运行结果
[<Element a at 0xc522a88>]

 

(4)获取 li 标签下的所有 span 标签

因为 / 是用来获取子元素的,而 span 并不是 li 的子元素,所以,要用双斜杠。

1
2
3
result = html.xpath('//li//span')
print result
#[<Element span at 0x10d698e18>]

 

(5)获取 li 标签下的所有 class,不包括 li

1
2
3
result = html.xpath('//li/a//@class')
print result
#['bold']

 

(6)获取最后一个 li 的 a 的 href

1
2
3
result = html.xpath('//li[last()]/a/@href')
print result
#['link5.html']

 

(7)获取倒数第二个元素的内容

1
2
3
result = html.xpath('//li[last()-1]/a')
print result[0].text
# fourth item

 

(8)获取 class 为 bold 的标签名

1
2
3
result = html.xpath('//*[@class="bold"]')
print result[0].tag
# span

 

小结

希望通过上面的内容能帮助大家深刻理解和学习Python爬虫。如果你有什么好的意见,建议,或者有不同的看法,我都希望你留言和我们进行交流、讨论。
如果想快速联系我,欢迎关注微信公众号:AiryData。

转载请注明:数据之美 » Python中lxml库的用法

喜欢 (9)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. 网页html和XML类的文件解析利器。很不错。
    Airy2017-03-16 18:11 回复