Python爬虫实战：使用lxml抓取58同城二手房信息

本教程将带你使用Python的lxml库爬取58同城网站上的二手房信息。我们将完成以下步骤：

1. 获取网页HTML代码2. 使用lxml解析页面数据3. 将解析后的数据保存到txt文件中

准备工作

在开始之前，请确保你已经安装了Python和lxml库。你可以使用pip命令安装lxml：bashpip install lxml

代码实现

以下是完整的Python代码：pythonimport requestsfrom lxml import etree

获取网站的HTML代码url = 'https://bj.58.com/ershoufang/pn1/'response = requests.get(url)html = response.text

创建etree_html对象etree_html = etree.HTML(html)

解析页面数据house_list = etree_html.xpath('//ul[@class='house-list-wrap']/li')result = []for house in house_list: title = house.xpath('.//h2/a/text()')[0] price = house.xpath('.//b/text()')[0] result.append(f'Title: {title}, Price: {price}')

将解析的页面结果保存到txt文件中with open('house_info.txt', 'w', encoding='utf-8') as f: f.write('

'.join(result))

代码解析

1. 首先，我们使用requests库发送HTTP请求获取网页的HTML代码。2. 接着，使用etree.HTML()方法将HTML代码解析成etree对象。3. 利用xpath语法定位到包含二手房信息的li标签，并遍历每个li标签提取标题和价格信息。4. 最后，将提取到的信息格式化后写入到txt文件中。

运行结果

运行以上代码后，会在当前目录下生成一个名为house_info.txt的文件，其中包含了获取到的二手房信息。

注意

• 爬取网页数据时请遵守robots协议，不要对目标网站造成过大的负担。- 网页结构可能发生变化，导致xpath路径失效，需要根据实际情况进行调整。- 本教程仅供学习交流使用，请勿用于非法用途。