Selenium爬取京东商品信息:以RedmiK60为例
Selenium爬取京东商品信息:以RedmiK60为例
本教程将使用Selenium库来爬取京东网站上RedmiK60商品的信息,包括商品名称、店铺名称和价格。
1. 安装依赖库
首先需要安装Selenium库,可以使用pip命令安装:
pip install selenium
2. 下载浏览器驱动
根据您的浏览器版本下载相应的驱动程序。例如,如果您使用的是Chrome浏览器,请下载chromedriver。将下载的驱动程序放在您的系统路径中,以便Selenium库可以找到它。
3. 代码实现
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
# 启动浏览器
s = Service('chromedriver.exe')
driver = webdriver.Chrome(service=s)
# 打开网页
driver.get('https://www.jd.com/')
# 输入搜索关键字
search_box = driver.find_element(By.XPATH, '//*[@id='key']')
search_box.send_keys('RedmiK60')
# 点击搜索按钮
search_button = driver.find_element(By.CSS_SELECTOR, '#search > div > div.form > button')
search_button.click()
# 等待页面加载完成
driver.implicitly_wait(10)
# 提取搜索结果
lis = driver.find_elements(By.CSS_SELECTOR, '.goods-list-v2.gl-type-3 .gl-item .gl-i-wrap')
for li in lis:
shop_name = li.find_elements(By.CSS_SELECTOR, '.J_im_icon a')[0].text # 店铺名
title = li.find_elements(By.CSS_SELECTOR, '.p-name em')[0].text # 商品名
price = li.find_elements(By.CSS_SELECTOR, '.p-price i')[0].text # 价格
print(shop_name, title, price)
# 关闭浏览器
driver.quit()
4. 代码解释
- 导入必要的库
- 启动Chrome浏览器
- 打开京东网站
- 在搜索框中输入'RedmiK60'
- 点击搜索按钮
- 等待页面加载完成
- 提取搜索结果中的商品信息,包括店铺名、商品名和价格
- 打印提取到的商品信息
- 关闭浏览器
5. 总结
本教程介绍了使用Selenium爬取京东商品信息的简单方法。您可以根据自己的需求修改代码,以提取更多信息或进行其他操作。
注意: 爬取网站数据需要遵守网站的 robots.txt 协议,不要过度频繁地访问网站,以免给网站服务器带来过大的负担。
原文地址: https://www.cveoy.top/t/topic/luGM 著作权归作者所有。请勿转载和采集!