写一个Python抓取程序
抓取网页数据的Python程序示例:
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取网页标题
title = soup.title.string
print(title)
# 获取所有链接
links = []
for link in soup.find_all('a'):
links.append(link.get('href'))
print(links)
# 获取所有图片链接
images = []
for img in soup.find_all('img'):
images.append(img.get('src'))
print(images)
这个程序使用了requests和BeautifulSoup库来获取网页数据。首先使用requests.get()方法获取网页,并将返回的文本传递给BeautifulSoup()方法来解析网页。然后使用soup对象的方法来获取网页标题、链接和图片链接。
原文地址: https://www.cveoy.top/t/topic/DWl 著作权归作者所有。请勿转载和采集!