用python编写一个程序建议使用requests、time、random、json等技术爬取堆糖网站美食图片网站地址为:httpswwwduitangcomsearchkw=E7BE8EE9A39F&type=feed要求能够利用F12找到正确网址获取当前页面所有图片并统一保存至文件夹中文件名以随机数+时间戳命名。
以下是一个基于requests、time、random、json等技术的Python程序,可以爬取堆糖网站的美食图片:
import requests
import time
import random
import json
# 设置请求头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
# 设置搜索关键词和页数
keyword = '美食'
page = 1
# 构造请求URL
url = f'https://www.duitang.com/napi/blog/list/by_search/?kw={keyword}&type=feed&start={page*24}&limit=24'
# 发送请求并获取响应
response = requests.get(url, headers=headers)
data = json.loads(response.text)
# 解析响应数据并保存图片
for item in data['data']['object_list']:
pic_url = item['photo']['path']
pic_name = f'{random.randint(1, 100000)}_{int(time.time())}.jpg'
pic_data = requests.get(pic_url, headers=headers).content
with open(pic_name, 'wb') as f:
f.write(pic_data)
print(f'Saved {pic_name}')
该程序首先设置了请求头信息,然后设置了搜索关键词和页数。通过构造请求URL发送请求并获取响应,然后解析响应数据,提取每张图片的URL和名称,并使用requests库下载图片并保存到本地。最终输出保存成功的信息
原文地址: https://www.cveoy.top/t/topic/hhIQ 著作权归作者所有。请勿转载和采集!