Python爬虫实战:使用Requests和BeautifulSoup获取新闻标题
以下是使用requests库和beautifulsoup获取新闻标题的示例代码:
import requests
from bs4 import BeautifulSoup
url = 'http://news.baidu.com/'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
news_titles = soup.select('.ulist.focuslistnews a')
for title in news_titles:
print(title.string)
这段代码首先使用requests库发送GET请求获取新闻网站的HTML内容,然后使用BeautifulSoup解析HTML内容,通过CSS选择器获取新闻标题元素,并打印出每个标题的文本内容。在这个示例中,我们选择的CSS选择器是'.ulist.focuslistnews a',也就是新闻列表中的链接元素。你可以根据需要修改CSS选择器来选择不同的元素。
原文地址: https://www.cveoy.top/t/topic/oBrh 著作权归作者所有。请勿转载和采集!