Python 抓取网页文章标题和链接并存储到数据库
以下是 Python 代码实现:
import requests
from bs4 import BeautifulSoup
import sqlite3
# 获取网页内容
url = 'https://www.example.com/article'
response = requests.get(url)
content = response.text
# 解析网页内容
soup = BeautifulSoup(content, 'html.parser')
title = soup.title.text
link = url
# 存储到数据库
conn = sqlite3.connect('articles.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS articles
(title TEXT, link TEXT)''')
c.execute('INSERT INTO articles (title, link) VALUES (?, ?)', (title, link))
conn.commit()
conn.close()
这段代码首先使用 requests 库获取网页内容,然后使用 BeautifulSoup 库解析网页内容,获取文章标题和链接。最后,将标题和链接存储到 SQLite 数据库中。注意,这里使用了 Python 的内置 sqlite3 模块来连接和操作数据库。
原文地址: https://www.cveoy.top/t/topic/mVVD 著作权归作者所有。请勿转载和采集!