Python爬虫代码优化：提高效率，解决错误

本文将分析一段Python爬虫代码，找出其中的错误并提供优化方案，提高代码的运行速度和效率。

原代码及错误分析

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com/'
response = requests.get(url)
html = response.text

soup = BeautifulSoup(html, 'html.parser')

keywords = ['Python', '爬虫']
for keyword in keywords:
    result = soup.find_all(text=keyword)
    if result:
        print(result)

links = soup.find_all('a')
for link in links:
    href = link.get('href')
    if href.startswith('http'):
        response = requests.get(href)
        sub_html = response.text
        sub_soup = BeautifulSoup(sub_html, 'html.parser')
        sub_result = sub_soup.find_all(text=keyword)
        if sub_result:
            print(sub_result)

这段代码存在一个错误：在第二个 for 循环中，变量 keyword 没有重新赋值，导致在查找子页面时始终使用的是最后一个关键词。

代码优化方案

使用 Session 对象保持会话: 使用 requests 库的 Session 对象可以保持会话，避免频繁建立连接和发送请求，提高效率。
使用正则表达式匹配关键词: 使用正则表达式可以更加精准地查找关键词，提高效率。
使用多线程或异步处理: 在查找子页面时，使用多线程或异步处理可以加速处理速度。

优化后的代码

import re
import requests
from bs4 import BeautifulSoup
from concurrent.futures import ThreadPoolExecutor, as_completed

url = 'https://www.example.com/'
session = requests.Session()
response = session.get(url)
html = response.text

soup = BeautifulSoup(html, 'html.parser')

keywords = ['Python', '爬虫']
pattern = '|' .join(keywords)
regex = re.compile(pattern)

for keyword in keywords:
    result = soup.find_all(text=regex)
    if result:
        print(result)

links = soup.find_all('a')
pool = ThreadPoolExecutor(max_workers=10)
futures = []
for link in links:
    href = link.get('href')
    if href.startswith('http'):
        futures.append(pool.submit(session.get, href))

for future in as_completed(futures):
    sub_response = future.result()
    sub_html = sub_response.text
    sub_soup = BeautifulSoup(sub_html, 'html.parser')
    sub_result = sub_soup.find_all(text=regex)
    if sub_result:
        print(sub_result)

通过以上优化，代码的运行速度和效率将得到显著提升。