Python 使用 Requests 爬取 JS 反爬网站：实战指南

当爬取 JS 反爬的网站时，可以使用 requests 库结合解析 JS 的方法来实现。以下是一个示例：

import requests
import execjs
from bs4 import BeautifulSoup

# 构造请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

# 发送请求获取网页内容
url = 'https://example.com'  # 替换为目标网站的URL
response = requests.get(url, headers=headers)
html = response.text

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 进行网页内容的解析和提取，根据具体网站的反爬机制进行处理
# ...

# 使用execjs解析JS代码
js_code = '''
// 这里是JS代码，根据网站的具体反爬机制进行解析
'''
ctx = execjs.compile(js_code)
# 执行JS代码并获取结果
result = ctx.call('function_name', arg1, arg2)
# 根据结果进行处理
# ...

# 继续使用requests发送请求或其他操作，根据具体需求进行处理
# ...

需要根据目标网站的具体反爬机制进行相应的解析和处理。在示例中，我们使用了 execjs 库来解析 JS 代码，并使用 BeautifulSoup 来解析网页内容。根据具体情况，你可能需要使用其他库或方法来处理反爬机制。