写一个爬虫程序的框架并告诉我需要用的时候怎么改

爬虫程序框架：

import requests
from bs4 import BeautifulSoup

def get_html(url):
    headers = { # 请求头信息
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
    try:
        response = requests.get(url, headers=headers) # 模拟请求
        response.encoding = 'utf-8'
        return response.text
    except:
        return None

def parse_html(html):
    soup = BeautifulSoup(html, 'lxml') # 解析HTML
    # 提取数据
    return data

def save_data(data):
    # 存储数据
    pass

def main():
    url = 'http://example.com'
    html = get_html(url)
    if html:
        data = parse_html(html)
        save_data(data)

if __name__ == '__main__':
    main()

改进：

通过配置文件读取需要爬取的URL列表，并循环遍历每个URL进行爬取。
可以使用代理IP池或者随机UA等技术来避免被反爬虫机制封禁。
将数据保存到数据库中，以便后续数据筛选、清洗等操作。
使用多线程或者异步IO等技术提高爬取效率。
添加异常处理机制，避免程序中断。