CSES 问题集爬虫系统测试报告

CSES 问题集爬虫系统测试报告

1. 测试目的和范围:

本次系统测试的目的是通过对已爬取的problem_html和submission数据进行处理，爬取题目的内容，并保存到content.md中。同时，还需要获取测试用例的输入和输出，并保存到对应的文件中。本次测试的范围包括发送GET请求、解析响应、获取问题内容、保存内容到文件、获取测试用例的输入和输出等功能的测试。

2. 测试环境:

• 操作系统: Windows 10
• Python版本: 3.7.9
• 开发工具: PyCharm

3. 测试步骤:

1. 设置代理配置，包括设置HTTP代理和HTTPS代理。
2. 发送GET请求到问题URL，并使用代理和Cookie。
3. 解析响应，并获取所有
   元素。
   • 遍历每个
     元素，获取二级标题和
     • 元素。
     • 解析元素，获取问题的链接地址、标题和ID，并创建对应的目录。
     • 再次发送GET请求获取问题的内容，并保存到文件中。
     • 获取测试用例的输入和输出，并保存到对应的文件中。