将实验数据存储到Mysql数据库
将实验数据存储到Mysql数据库
本项目将实验3到实验5的爬虫结果文件("suesnews_result.txt"、"当当搜索关键词_单页面.csv"、"当当搜索关键词_多页面.csv"、"豆瓣电影TOP250信息及评论.xlsx")存储到Mysql相应数据库和数据表中。根据结果文件的不同形式,写3个不同的函数txt_to_mysql、csv_to_mysql、excel_to_mysql分别完成txt文件、csv文件、xlsx文件向Mysql数据库的存储。
流程设计
- 读取实验结果文件
- 连接到Mysql数据库
- 创建数据表(如果不存在)
- 将数据插入到数据表中
- 关闭数据库连接
函数设计
1. txt_to_mysql函数
- 输入参数: file_path(实验结果文件路径)
- 输出参数: 无
- 功能: 将txt文件中的数据存储到Mysql数据库中
2. csv_to_mysql函数
- 输入参数: file_path(实验结果文件路径)
- 输出参数: 无
- 功能: 将csv文件中的数据存储到Mysql数据库中
3. excel_to_mysql函数
- 输入参数: file_path(实验结果文件路径)
- 输出参数: 无
- 功能: 将xlsx文件中的数据存储到Mysql数据库中
流程图
┌───────────────────────┐
│ 读取实验结果文件 │
└─────────────┬─────────┘
│
▼
┌───────────────────────┐
│ 连接到Mysql数据库 │
└─────────────┬─────────┘
│
▼
┌───────────────────────┐
│ 创建数据表 │
└─────────────┬─────────┘
│
▼
┌───────────────────────┐
│ 将数据插入到数据表中 │
└─────────────┬─────────┘
│
▼
┌───────────────────────┐
│ 关闭数据库连接 │
└───────────────────────┘
接口设计
1. txt_to_mysql函数接口设计
- 函数名: txt_to_mysql
- 输入参数: file_path(实验结果文件路径)
- 输出参数: 无
- 功能: 将txt文件中的数据存储到Mysql数据库中
2. csv_to_mysql函数接口设计
- 函数名: csv_to_mysql
- 输入参数: file_path(实验结果文件路径)
- 输出参数: 无
- 功能: 将csv文件中的数据存储到Mysql数据库中
3. excel_to_mysql函数接口设计
- 函数名: excel_to_mysql
- 输入参数: file_path(实验结果文件路径)
- 输出参数: 无
- 功能: 将xlsx文件中的数据存储到Mysql数据库中
原文地址: https://www.cveoy.top/t/topic/pvh3 著作权归作者所有。请勿转载和采集!