python爬取股票信息及上市企业信息进行存储。
以下是一个简单的Python爬虫示例,用于从网站上获取上市企业信息和股票信息,并将其存储到本地文件中。该示例使用BeautifulSoup库来解析HTML页面,并使用pandas库来创建DataFrame对象。
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 获取上市企业信息
url = 'https://www.hkex.com.hk/Market-Data/Securities-Prices/Equities?sc_lang=en'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
table = soup.find('table', {'class': 'table_grey_border'})
# 解析表格数据并保存到DataFrame中
rows = table.find_all('tr')
headers = [header.text for header in rows[0].find_all('th')]
data = [[cell.text for cell in row.find_all('td')] for row in rows[1:]]
df_companies = pd.DataFrame(data, columns=headers)
# 获取股票信息
stocks = ['AAPL', 'AMZN', 'GOOG']
url = f'https://finance.yahoo.com/quote/{stocks[0]}'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
# 解析页面数据并保存到DataFrame中
price = soup.find('span', {'class': 'Trsdu(0.3s) Fw(b) Fz(36px) Mb(-4px) D(ib)'}).text
change = soup.find('span', {'class': 'Trsdu(0.3s) Fw(500) Pstart(10px) Fz(24px) C($positiveColor)'}).text
df_stocks = pd.DataFrame({'Stock': stocks, 'Price': price, 'Change': change})
# 将数据保存到本地文件中
with pd.ExcelWriter('stock_data.xlsx') as writer:
df_companies.to_excel(writer, sheet_name='Companies')
df_stocks.to_excel(writer, sheet_name='Stocks')
该示例中,首先使用requests库从网站上获取上市企业信息的HTML页面。然后使用BeautifulSoup库解析HTML页面并找到包含表格数据的元素。接下来,解析表格数据并将其保存到一个DataFrame对象中。
接着,使用requests库从Yahoo Finance网站上获取股票信息的HTML页面。然后使用BeautifulSoup库解析HTML页面并找到包含股价和涨跌幅的元素。接下来,将股票信息保存到一个DataFrame对象中。
最后,使用pandas库将两个DataFrame对象保存到一个Excel文件中。
注意,该示例只是一个简单的示例,实际应用中需要更多的数据清洗和处理步骤。同时,爬取网站数据需要遵守相关法律法规和网站的使用协议
原文地址: https://www.cveoy.top/t/topic/eFWS 著作权归作者所有。请勿转载和采集!