我从hdf5读取一个50gb的文件S然后生成一个均值为零标准差为800shape同S的shape的噪声相加加存储为新的hdf5给出使用进行pandas读写的py代码
以下是使用Python进行读取和写入HDF5文件的代码:
import pandas as pd
import numpy as np
import h5py
# 读取原始HDF5文件S
with h5py.File('S.hdf5', 'r') as f:
S = f['data'][:]
# 生成噪声
noise = np.random.normal(loc=0, scale=800, size=S.shape)
# 将S和噪声相加
S_noise = S + noise
# 将新的HDF5文件写入磁盘
with h5py.File('S_noise.hdf5', 'w') as f:
dset = f.create_dataset('data', data=S_noise)
# 使用pandas读取HDF5文件
df = pd.read_hdf('S_noise.hdf5', key='data')
# 使用pandas写入HDF5文件
df.to_hdf('S_noise.hdf5', key='data')
注意,上述代码中的文件名和键名仅供参考,需要根据实际情况进行修改。此外,如果数据集过大,可能需要使用分块读取和写入技术,以免内存溢出。
原文地址: https://www.cveoy.top/t/topic/bMQu 著作权归作者所有。请勿转载和采集!