Python 读取大文件：高效处理txt文档数据（每1000行处理一次）

以下示例代码演示如何读取 txt 文档并对数据进行处理。代码每次读取 1000 条数据，以 '|' 分隔数据。

# 打开txt文档
with open('data.txt', 'r') as file:
    # 初始化计数器
    count = 0
    # 初始化数据列表
    data = []
    
    # 逐行读取文档
    for line in file:
        # 去除换行符
        line = line.strip()
        # 将数据以 '|' 分割
        line_data = line.split('|')
        
        # 处理数据
        # ...
        
        # 将处理后的数据添加到列表
        data.append(line_data)
        
        # 计数器加1
        count += 1
        
        # 每读取1000条数据进行处理
        if count % 1000 == 0:
            # 进行数据处理
            process_data(data)
            
            # 清空数据列表
            data = []
    
    # 处理剩余的数据
    if data:
        process_data(data)

在上述代码中，你需要根据实际情况编写数据处理的代码，将数据列表 data 作为参数传递给 process_data 函数，在该函数中进行数据处理。