C# 多线程顺序读写大文件：提升性能实战指南

在处理大文件时，传统的单线程读写方式往往效率低下。本文将介绍如何使用 C# 多线程技术，实现对大文件的顺序读取和写入，从而显著提升文件处理性能。

代码示例

以下是一个简单的示例，演示如何使用多线程按顺序读取和写入大文件：

using System;
using System.IO;
using System.Threading;

class Program
{
    static void Main(string[] args)
    {
        string sourceFile = 'input.txt';
        string destFile = 'output.txt';
        int bufferSize = 1024 * 1024; // 1MB buffer size
        int threadCount = 4; // number of threads to use

        // 创建一个信号量，限制同时访问文件的线程数量
        SemaphoreSlim semaphore = new SemaphoreSlim(threadCount);

        // 打开源文件和目标文件
        using (FileStream sourceStream = new FileStream(sourceFile, FileMode.Open, FileAccess.Read, FileShare.Read, bufferSize))
        using (FileStream destStream = new FileStream(destFile, FileMode.Create, FileAccess.Write, FileShare.Write, bufferSize))
        {
            // 计算需要读取和写入的块数
            long fileSize = sourceStream.Length;
            int chunkCount = (int)Math.Ceiling((double)fileSize / bufferSize);

            // 创建一个手动重置事件数组，用于指示每个块何时写入完成
            ManualResetEvent[] events = new ManualResetEvent[chunkCount];

            // 循环遍历每个块，并启动一个新线程来读取和写入它
            for (int i = 0; i < chunkCount; i++)
            {
                // 为当前块创建一个新的事件
                events[i] = new ManualResetEvent(false);

                // 等待信号量释放一个可用信号
                semaphore.Wait();

                // 启动一个新线程来读取和写入当前块
                ThreadPool.QueueUserWorkItem(state =>
                {
                    int index = (int)state;
                    byte[] buffer = new byte[bufferSize];
                    int bytesRead = 0;

                    try
                    {
                        // 从源文件读取当前块数据
                        sourceStream.Seek(index * bufferSize, SeekOrigin.Begin);
                        bytesRead = sourceStream.Read(buffer, 0, bufferSize);

                        // 将当前块数据写入目标文件
                        destStream.Seek(index * bufferSize, SeekOrigin.Begin);
                        destStream.Write(buffer, 0, bytesRead);
                    }
                    catch (Exception ex)
                    {
                        Console.WriteLine(ex.Message);
                    }
                    finally
                    {
                        // 释放信号量信号，并设置事件状态为已完成
                        semaphore.Release();
                        events[index].Set();
                    }
                }, i);
            }

            // 等待所有事件完成
            WaitHandle.WaitAll(events);
        }
    }
}

代码解析

多线程处理: 代码使用 ThreadPool.QueueUserWorkItem 方法创建多个线程，并行读取和写入数据块，提高文件处理效率。
顺序读写: 代码通过 FileStream.Seek 方法精确定位每个数据块的读取和写入位置，确保数据按顺序处理。
信号量控制: 代码使用 SemaphoreSlim 限制同时访问文件的线程数量，避免资源竞争，提高程序稳定性。
事件同步: 代码使用 ManualResetEvent 数组同步各个线程的执行状态，确保所有数据块都已写入目标文件后，程序才结束运行。

总结

通过使用多线程和信号量机制，可以有效提升大文件的顺序读写效率。本文提供的代码示例清晰易懂，并对关键代码进行了详细解析，希望能够帮助您更好地理解和应用 C# 多线程编程技术。