Golang 并发计算大文件 MD5 效率优化 - 代码示例

下面是一个使用 goroutine 并发计算大文件 MD5 的示例代码：

package main

import (
	"crypto/md5"
	"fmt"
	"io"
	"os"
)

func main() {
	// 打开文件
	file, err := os.Open('large_file.txt')
	if err != nil {
		panic(err)
	}
	defer file.Close()

	// 获取文件信息
	fileInfo, err := file.Stat()
	if err != nil {
		panic(err)
	}

	// 计算每个 goroutine 需要处理的大小
	chunkSize := fileInfo.Size() / 4

	// 创建一个 channel 用于接收每个 goroutine 计算出的 MD5 值
	resultCh := make(chan []byte)

	// 启动 goroutine 并发计算 MD5 值
	for i := 0; i < 4; i++ {
		go func() {
			// 创建一个 hash 对象
			hash := md5.New()

			// 读取每个 goroutine 需要处理的数据
			offset := int64(i) * chunkSize
			_, err := file.Seek(offset, io.SeekStart)
			if err != nil {
				panic(err)
			}
			chunk := make([]byte, chunkSize)
			_, err = io.ReadFull(file, chunk)
			if err != nil && err != io.EOF {
				panic(err)
			}

			// 计算数据的 MD5 值
			hash.Write(chunk)
			resultCh <- hash.Sum(nil)
		}()
	}

	// 等待所有 goroutine 计算完毕
	var results [][]byte
	for i := 0; i < 4; i++ {
		result := <-resultCh
		results = append(results, result)
	}

	// 计算所有 MD5 值的总和
	hash := md5.New()
	for _, result := range results {
		hash.Write(result)
	}

	// 输出最终结果
	fmt.Printf('MD5: %x\n', hash.Sum(nil))
}

在这个示例代码中，使用了 4 个 goroutine 并发计算 MD5 值。首先，打开需要计算 MD5 值的文件，并获取文件信息。然后，计算每个 goroutine 需要处理的数据大小，创建一个 channel 用于接收每个 goroutine 计算出的 MD5 值。接着，启动 4 个 goroutine 并发计算 MD5 值。每个 goroutine 读取对应的数据块，并计算 MD5 值，将计算结果发送到 channel 中。最后，等待所有 goroutine 计算完毕，将每个 goroutine 计算出的 MD5 值相加，输出最终结果。

这个示例代码的优点是可以利用多核处理器的优势，加快计算速度。缺点是需要手动计算每个 goroutine 需要处理的数据大小，如果计算不准确可能会导致计算速度变慢。另外，如果文件过大，可能会导致内存不足，需要使用分块读取的方式来避免这个问题。