C++ 代码分析：生成 1000 万个文件，路径深度 10 层

这段 C++ 代码使用递归函数和 UUID 生成器，在指定路径下创建 10 层文件夹，每层包含 1000000 个文件。

代码解析

#include <iostream>
#include <string>
#include <fstream>
#include <string.h>

#include <uuid/uuid.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <errno.h>

#define LEVEL 10 // 文件夹深度
#define NUM 1000000 // 每层文件夹中的文件数量
#define UUID_LENGTH 36

uint64_t num_of_files = 0; // 已生成的文件数量
uint64_t num_of_direc = 0; // 已创建的文件夹数量

void generate_file(const std::string& path)
{
    char str[UUID_LENGTH];
    for (int j = 0; j < NUM; j++) {
        memset(str, 0, UUID_LENGTH);
        std::ofstream file(path + "/" + std::to_string(num_of_files++) + ".txt");
        uuid_t uuid;
        uuid_generate(uuid);
        uuid_unparse(uuid, str);
        file.write(str, strlen(str));
    }
}

// mkdir(path.c_str(), S_IRWXU | S_IRWXG | S_IROTH | S_IXOTH);

int __mkdir(int level, const std::string& path)
{
    std::string path_ = path + "/" + std::to_string(num_of_direc++);
    int rc = mkdir(path_.c_str(), S_IRWXU | S_IRWXG | S_IROTH | S_IXOTH);
    if (rc != 0) {
        std::cerr << "mkdir failed, errno: " << errno << ", " << strerror(errno) << std::endl;
        return -1;
    }
    if (level == 1) {
        generate_file(path_);
    } else {
        for (int i = 0; i < NUM; i++) {
            int rc = __mkdir(level - 1, path_);
            if (rc != 0) {
                std::cerr << "__mkdir failed, errno: " << errno << ", " << strerror(errno) << std::endl;
                return -1;
            }
        }
    }

    return 0;
}

int main(int argc, char const *argv[])
{
    __mkdir(LEVEL - 1, ".");
    
    return 0;
}

代码解释

• LEVEL: 定义文件夹的深度，设置为 10。
• NUM: 定义每层文件夹中的文件数量，设置为 1000000。
• UUID_LENGTH: UUID 字符串长度，设置为 36。
• num_of_files: 跟踪已生成的文件数量。
• num_of_direc: 跟踪已创建的文件夹数量。
• generate_file(): 生成指定路径下的文件，每个文件使用一个唯一的 UUID 作为文件名。
• __mkdir(): 递归函数，创建指定路径下的文件夹，并根据 level 参数判断是否继续创建子文件夹。
• main(): 运行函数，调用 __mkdir() 创建文件系统结构。

优化建议

• 使用多线程：可以将文件生成和文件夹创建任务分配到多个线程，以提高效率。
• 减少文件写入次数：可以将多个文件内容写入到一个缓冲区，然后一次性写入到磁盘，减少磁盘访问次数。
• 优化文件系统结构：可以根据文件系统的特点优化文件夹结构，例如将相同类型的文件放到同一个文件夹下，以提高查找效率。

注意事项

• 确保磁盘空间足够，1000 万个文件需要很大的磁盘空间。
• 避免使用过长的路径，过长的路径可能会导致系统错误。
• 谨慎使用此代码，大量文件生成可能会对系统性能造成影响。

总结

这段代码提供了一个生成大量文件并组织到文件夹结构中的方法，并提供了代码解析和优化建议。在实际应用中，需要根据具体情况进行调整和优化。