40亿QQ号码去重：Redis Bitmap实现及代码示例

由于一个QQ号码只有10位数，可以将每个QQ号码转换为一个整数，再用bitmap来表示是否存在该QQ号码。具体实现如下：

将40亿个QQ号码转换为40亿个整数，使用哈希函数将整数映射到0-2^32-1的范围内。
创建一个长度为2^32的bitmap，并将所有位都初始化为0。
遍历所有转换后的整数，将对应的bitmap位设置为1。
统计bitmap中为1的位数即为去重后的QQ号码数量。

以下是实现代码：

import redis

# 创建redis连接
r = redis.Redis(host='localhost', port=6379, db=0)

# 初始化bitmap
r.setbit('qq_bitmap', 0, 0)

# 遍历所有QQ号码
with open('qq.txt', 'r') as f:
    for line in f:
        qq = int(line.strip())
        # 哈希函数将qq映射到0-2^32-1范围内的整数
        hashed_qq = hash(qq) % (2**32)
        # 将对应的bitmap位设置为1
        r.setbit('qq_bitmap', hashed_qq, 1)

# 统计bitmap中为1的位数
count = r.bitcount('qq_bitmap')
print('去重后的QQ号码数量为：', count)

注意：由于bitmap的长度为2^32，需要保证内存中有足够的空间来存储bitmap。如果QQ号码数量过大，需要分割成多个文件进行处理，每次只处理一部分数据。