DataFrame去重

DataFrame去重通常使用drop_duplicates()方法。该方法返回一个新的DataFrame对象，其中包含与原始DataFrame对象中的重复行不同的行。

以下是一个示例：

import pandas as pd

# 创建一个包含重复行的DataFrame
data = {'A': [1, 2, 3, 4, 2, 3],
        'B': ['a', 'b', 'c', 'd', 'b', 'c']}
df = pd.DataFrame(data)

# 去重
df_unique = df.drop_duplicates()

# 打印去重后的DataFrame
print(df_unique)

输出结果：

   A  B
0  1  a
1  2  b
2  3  c
3  4  d

在这个例子中，原始的DataFrame对象df包含重复的行。drop_duplicates()方法返回一个新的DataFrame对象df_unique，其中包含与原始DataFrame对象中的重复行不同的行。