博客

python 字典列表/列表套字典 数据去重

第一种：

def deleteDuplicate(li):
    func = lambda x, y: x if y in x else x + [y]
    li = reduce(func, [[], ] + li)
    return li

关于reduce()，请看

http://docs.python.org/2/library/functions.html#reduce

第二种：

def deleteDuplicate(li):
    temp_list = list(set([str(i) for i in li]))
    li=[eval(i) for i in temp_list]
    return li

第三种方法：

[dict(t) for t in set([tuple(d.items()) for d in li])]


# 解释
li 是原始列表
d  是列表中的一个字典
t  是从字典中创建的元组之一


l = [{'a': 123, 'b': 1234},
        {'a': 3222, 'b': 1234},
        {'a': 123, 'b': 1234}]

seen = set()
new_l = []
for d in l:
    t = tuple(d.items())
    if t not in seen:
        seen.add(t)
        new_l.append(d)

print new_l

建议使用第三种，因为速度更加快，经过测试相同的数据，第三种方法速度比第一种的10倍

样例演示：

li = [
        {'a': 'b', 'c': 'c'},
        {'a': 'b', 'b': 'b'},
        {'a': 'b', 'd': 'd'},
        {'a': 'b', 'e': 'e'},
        {'a': 'b', 'f': 'f'},
        {'a': 'b', 'b': 'b'},
        {'a': 'b', 'c': 'c'},
    ]
    
li = deleteDuplicate(li)
print (li)

[{'a': 'b', 'c': 'c'}, {'a': 'b', 'b': 'b'}, {'a': 'b', 'd': 'd'}, {'a': 'b', 'e': 'e'}, {'a': 'b', 'f': 'f'}]

测试性能相关代码：