python列表如何去除重复元素？

例子，python列表去重复。

复制代码代码示例:

#第一种def delRepeat(liebiao): for x in liebiao:  while liebiao.count(x)>1:   del liebiao[liebiao.index(x)] return liebiao

#第二种 无法保持原有顺序liebiao=set(liebiao)

python去除列表中的重复元素比较容易记忆的是用内置的set

l1 = ['b','c','d','b','c','a','a']

l2 = list(set(l1))

print l2

还有一种据说速度更快的，没测试过两者的速度差别

l1 = ['b','c','d','b','c','a','a']

l2 = {}.fromkeys(l1).keys()

print l2

这两种都有个缺点，祛除重复元素后排序变了：

['a', 'c', 'b', 'd']

如果想要保持原来的排序：

用list类的sort方法

l1 = ['b','c','d','b','c','a','a']

l2 = list(set(l1))

l2.sort(key=l1.index)

print l2

也可以这样写

l1 = ['b','c','d','b','c','a','a']

l2 = sorted(set(l1),key=l1.index)

print l2

也可以用遍历

l1 = ['b','c','d','b','c','a','a']

l2 = []

for i in l1:

if not i in l2:

l2.append(i)

print l2

上面的代码也可以这样写

l1 = ['b','c','d','b','c','a','a']

l2 = []

[l2.append(i) for i in l1 if not i in l2]

print l2

这样就可以保证排序不变了：

['b', 'c', 'd', 'a']

python列表list去除重复元素的方法python list去重的方法，需要用到 itertools.groupby 函数。

问题就是对一个list中的新闻id进行去重，去重之后要保证顺序不变。

1，直观方法，也是最简单的方法

ids = [1,2,3,3,4,2,3,4,5,6,1]

news_ids = []

for id in ids:

if id not in news_ids:

news_ids.append(id)

print news_ids

这样也可行，但是看起来不够爽。

2，用set

另外一个解决方案就是用set：

ids = [1,4,3,3,4,2,3,4,5,6,1]

ids = list(set(ids))

这样的结果是没有保持原来的顺序。

按照索引再次排序

最后通过这种方式解决：

ids = [1,4,3,3,4,2,3,4,5,6,1]

news_ids = list(set(ids))

news_ids.sort(ids.index)

3，使用itertools.grouby

文章一开始就提到itertools.grouby, 如果不考虑列表顺序的话可用这个：

ids = [1,4,3,3,4,2,3,4,5,6,1]

ids.sort()

it = itertools.groupby(ids)

for k, g in it:

print k

关于itertools.groupby的原理可以看这里：http://docs.python.org/2/library/itertools.html#itertools.groupby

补充：用reduce

网友reatlk留言给了另外的解决方案：

In [5]: ids = [1,4,3,3,4,2,3,4,5,6,1]

In [6]: func = lambda x,y:x if y in x else x + [y]

In [7]: reduce(func, [[], ] + ids)

Out[7]: [1, 4, 3, 2, 5, 6]

以上是在ipython中运行的代码，其中的 lambda x,y:x if y in x else x + [y] 等价于 lambda x,y: y in x and x or x+[y] 。

先把ids变为[[], 1,4,3,......] ,然后利用reduce的特性。

reduce解释，参考链接：http://docs.python.org/2/library/functions.html#reduce