python筛选重复数据

⑴ 如何找出 python list 中有重复的项

可以对第二个list的元素进行遍历，检查是否出现在第二个list当中，如果使用表理解，可以使用一行代码完成任务。
list1 = [1,2,3,4,5]
list2 = [4,5,6,7,8]
print [l for l in list1 if l in list2]
# [4,5]
如果每一个列表中均没有重复的元素，那么还有另外一种更好的办法。首先把两个list转换成set，然后对两个set取交集，即可得到两个list的重复元素。
set1 = set(list1)
set2 = set(list2)
print set1 & set 2
# {4,5}

⑵ python删除列表中的重复值

答: 主要总结了以下三种方法进行列表中的重复值删除。具体代码如图所示。

其中最简单的就是方法一和方法三了,因为他们只需要进行相关函数的调用。

1. 在方法一中，借助集合set中元素不能重复的特性，先将list转为set，然后再将set转回list，即可除重复元素;
2. 在方法三中，借助 Numpy中的 Unique()方法也可将重复的元素去除，同时注意其元素返回类型为ndarray，因此也需要将其转为list。

同学们如果对方法二感兴趣的话,也可以进行动手复现,它相比于方法一和三会更难一点,但是更有利于锻炼代码思维。

⑶ python怎么去掉重复值

去掉重复值的话，那一定是安在他的系统里进行相关设置了，那么去掉的方法那就是把不要的内容给他删除掉。留下他你需要的就可以。

⑷ 如何用python实现两个文件重复数据筛选并统计

本文实例展示了Python统计列表中的重复项出现的次数的方法，是一个很实用的功能，适合Python初学者学习借鉴。具体方法如下：
对一个列表，比如[1,2,2,2,2,3,3,3,4,4,4,4]，现在我们需要统计这个列表里的重复项，并且重复了几次也要统计出来。
方法1：
?

1234

mylist = [1,2,2,2,2,3,3,3,4,4,4,4]myset = set(mylist) #myset是另外一个列表，里面的内容是mylist里面的无重复 项for item in myset: print("the %d has found %d" %(item,mylist.count(item)))

方法2:
?

123456

List=[1,2,2,2,2,3,3,3,4,4,4,4]a = {}for i in List: if List.count(i)>1: a[i] = List.count(i)print (a)

利用字典的特性来实现。
方法3：
?

123

>>> from collections import Counter>>> Counter([1,2,2,2,2,3,3,3,4,4,4,4])Counter({1: 5, 2: 3, 3: 2})

这里再增补一个只用列表实现的方法：

?

12345678910

l=[1,4,2,4,2,2,5,2,6,3,3,6,3,6,6,3,3,3,7,8,9,8,7,0,7,1,2,4,7,8,9] count_times = []for i in l : count_times.append(l.count(i)) m = max(count_times)n = l.index(m) print (l[n])

其实现原理就是把列表中的每一个数出现的次数在其对应的位置记录下来，然后用max求出出现次数最多的位置。
只用这段代码的话，有一个缺点，如果有多个结果，最后的现实的结果只是出现在最左边的那一个，不过解决方法也很简单

⑸ python找出列表元素重复个数和重复值

输出列表元素重复个数
def get_element(data):
dic = {}
i = 0
while i < len(data):
if data[i] in dic:
"""
循环查找列表元素，如果一个元素出现一次，value就等于1，多次出现，value就增加
"""
dic[data[i]] += 1
else:
dic[data[i]] = 1
i += 1
for j, k in dic.items():
if k > 1:
print('data数组中重复的元素有%d,它的个数是%d个'%(j,k))
print(dic)
my_list =[1,2,3,4,2,4,2,3,4,5,6,23,23,32]
get_element(my_list)

⑹ python找出字符串的重复两次的字符

a=int(input('请输入'))
list=[]
sum=[]
for i in range(a):
b=input('请输入数据')
list.append(b)
for i in range(a): #这个是为了循环多次，保证count<2的数值全部取出来，因为在
for i in list:
if list.count(i)<2: #举个例子：1，3，3，4，5则在这里得出的list为3，3，5，因为 count<2的
list.remove(i) #数有1，4，5，remove()删除的是该条件下的第一个符合该条件 的 值，所以5
else: #删除不了，所以要循环多次
pass
for i in list:
sum.append(i)
for i in sum:
for j in sum:
if i==j:
sum.remove(i)
else:
print('没有重复的值')
print(sum)
运行结果为
请输入5
请输入数据1
请输入数据3
请输入数据3
请输入数据5
请输入数据2
['3']
这你看一下，如果有看不懂的我再跟你说一下，关键是思路

⑺ Python 清除重复值

from pandas import read_csv

df = read_csv('D://PDA//4.3//data.csv')

df

#找出行重复的位置

dIndex = df.plicated()

#根据某些列，找出重复的位置

dIndex = df.plicated('id')

dIndex = df.plicated(['id', 'key'])

#根据返回值，把重复数据提取出来

df[dIndex]

id  key          value

4  1251147    品牌          Apple

5  1251147  商品名称  苹果iPad mini 3

#直接删除重复值

#默认根据所有的列，进行删除

newDF = df.drop_plicates()

#当然也可以指定某一列，进行重复值处理

newDF = df.drop_plicates('id')