pythonmap去重

1. python 中的map（转载）

1 map()函数的简介以及语法：

map是python内置函数，会根据提供的函数对指定的序列做映射。

map()函数的格式是：

map(function,iterable,...)

第一个参数接受一个函数名，后面的参数接受一个或多个可迭代的序列，返回的是一个集合。

把函数依次作用在list中的每一个元素上，得到一个新的list并返回。注意，map不改变原list，而是返回一个新list。

2 map()函数实例：

del square(x):

    return x ** 2

map(square,[1,2,3,4,5])   ---- -要打印结果需要 print(*map(square,[1,2,3,4,5])),这块打印了再打印就会为空

# 结果如下:

[1,4,9,16,25]

通过使用lambda匿名函数的方法使用map()函数：

map(lambda x, y: x+y,[1,3,5,7,9],[2,4,6,8,10])

# 结果如下：

[3,7,11,15,19]

通过lambda函数使返回值是一个元组：

map(lambdax, y : (x**y,x+y),[2,4,6],[3,2,1])

# 结果如下

[(8,5),(16,6),(6,7)]

当不传入function时，map()就等同于zip()，将多个列表相同位置的元素归并到一个元组：

map(None,[2,4,6],[3,2,1])

# 结果如下

[(2,3),(4,2),(6,1)]

通过map还可以实现类型转换

将元组转换为list：

map(int,(1,2,3))

# 结果如下：

[1,2,3]

将字符串转换为list：

map(int,'1234')

# 结果如下：

[1,2,3,4]

提取字典中的key，并将结果放在一个list中：

map(int,{1:2,2:3,3:4})

# 结果如下

[1,2,3]

原文链接：https://blog.csdn.net/quanlingtu1272/article/details/95482253

2. python123上一道习题删除列表中重复元素求代码，或者帮我看看我的代码怎么改，初学，我感觉好像要大改

代码如下，：

import random

m = int(input("m:"))
n = int(input("n:"))
random.seed(m)
randoms = [str(random.randint(0, 9)) for i in range(10)]
sort_randoms = list(set(randoms))
sort_randoms = sorted(sort_randoms, key=int)
print(randoms)
print(sort_randoms)

输出：

['9', '0', '6', '7', '9', '0', '3', '7', '7', '4']

['0', '3', '4', '6', '7', '9']

3. map函数的用法python

在Python中，map()函数是一种非常有用的函数。它可以接受一个函数参数和一个可迭代升消对象参数，并将该函数应用于可迭代对象中的每个元素。这个函数的返回值是一个新的可迭代对象，其中包含了将该函数应用于原始可迭代对象中每个元素后的结果。
使用map()函数，我们可以轻松地对列表、元组、集合等可迭代对象中的所有元素进行转换和操作，而无需编写循环来处理每个元素。这可以大大简化我们的代码，提高效率和可读性。
例如，我们可以使用map()函数来将一个列表中的所有元素转换为字符串类型：
```
numbers = [1, 2, 3, 4, 5]
numbers_as_strings = list(map(str, numbers))
```
在这个例子中，我们将str函数作为参数传递给map()函数，以将列表中的每个元素转换为字符串。我们还使用了list()函数来将结果转换回列表类型。
另一个常见的用例是使用map()函数将一个列表中的所有元素进行平方运算：
```
numbers = [1, 2, 3, 4, 5]
squares = list(map(lambda x: x**2, numbers))
```
在这个例子中，我们传递了一个lambda函数作为参数给map()函数，以将列表中的每个好笑岁元素进行平方运算。我们还使用了友睁list()函数将结果转换回列表类型。
总之，map()函数是一个非常有用的函数，可以大大简化我们的代码。使用它，我们可以轻松地对可迭代对象中的所有元素进行转换和操作，而无需编写循环来处理每个元素。无论是初学者还是经验丰富的开发人员，都应该掌握这个函数的用法。

4. python 8个常用内置函数解说

8个超好用内置函数set（），eval（），sorted（），reversed（），map（），rece（），filter（），enumerate（）

python中有许多内置函数，不像print那么广为人知，但它们却异常的强大，用好了可以大大提高代码效率。

这次来梳理下8个好用的python内置函数

1、set()

当需要对一个列表进行去重操作的时候，set()函数就派上用场了。

用于创建一个集合，集合里的元素是无序且不重复的。集合对象创建后，还能使用并集、交集、差集功能。

2、eval()之前有人问如何用python写一个四则运算器，输入字符串公式，直接产生结果。用eval()来做就很简单：eval(str_expression)作用是将字符串转换成表达式，并且执行。

3、sorted()在处理数据过程中，我们经常会用到排序操作，比如将列表、字典、元组里面的元素正/倒排序。这时候就需要用到sorted() ，它可以对任何可迭代对象进行排序，并返回列表。对列表升序操作：

对元组倒序操作：

使用参数：key，根据自定义规则，按字符串长度来排序：

根据自定义规则，对元组构成的列表进行排序：

4、reversed()如果需要对序列的元素进行反转操作，reversed()函数能帮到你。reversed()接受一个序列，将序列里的元素反转，并最终返回迭代器。

5、map()做文本处理的时候，假如要对序列里的每个单词进行大写转化操作。这个时候就可以使用map()函数。

map()会根据提供的函数，对指定的序列做映射，最终返回迭代器。也就是说map()函数会把序列里的每一个元素用指定的方法加工一遍，最终返回给你加工好的序列。举个例子，对列表里的每个数字作平方处理：

6、rece()前面说到对列表里的每个数字作平方处理，用map()函数。那我想将列表里的每个元素相乘，该怎么做呢？这时候用到rece()函数。

rece()会对参数序列中元素进行累积。第一、第二个元素先进行函数操作，生成的结果再和第三个元素进行函数操作，以此类推，最终生成所有元素累积运算的结果。再举个例子，将字母连接成字符串。

你可能已经注意到，rece()函数在python3里已经不再是内置函数，而是迁移到了functools模块中。这里把rece()函数拎出来讲，是因为它太重要了。

7、filter()一些数字组成的列表，要把其中偶数去掉，该怎么做呢？

filter()函数轻松完成了任务，它用于过滤序列，过滤掉不符合条件的元素，返回一个迭代器对象。filter()函数和map()、rece()函数类似，都是将序列里的每个元素映射到函数，最终返回结果。我们再试试，如何从许多单词里挑出包含字母w的单词。

8、enumerate()这样一个场景，同时打印出序列里每一个元素和它对应的顺序号，我们用enumerate()函数做做看。

enumerate翻译过来是枚举、列举的意思，所以说enumerate()函数用于对序列里的元素进行顺序标注，返回(元素、索引)组成的迭代器。再举个例子说明，对字符串进行标注，返回每个字母和其索引。

5. python爬取的数据如何去重说一下具体的算法依据

要具体问题具体分析的。看你要抓取什么数据。
最好能找到一个能够作为重复性区分的字段值。比如网络知道的所有提问，每个问题都有一个对应的id，楼主这个问题对应的id就是181730605611341844。那在爬取的过程中，可以将所有已经爬取的问题id保存在一个set()中，如果即将爬取的问题id已经存在了，那就跳过，反之则继续。
不知道楼主用的是什么数据库，在数据库设计中，也可以添加一些约束条件作为约束，保证数据的唯一性。