pythonmathplotlib

‘壹’ auc 论文里的 怎么计算 python svm

利用Python画ROC曲线，以及AUC值的计算\
前言
ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。这篇文章将先简单的介绍ROC和AUC，而后用实例演示如何python作出ROC曲线图以及计算AUC。
AUC介绍
AUC(Area Under Curve)是机器学习二分类模型中非常常用的评估指标，相比于F1-Score对项目的不平衡有更大的容忍性，目前常见的机器学习库中(比如scikit-learn)一般也都是集成该指标的计算，但是有时候模型是单独的或者自己编写的，此时想要评估训练模型的好坏就得自己搞一个AUC计算模块，本文在查询资料时发现libsvm-tools有一个非常通俗易懂的auc计算，因此抠出来用作日后之用。
AUC计算
AUC的计算分为下面三个步骤：
1、计算数据的准备，如果模型训练时只有训练集的话一般使用交叉验证的方式来计算，如果有评估集(evaluate)一般就可以直接计算了，数据的格式一般就是需要预测得分以及其目标类别（注意是目标类别，不是预测得到的类别）
2、根据阈值划分得到横（X:False Positive Rate）以及纵（Y:True Positive Rate）点
3、将坐标点连成曲线之后计算其曲线下面积,就是AUC的值
直接上python代码
#! -*- coding=utf-8 -*-
import pylab as pl
from math import log,exp,sqrt
evaluate_result="you file path"
db = [] #[score,nonclk,clk]
pos, neg = 0, 0
with open(evaluate_result,'r') as fs:
for line in fs:
nonclk,clk,score = line.strip().split('\t')
nonclk = int(nonclk)
clk = int(clk)
score = float(score)
db.append([score,nonclk,clk])
pos += clk
neg += nonclk
db = sorted(db, key=lambda x:x[0], reverse=True)
#计算ROC坐标点
xy_arr = []
tp, fp = 0., 0.
for i in range(len(db)):
tp += db[i][2]
fp += db[i][1]
xy_arr.append([fp/neg,tp/pos])
#计算曲线下面积
auc = 0.
prev_x = 0
for x,y in xy_arr:
if x != prev_x:
auc += (x - prev_x) * y
prev_x = x
print "the auc is %s."%auc
x = [_v[0] for _v in xy_arr]
y = [_v[1] for _v in xy_arr]
pl.title("ROC curve of %s (AUC = %.4f)" % ('svm',auc))
pl.xlabel("False Positive Rate")
pl.ylabel("True Positive Rate")
pl.plot(x, y)# use pylab to plot x and y
pl.show()# show the plot on the screen
输入的数据集可以参考svm预测结果
其格式为:
nonclk \t clk \t score
其中：
1、nonclick:未点击的数据，可以看做负样本的数量
2、clk:点击的数量，可以看做正样本的数量
3、score:预测的分数，以该分数为group进行正负样本的预统计可以减少AUC的计算量
运行的结果为:
如果本机没安装pylab可以直接注释依赖以及画图部分
注意
上面贴的代码:
1、只能计算二分类的结果（至于二分类的标签随便处理）
2、上面代码中每个score都做了一次阈值，其实这样效率是相当低的，可以对样本进行采样或者在计算横轴坐标时进行等分计算

‘贰’ python matplotlib怎么用

使用python的包matplotlib来画图
浏览：255
|
更新：
2015-10-24 22:10
1
2
3
4
5
6
7
分步阅读
python中的matplotlib可以很快的帮助我们作出图，
为此我们给出matplotlib的安装步骤和一个小例子来展示其功能
工具/原料
python3.4
numpy包
matplotlib包
依赖包：pyparsing、dateutil、scipy
方法/步骤
python安装（之前写过一篇关于python的安装，这里不重复介绍）
(1) 如何下载？网络---> Python官网
(2) 版本：python-3.4.3.amd64 exe文件直接点哦
(3) 目录：D:\Python34
为python配置了环境变量：D:\Python34\Scripts;D:\Python34
(4) 命令行输入：python 有反应表示成功
说明：matplotlib还没有匹配python3.5的版本，我的电脑为64位
0Python安装学习指南
软件包下载：
因为涉及到众多包的下载，以及其中的版本和电脑位数问题特介绍如下（ 注意加粗的字体）：
(1) numpy numpy-1.10.1+mkl-cp34-none-win_amd64.whl
(2) matplotlib matplotlib-1.4.3.win-amd64-py3.4b/matplotlib-1.4.3/windows/
(3) 依赖包：pyparsing、dateutil、scipy

声明：以上软件地址可自行网络搜索
附注：图一为matplotlib 、图二为numpy 下载界面的选择

软件包numpy的安装：
1 命令行输入【完整的路径=numpy 在你电脑的绝对路径】
pip install 完整的路径\numpy -1.10.1+mkl-cp34-none-win_amd64.
2 验证：python编辑下 python>>
from numpy import *

安装matplotlib：
matplotlib-1.4.3.win-amd64-py3.4
因为下载的是exe文件，点击一路执行即可

依赖包的安装：
在命令行里逐行输入如下命令：软件包的绝对路径
1 pip install 绝对路径\pyparsing-2.0.3-py3-none-any.whl
2 pip install 绝对路径\python_dateutil-2.4.2-py2.py3-none-any.whl
3 pip install 绝对路径\matplotlib依赖\scipy-0.16.0-cp34-none-win_amd64.whl

验证是否安装成功：
1 在python编辑状态下导入安装的包：
import matplotlib
import numpy
import scipy
import pyparsing
import matplotlib.pyplot as plt
2 如果缺少six
在安装完毕scipy之后把../Python34/Lib/site-packages/scipy/lib中的six.py six.pyc six.pyo三个文件拷贝到.../Python34/Lib/site-packages
案例1：
import matplotlib.pyplot as plt
x = [0, 1, 2, 3, 4, 5]
y = [0.1, 0.2, 0.2, 0.3, 0.2, 0.1]
y2 = [0.2, 0.2, 0.3, 0.2, 0.3, 0]
plt.plot(x, y, 'b', x, y2, 'g')
plt.show()

案例2：
import matplotlib.pyplot as plt
import math
x=[]
y=[]
num=0.0
while num < math.pi * 4:
y.append(math.sin(num))
x.append(num)
num += 0.1
plt.plot(x, y, 'b')
plt.show()

如果

‘叁’ python一共有多少库

导读：本篇文章首席CTO笔记来给大家介绍有关python一共有多少库的相关内容，希望对大家有所帮助，一起来看看吧。

Python比较常见的库有：Arrow、Behold、Click、Numba、Matlibplot、Pillow等：

1、Arrow

Python中处理时间的库有datetime，但是它过于简单，使用起来不够方便和智能，而Arrow可以说非常的方便和智能。它可以轻松地定位几个小时之前的时间，可以轻松转换时区时间，对于一个小时前，2个小时之内这样人性化的信息也能够准确解读。

2、Behold

调试程序是每个程序员必备的技能，对于脚本语言，很多人习惯于使用print进行调试，然而对于大项目来说，print的功能还远远不足，我们希望有一个可以轻松使用，调试方便，对变量监视完整，格式已于查看的工具，而Behold就是那个非常好用的调试库。

3、Click

现在几乎所有的框架都有自己的命令行脚手架，Python也不例外，那么如何快速开发出属于自己的命令行程序呢?答案就是使用Python的Click库。Click库对命令行api进行了大量封装，你可以轻松开发出属于自己的CLI命令集。终端的颜色，环境变量信息，通过Click都可以轻松进行获取和改变。

4、Numba

如果你从事数学方面的分析和计算，那么Numba一定是你必不可少的库。Numpy通过将高速C库包装在Python接口中来工作，而Cython使用可选的类型将Python编译为C以提高性能。但是Numba无疑是最方便的，因为它允许使用装饰器选择性地加速Python函数。

5、Matlibplot

做过数据分析，数据可视化的数学学生一定知道matlab这个软件，这是一个收费的数学商用软件，在Python中，Matlibplot就是为了实现这个软件中功能开发的第三方Python库。并且它完全是免费的，很多学校都是用它来进行数学教学和研究的。

6、Pillow

图像处理是任何时候我们都需要关注的问题，平时我们看到很多ps中的神技，比如调整画面颜色，饱和度，调整图像尺寸，裁剪图像等等，这些其实都可以通过Python简单完成，而其中我们需要使用的库就是Pillow。

7、pyqt5

Python是可以开发图形界面程序的。而pyqt就是一款非常好用的第三方GUI库，有了它，你可以轻松开发出跨平台的图形应用程序，其中qtdesigner设计器，更是加速了我们开发图形界面的速度。

除了上述介绍的之外，Python还有很多库，比如：Pandas、NumPy、SciPy、Seaborn、Keras等。

Python语言官方的参考手册钟，介绍了与Python一同发行的标准库。

文本处理服务

string?---常见的字符串操作

re?---正则表达式操作

difflib?---计算差异的辅助工具

textwrap?---文本自动换行与填充

unicodedata?---Unicode数据库

stringprep?---因特网字符串预备

readline?---GNUreadline接口

rlcompleter?---GNUreadline的补全函数

二进制数据服务

struct?---将字节串解读为打包的二进制数据

codecs?---编解码器注册和相关基类

数据类型

datetime?---基本日期和时间类型

zoneinfo?---IANA时区支持

calendar?---日历相关函数

collections?---容器数据类型

collections.abc?---容器的抽象基类

heapq?---堆队列算法

bisect?---数组二分查找算法

array?---高效的数值数组

weakref?---弱引用

types?---动态类型创建和内置类型名称

?---浅层(shallow)和深层(deep)复制操作

pprint?---数据美化输出

reprlib?---另一种?repr()?实现

enum?---对枚举的支持

graphlib?---操作类似图的结构的功能

数字和数学模块

numbers?---数字的抽象基类

math?---数学函数

cmath?---关于复数的数学函数

decimal?---十进制定点和浮点运算

fractions?---分数

random?---生成伪随机数

statistics?---数学统计函数

函数式编程模块

itertools?---为高效循环而创建迭代器的函数

functools?---高阶函数和可调用对象上的操作

operator?---标准运算符替代函数

文件和目录访问

pathlib?---面向对象的文件系统路径

os.path?---常用路径操作

fileinput?---迭代来自多个输入流的行

stat?---解析?stat()?结果

filecmp?---文件及目录的比较

tempfile?---生成临时文件和目录

glob?---Unix风格路径名模式扩展

fnmatch?---Unix文件名模式匹配

linecache?---随机读写文本行

shutil?---高阶文件操作

数据持久化

pickle?---Python对象序列化

reg?---注册配合?pickle?模块使用的函数

shelve?---Python对象持久化

marshal?---内部Python对象序列化

dbm?---Unix"数据库"接口

sqlite3?---SQLite数据库DB-API2.0接口模块

数据压缩和存档

zlib?---与?gzip?兼容的压缩

gzip?---对?gzip?格式的支持

bz2?---对?bzip2?压缩算法的支持

lzma?---用LZMA算法压缩

zipfile?---使用ZIP存档

tarfile?---读写tar归档文件

文件格式

csv?---CSV文件读写

configparser?---配置文件解析器

tomllib?---ParseTOMLfiles

netrc?---netrc文件处理

plistlib?---生成与解析Apple?.plist?文件

加密服务

hashlib?---安全哈希与消息摘要

hmac?---基于密钥的消息验证

secrets?---生成管理密码的安全随机数

通用操作系统服务

os?---多种操作系统接口

io?---处理流的核心工具

time?---时间的访问和转换

argparse?---命令行选项、参数和子命令解析器

getopt?---C风格的命令行选项解析器

logging?---Python的日志记录工具

logging.config?---日志记录配置

logging.handlers?---日志处理程序

getpass?---便携式密码输入工具

curses?---终端字符单元显示的处理

curses.textpad?---用于curses程序的文本输入控件

curses.ascii?---用于ASCII字符的工具

curses.panel?---curses的面板栈扩展

platform?---获取底层平台的标识数据

errno?---标准errno系统符号

ctypes?---Python的外部函数库

并发执行

threading?---基于线程的并行

multiprocessing?---基于进程的并行

multiprocessing.shared_memory?---

concurrent?包

concurrent.futures?---启动并行任务

subprocess?---子进程管理

sched?---事件调度器

queue?---一个同步的队列类

contextvars?---上下文变量

_thread?---底层多线程API

网络和进程间通信

asyncio?---异步I/O

socket?---底层网络接口

ssl?---套接字对象的TLS/SSL包装器

select?---等待I/O完成

selectors?---高级I/O复用库

signal?---设置异步事件处理程序

mmap?---内存映射文件支持

互联网数据处理

email?---电子邮件与MIME处理包

json?---JSON编码和解码器

mailbox?---操作多种格式的邮箱

mimetypes?---映射文件名到MIME类型

base64?---Base16,Base32,Base64,Base85数据编码

binascii?---二进制和ASCII码互转

quopri?---编码与解码经过MIME转码的可打印数据

结构化标记处理工具

html?---超文本标记语言支持

html.parser?---简单的HTML和XHTML解析器

html.entities?---HTML一般实体的定义

XML处理模块

xml.etree.ElementTree?---ElementTreeXMLAPI

xml.dom?---文档对象模型API

xml.dom.minidom?---最小化的DOM实现

xml.dom.pulldom?---支持构建部分DOM树

xml.sax?---支持SAX2解析器

xml.sax.handler?---SAX处理句柄的基类

xml.sax.saxutils?---SAX工具集

xml.sax.xmlreader?---用于XML解析器的接口

xml.parsers.expat?---使用Expat的快速XML解析

互联网协议和支持

webbrowser?---方便的Web浏览器控制工具

wsgiref?---WSGI工具和参考实现

urllib?---URL处理模块

urllib.request?---用于打开URL的可扩展库

urllib.response?---urllib使用的Response类

urllib.parse?用于解析URL

urllib.error?---urllib.request引发的异常类

urllib.robotparser?---robots.txt语法分析程序

http?---HTTP模块

http.client?---HTTP协议客户端

ftplib?---FTP协议客户端

poplib?---POP3协议客户端

imaplib?---IMAP4协议客户端

smtplib?---SMTP协议客户端

uuid?---?RFC4122?定义的UUID对象

socketserver?---用于网络服务器的框架

http.server?---HTTP服务器

http.cookies?---HTTP状态管理

http.cookiejar?——HTTP客户端的Cookie处理

xmlrpc?---XMLRPC服务端与客户端模块

xmlrpc.client?---XML-RPC客户端访问

xmlrpc.server?---基本XML-RPC服务器

ipaddress?---IPv4/IPv6操作库

多媒体服务

wave?---读写WAV格式文件

colorsys?---颜色系统间的转换

国际化

gettext?---多语种国际化服务

locale?---国际化服务

程序框架

turtle?---海龟绘图

cmd?---支持面向行的命令解释器

shlex?——简单的词法分析

Tk图形用户界面(GUI)

tkinter?——Tcl/Tk的Python接口

tkinter.colorchooser?---颜色选择对话框

tkinter.font?---Tkinter字体封装

Tkinter对话框

tkinter.messagebox?---Tkinter消息提示

tkinter.scrolledtext?---滚动文字控件

tkinter.dnd?---拖放操作支持

tkinter.ttk?---Tk风格的控件

tkinter.tix?---TK扩展包

推荐5个常用的Python标准库：

1、os：提供了不少与操作系统相关联的函数库

os包是Python与操作系统的接口。我们可以用os包来实现操作系统的许多功能，比如管理系统进程，改变当前路径，改变文件权限等。但要注意，os包是建立在操作系统的平台上的，许多功能在Windows系统上是无法实现的。另外，在使用os包中，要注意其中的有些功能已经被其他的包取代。

我们通过文件系统来管理磁盘上储存的文件。查找、删除、复制文件以及列出文件列表等都是常见的文件操作。这些功能通常可以在操作系统中看到，但现在可以通过Python标准库中的glob包、shutil包、os.path包以及os包的一些函数等，在Python内部实现。

2、sys：通常用于命令行参数的库

sys包被用于管理Python自身的运行环境。Python是一个解释器，也是一个运行在操作系统上的程序。我们可以用sys包来控制这一程序运行的许多参数，比如说Python运行所能占据的内存和CPU，Python所要扫描的路径等。另一个重要功能是和Python自己的命令行互动，从命令行读取命令和参数。

3、random：用于生成随机数的库

Python标准库中的random函数，可以生成随机浮点数、整数、字符串，甚至帮助你随机选择列表序列中的一个元素，打乱一组数据等。

4、math：提供了数学常数和数学函数

标准库中，Python定义了一些新的数字类型，以弥补之前的数字类型可能的不足。标准库还包含了random包，用于处理随机数相关的功能。math包补充了一些重要的数学常数和数学函数，比如pi、三角函数等等。

5、datetime：日期和时间的操作库

日期和时间的管理并不复杂，但容易犯错。Python的标准库中对日期和时间的管理颇为完善，你不仅可以进行日期时间的查询和变换，还可以对日期时间进行运算。通过这些标准库，还可以根据需要控制日期时间输出的文本格式