‘壹’ 用python进行深度学习的学习，以theano的基础教材学习，提示找不到mnist.pkl.gz，该如何解决
fromos.pathimportexists
print(filename)
print(exists(filename)
先运行这个看看
‘贰’ 如何将mnist导入到python
安装完需要额外依赖库删除编译Python所需要库
yum groupremove "Development tools" --remove-leaves
yum remove zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel
gdbm-devel db4-devel libpcap-devel xz-devel --remove-leaves！
‘叁’ python regularization属于什么模块
Python下的深度学习模块，采用python风格接口，基于CUDArray提供对Nvidia GPU的支持。
Features
Pythonic programming interface based on NumPy's ndarray.
Runs on CPU or Nvidia GPUs when available (thanks to CUDArray).
Feedforward networks
Dropout layers.
Convnets layers: Convolution, pooling, local response normalization.
Siamese Networks
Training mole
Stochastic gradient descent.
Interchangeable learning rules: Momentum, RMSProp.
Regularization: L2 weight decay.
Dataset mole
MNIST, CIFAR10
‘肆’ 如何用python解析mnist
1.我们首先看一下mnist的数据结构：
2.
可以看出在train-images.idx3-ubyte中，第一个数为32位的整数（魔数，图片类型的数），第二个数为32位的整数（图片的个数），第三和第四个也是32为的整数（分别代表图片的行数和列数），接下来的都是一个字节的无符号数（即像素，值域为0~255），因此，我们只需要依次获取魔数和图片的个数，然后获取图片的长和宽，最后逐个像素读取就可以了。
3.如何使用Python解析数据呢? 首先需要安装python的图形处理库PIL，这个库支持像素级别的图像处理，对于学习数字图像处理有很大的帮助。安装完成之后，就可以进行图像的解析了。看一下代码：
4.首先打开文件，然后分别读取魔数，图片个数，以及行数和列数，在struct中，可以看到，使用了’>IIII’，这是什么意思呢？意思就是使用大端规则，读取四个整形数（Integer），如果要读取一个字节，则可以用’>B’（当然，这里用没用大端规则都是一样的，因此只有两个或两个以上的字节才有用）。
5.什么是大端规则呢？不懂的可以网络一下，这个不再赘述（http://ke..com/link?url=Bgg8b0vRr3b_SeGyOl8U4DmAbIQT9swGuNtD_21ctEI_NliqsQ-mKF73YT90EILF2EQy50mEua_M4z6Cma3rmK）
6.然后对于每张图片，先创建一张空白的图片，其中的’L’代表这张图片是灰度图，最后逐个像素读取，然后写进空白图片里，最后保存图片，就可以了
7.再来看一下mnist标签的数据结构：
可以发现，与上面的非常相似，只不过这里每一个字节变成了标签而已（标签大小为0~9）
8.好了，通过上述讲解，最后我们可以通过python将mnist解析出来了，看一下效果：
程序源代码如下：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from PIL import Image
import struct
def read_image(filename):
f = open(filename, 'rb')
index = 0
buf = f.read()
f.close()
magic, images, rows, columns = struct.unpack_from('>IIII' , buf , index)
index += struct.calcsize('>IIII')
for i in xrange(images):
#for i in xrange(2000):
image = Image.new('L', (columns, rows))
for x in xrange(rows):
for y in xrange(columns):
image.putpixel((y, x), int(struct.unpack_from('>B', buf, index)[0]))
index += struct.calcsize('>B')
print 'save ' + str(i) + 'image'
image.save('test/' + str(i) + '.png')
def read_label(filename, saveFilename):
f = open(filename, 'rb')
index = 0
buf = f.read()
f.close()
magic, labels = struct.unpack_from('>II' , buf , index)
index += struct.calcsize('>II')
labelArr = [0] * labels
#labelArr = [0] * 2000
for x in xrange(labels):
#for x in xrange(2000):
labelArr[x] = int(struct.unpack_from('>B', buf, index)[0])
index += struct.calcsize('>B')
save = open(saveFilename, 'w')
save.write(','.join(map(lambda x: str(x), labelArr)))
save.write('\n')
save.close()
print 'save labels success'
if __name__ == '__main__':
read_image('t10k-images.idx3-ubyte')
read_label('t10k-labels.idx1-ubyte', 'test/label.txt')
‘伍’ 如何在tensorflow运行mnist数据的python代码
tensorflow网站上给出了新的使用Anaconda配置和安装Tensorflow的步骤，经过测试，在国内可以无障碍的访问。 Anaconda 是一个基于Python的科学计算包集合，目前支持Python 2.7和3.5。
‘陆’ Python keras构建CNN
data.py:
#coding:utf-8
"""
Author:wepon
Source:https://github.com/wepe
"""
importos
fromPILimportImage
importnumpyasnp
#读取文件夹mnist下的42000张图片，图片为灰度图，所以为1通道，图像大小28*28
#如果是将彩色图作为输入,则将1替换为3，并且data[i,:,:,:]=arr改为data[i,:,:,:]=[arr[:,:,0],arr[:,:,1],arr[:,:,2]]
defload_data():
data=np.empty((42000,1,28,28),dtype="float32")
label=np.empty((42000,),dtype="uint8")
imgs=os.listdir("./mnist")
num=len(imgs)
foriinrange(num):
img=Image.open("./mnist/"+imgs[i])
arr=np.asarray(img,dtype="float32")
data[i,:,:,:]=arr
label[i]=int(imgs[i].split('.')[0])
returndata,label
由于Keras系统升级，cnn.py代码调整如下：
#coding:utf-8
'''
GPUruncommand:
THEANO_FLAGS=mode=FAST_RUN,device=gpu,floatX=float32pythoncnn.py
CPUruncommand:
pythoncnn.py
'''
#导入各种用到的模块组件
from__future__importabsolute_import
from__future__importprint_function
fromkeras.preprocessing.imageimportImageDataGenerator
fromkeras.modelsimportSequential
fromkeras.layers.coreimportDense,Dropout,Activation,Flatten
fromkeras.layers.advanced_activationsimportPReLU
fromkeras.layers.,MaxPooling2D
fromkeras.optimizersimportSGD,Adadelta,Adagrad
fromkeras.utilsimportnp_utils,generic_utils
fromsix.movesimportrange
fromdataimportload_data
importrandom
#加载数据
data,label=load_data()
#打乱数据
index=[iforiinrange(len(data))]
random.shuffle(index)
data=data[index]
label=label[index]
print(data.shape[0],'samples')
#label为0~9共10个类别，keras要求格式为binaryclassmatrices,转化一下，直接调用keras提供的这个函数
label=np_utils.to_categorical(label,10)
###############
#开始建立CNN模型
###############
#生成一个model
model=Sequential()
#第一个卷积层，4个卷积核，每个卷积核大小5*5。1表示输入的图片的通道,灰度图为1通道。
#border_mode可以是valid或者full，具体看这里说明：http://deeplearning.net/software/theano/library/tensor/nnet/conv.html#theano.tensor.nnet.conv.conv2d
#激活函数用tanh
#你还可以在model.add(Activation('tanh'))后加上dropout的技巧:model.add(Dropout(0.5))
model.add(Convolution2D(4,5,5,border_mode='valid',input_shape=(1,28,28)))
model.add(Activation('tanh'))
#第二个卷积层，8个卷积核，每个卷积核大小3*3。4表示输入的特征图个数，等于上一层的卷积核个数
#激活函数用tanh
#采用maxpooling，poolsize为(2,2)
model.add(Convolution2D(8,3,3,border_mode='valid'))
model.add(Activation('tanh'))
model.add(MaxPooling2D(pool_size=(2,2)))
#第三个卷积层，16个卷积核，每个卷积核大小3*3
#激活函数用tanh
#采用maxpooling，poolsize为(2,2)
model.add(Convolution2D(16,3,3,border_mode='valid'))
model.add(Activation('tanh'))
model.add(MaxPooling2D(pool_size=(2,2)))
#全连接层，先将前一层输出的二维特征图flatten为一维的。
#Dense就是隐藏层。16就是上一层输出的特征图个数。4是根据每个卷积层计算出来的：(28-5+1)得到24,(24-3+1)/2得到11，(11-3+1)/2得到4
#全连接有128个神经元节点,初始化方式为normal
model.add(Flatten())
model.add(Dense(128,init='normal'))
model.add(Activation('tanh'))
#Softmax分类，输出是10类别
model.add(Dense(10,init='normal'))
model.add(Activation('softmax'))
#############
#开始训练模型
##############
#使用SGD+momentum
#model.compile里的参数loss就是损失函数(目标函数)
sgd=SGD(l2=0.0,lr=0.05,decay=1e-6,momentum=0.9,nesterov=True)
model.compile(loss='categorical_crossentropy',optimizer=sgd,class_mode="categorical")
#调用fit方法，就是一个训练过程.训练的epoch数设为10，batch_size为100．
#数据经过随机打乱shuffle=True。verbose=1，训练过程中输出的信息，0、1、2三种方式都可以，无关紧要。show_accuracy=True，训练时每一个epoch都输出accuracy。
#validation_split=0.2，将20%的数据作为验证集。
model.fit(data,label,batch_size=100,nb_epoch=10,shuffle=True,verbose=1,show_accuracy=True,validation_split=0.2)
"""
#使用dataaugmentation的方法
#一些参数和调用的方法，请看文档
datagen=ImageDataGenerator(
featurewise_center=True,#setinputmeanto0overthedataset
samplewise_center=False,#seteachsamplemeanto0
featurewise_std_normalization=True,#divideinputsbystdofthedataset
samplewise_std_normalization=False,#divideeachinputbyitsstd
zca_whitening=False,#applyZCAwhitening
rotation_range=20,#(degrees,0to180)
width_shift_range=0.2,#(fractionoftotalwidth)
height_shift_range=0.2,#randomlyshiftimagesvertically(fractionoftotalheight)
horizontal_flip=True,#randomlyflipimages
vertical_flip=False)#randomlyflipimages
#
#(std,mean,)
datagen.fit(data)
foreinrange(nb_epoch):
print('-'*40)
print('Epoch',e)
print('-'*40)
print("Training...")
#
progbar=generic_utils.Progbar(data.shape[0])
forX_batch,Y_batchindatagen.flow(data,label):
loss,accuracy=model.train(X_batch,Y_batch,accuracy=True)
progbar.add(X_batch.shape[0],values=[("trainloss",loss),("accuracy:",accuracy)])
"""
‘柒’ python机器学习库怎么使用
1. Scikit-learn（重点推荐）
www .github .com/scikit-learn/scikit-learn
Scikit-learn 是基于Scipy为机器学习建造的的一个Python模块，他的特色就是多样化的分类，回归和聚类的算法包括支持向量机，逻辑回归，朴素贝叶斯分类器，随机森林，Gradient Boosting，聚类算法和DBSCAN。而且也设计出了Python numerical和scientific libraries Numpy and Scipy2、Keras（深度学习）
https://github.com/fchollet/keras
Keras是基于Theano的一个深度学习框架，它的设计参考了Torch，用Python语言编写，是一个高度模块化的神经网络库，支持GPU和CPU。
3、Lasagne（深度学习）
不只是一个美味的意大利菜，也是一个和Keras有着相似功能的深度学习库，但其在设计上与它们有些不同。
4.Pylearn2
www .github .com/lisa-lab/pylearn2
Pylearn是一个让机器学习研究简单化的基于Theano的库程序。它把深度学习和人工智能研究许多常用的模型以及训练算法封装成一个单一的实验包，如随机梯度下降。
5.NuPIC
www .github .com/numenta/nupic
NuPIC是一个以HTM学习算法为工具的机器智能平台。HTM是皮层的精确计算方法。HTM的核心是基于时间的持续学习算法和储存和撤销的时空模式。NuPIC适合于各种各样的问题,尤其是检测异常和预测的流数据来源。
6. Nilearn
www .github .com/nilearn/nilearn
Nilearn 是一个能够快速统计学习神经影像数据的Python模块。它利用Python语言中的scikit-learn 工具箱和一些进行预测建模，分类，解码，连通性分析的应用程序来进行多元的统计。
7.PyBrain
www .github .com/pybrain/pybrain
Pybrain是基于Python语言强化学习，人工智能，神经网络库的简称。 它的目标是提供灵活、容易使用并且强大的机器学习算法和进行各种各样的预定义的环境中测试来比较你的算法。
8.Pattern
www .github .com/clips/pattern
Pattern 是Python语言下的一个网络挖掘模块。它为数据挖掘，自然语言处理，网络分析和机器学习提供工具。它支持向量空间模型、聚类、支持向量机和感知机并且用KNN分类法进行分类。
9.Fuel
www .github .com/mila-udem/fuel
Fuel为你的机器学习模型提供数据。他有一个共享如MNIST, CIFAR-10 (图片数据集), Google's One Billion Words (文字)这类数据集的接口。你使用他来通过很多种的方式来替代自己的数据。
10.Bob
www .github .com/idiap/bob
Bob是一个免费的信号处理和机器学习的工具。它的工具箱是用Python和C++语言共同编写的，它的设计目的是变得更加高效并且减少开发时间，它是由处理图像工具,音频和视频处理、机器学习和模式识别的大量软件包构成的。
11.Skdata
www .github .com/jaberg/skdata
Skdata是机器学习和统计的数据集的库程序。这个模块对于玩具问题，流行的计算机视觉和自然语言的数据集提供标准的Python语言的使用。
12.MILK
www .github .com/luispedro/milk
MILK是Python语言下的机器学习工具包。它主要是在很多可得到的分类比如SVMS,K-NN,随机森林，决策树中使用监督分类法。 它还执行特征选择。 这些分类器在许多方面相结合,可以形成不同的例如无监督学习、密切关系金传播和由MILK支持的K-means聚类等分类系统。
13.IEPY
www .github .com/machinalis/iepy
IEPY是一个专注于关系抽取的开源性信息抽取工具。它主要针对的是需要对大型数据集进行信息提取的用户和想要尝试新的算法的科学家。
14.Quepy
www .github .com/machinalis/quepy
Quepy是通过改变自然语言问题从而在数据库查询语言中进行查询的一个Python框架。他可以简单的被定义为在自然语言和数据库查询中不同类型的问题。所以，你不用编码就可以建立你自己的一个用自然语言进入你的数据库的系统。
现在Quepy提供对于Sparql和MQL查询语言的支持。并且计划将它延伸到其他的数据库查询语言。
15.Hebel
www .github .com/hannes-brt/hebel
Hebel是在Python语言中对于神经网络的深度学习的一个库程序，它使用的是通过PyCUDA来进行GPU和CUDA的加速。它是最重要的神经网络模型的类型的工具而且能提供一些不同的活动函数的激活功能，例如动力，涅斯捷罗夫动力，信号丢失和停止法。
16.mlxtend
www .github .com/rasbt/mlxtend
它是一个由有用的工具和日常数据科学任务的扩展组成的一个库程序。
17.nolearn
www .github .com/dnouri/nolearn
这个程序包容纳了大量能对你完成机器学习任务有帮助的实用程序模块。其中大量的模块和scikit-learn一起工作，其它的通常更有用。
18.Ramp
www .github .com/kvh/ramp
Ramp是一个在Python语言下制定机器学习中加快原型设计的解决方案的库程序。他是一个轻型的pandas-based机器学习中可插入的框架，它现存的Python语言下的机器学习和统计工具（比如scikit-learn,rpy2等）Ramp提供了一个简单的声明性语法探索功能从而能够快速有效地实施算法和转换。
19.Feature Forge
www .github .com/machinalis/featureforge
这一系列工具通过与scikit-learn兼容的API，来创建和测试机器学习功能。
这个库程序提供了一组工具，它会让你在许多机器学习程序使用中很受用。当你使用scikit-learn这个工具时，你会感觉到受到了很大的帮助。（虽然这只能在你有不同的算法时起作用。）20.REP
www .github .com/yandex/rep
REP是以一种和谐、可再生的方式为指挥数据移动驱动所提供的一种环境。
它有一个统一的分类器包装来提供各种各样的操作，例如TMVA, Sklearn, XGBoost, uBoost等等。并且它可以在一个群体以平行的方式训练分类器。同时它也提供了一个交互式的情节。
21.Python 学习机器样品
www .github .com/awslabs/machine-learning-samples用亚马逊的机器学习建造的简单软件收集。
22.Python-ELM
www .github .com/dclambert/Python-ELM
这是一个在Python语言下基于scikit-learn的极端学习机器的实现。
23.gensim
主题模型python实现
Scalable statistical semantics
Analyze plain-text documents for semantic structureRetrieve semantically similar documents
‘捌’ python 下怎么加载mnist
其实就是python怎么读取binnary
file
mnist的结构如下，选取train-images
TRAINING
SET
IMAGE
FILE
(train-images-idx3-ubyte):
[offset]
[type]
[value]
[description]
0000
32
bit
integer
0x00000803(2051)
magic
number
0004
32
bit
integer
60000
number
of
images
0008
32
bit
integer
28
number
of
rows
0012
32
bit
integer
28
number
of
columns
0016
unsigned
byte
??
pixel
0017
unsigned
byte
??
pixel
........
xxxx
unsigned
byte
??
pixel
也就是之前我们要读取4个
32
bit
integer
试过很多方法，觉得最方便的，至少对我来说还是使用
struct.unpack_from()
filename
=
'train-images.idx3-ubyte'
binfile
=
open(filename
,
'rb')
buf
=
binfile.read()
先使用二进制方式把文件都读进来
index
=
0
magic,
numImages
,
numRows
,
numColumns
=
struct.unpack_from('>IIII'
,
buf
,
index)
index
+=
struct.calcsize('>IIII')
然后使用struc.unpack_from
'>IIII'是说使用大端法读取4个unsinged
int32
然后读取一个图片测试是否读取成功
im
=
struct.unpack_from('>784B'
,buf,
index)
index
+=
struct.calcsize('>784B')
im
=
np.array(im)
im
=
im.reshape(28,28)
fig
=
plt.figure()
plotwindow
=
fig.add_subplot(111)
plt.imshow(im
,
cmap='gray')
plt.show()
'>784B'的意思就是用大端法读取784个unsigned
byte
完整代码如下
import
numpy
as
np
import
struct
import
matplotlib.pyplot
as
plt
filename
=
'train-images.idx3-ubyte'
binfile
=
open(filename
,
'rb')
buf
=
binfile.read()
index
=
0
magic,
numImages
,
numRows
,
numColumns
=
struct.unpack_from('>IIII'
,
buf
,
index)
index
+=
struct.calcsize('>IIII')
im
=
struct.unpack_from('>784B'
,buf,
index)
index
+=
struct.calcsize('>784B')
im
=
np.array(im)
im
=
im.reshape(28,28)
fig
=
plt.figure()
plotwindow
=
fig.add_subplot(111)
plt.imshow(im
,
cmap='gray')
plt.show()
只是为了测试是否成功所以只读了一张图片
‘玖’ 如何生成.idx3-ubyte 格式的文件
其实就是python怎么读取binnaryfilemnist的结构如下，选取train-imagesTRAININGSETIMAGEFILE(train-images-idx3-ubyte):[offset][type][value][description]000032bitinteger0x00000803(2051)??pixel0017unsignedbyte??pixel..xxxxunsignedbyte??pixel也就是之前我们要读取4个32bitinteger试过很多方法，觉得最方便的，至少对我来说还是使用struct.unpack_from()filename='train-images.idx3-ubyte'binfile=open(filename,'rb')buf=binfile.read()先使用二进制方式把文件都读进来index=0magic,numImages,numRows,numColumns=struct.unpack_from('>IIII',buf,index)index+=struct.calcsize('>IIII')然后使用struc.unpack_from'>IIII'是说使用大端法读取4个unsingedint32然后读取一个图片测试是否读取成功im=struct.unpack_from('>784B',buf,index)index+=struct.calcsize('>784B')im=np.array(im)im=im.reshape(28,28)fig=plt.figure()plotwindow=fig.add_subplot(111)plt.imshow(im,cmap='gray')plt.show()'>784B'的意思就是用大端法读取784个unsignedbyte完整代码如下.pyplotaspltfilename='train-images.idx3-ubyte'binfile=open(filename,'rb')buf=binfile.read()index=0magic,numImages,numRows,numColumns=struct.unpack_from('>IIII',buf,index)index+=struct.calcsize('>IIII')im=struct.unpack_from('>784B',buf,index)index+=struct.calcsize('>784B')im=np.array(im)im=im.reshape(28,28)fig=plt.figure()plotwindow=fig.add_subplot(111)plt.imshow(im,cmap='gray')plt.show()
‘拾’ 请大神帮帮忙，python神经网络代码运行出错，程序找不到训练集，请问如何让程序找到MNIST训练集的位置
学习人工智能时，我给自己定了一个目标－－用Python写一个简单的神经网络。为了确保真得理解它，我要求自己不使用任何神经网络库，从头写起。多亏了Andrew Trask写得一篇精彩的博客，我做到了！下面贴出那九行代码：
在这篇文章中，我将解释我是如何做得，以便你可以写出你自己的。我将会提供一个长点的但是更完美的源代码。
首先，神经网络是什么？人脑由几千亿由突触相互连接的细胞（神经元）组成。突触传入足够的兴奋就会引起神经元的兴奋。这个过程被称为“思考”。
我们可以在计算机上写一个神经网络来模拟这个过程。不需要在生物分子水平模拟人脑，只需模拟更高层级的规则。我们使用矩阵（二维数据表格）这一数学工具，并且为了简单明了，只模拟一个有3个输入和一个输出的神经元。
我们将训练神经元解决下面的问题。前四个例子被称作训练集。你发现规律了吗？‘？’是0还是1？
你可能发现了，输出总是等于输入中最左列的值。所以‘？’应该是1。
训练过程
但是如何使我们的神经元回答正确呢？赋予每个输入一个权重，可以是一个正的或负的数字。拥有较大正（或负）权重的输入将决定神经元的输出。首先设置每个权重的初始值为一个随机数字，然后开始训练过程：
取一个训练样本的输入，使用权重调整它们，通过一个特殊的公式计算神经元的输出。
计算误差，即神经元的输出与训练样本中的期待输出之间的差值。
根据误差略微地调整权重。
重复这个过程1万次。
最终权重将会变为符合训练集的一个最优解。如果使用神经元考虑这种规律的一个新情形，它将会给出一个很棒的预测。
这个过程就是back propagation。
计算神经元输出的公式
你可能会想，计算神经元输出的公式是什么？首先，计算神经元输入的加权和，即
接着使之规范化，结果在0，1之间。为此使用一个数学函数－－Sigmoid函数：
Sigmoid函数的图形是一条“S”状的曲线。
把第一个方程代入第二个，计算神经元输出的最终公式为：
你可能注意到了，为了简单，我们没有引入最低兴奋阈值。
调整权重的公式
我们在训练时不断调整权重。但是怎么调整呢？可以使用“Error Weighted Derivative”公式：
为什么使用这个公式？首先，我们想使调整和误差的大小成比例。其次，乘以输入（0或1），如果输入是0，权重就不会调整。最后，乘以Sigmoid曲线的斜率（图4）。为了理解最后一条，考虑这些：
我们使用Sigmoid曲线计算神经元的输出
如果输出是一个大的正（或负）数，这意味着神经元采用这种（或另一种）方式
从图四可以看出，在较大数值处，Sigmoid曲线斜率小
如果神经元认为当前权重是正确的，就不会对它进行很大调整。乘以Sigmoid曲线斜率便可以实现这一点
Sigmoid曲线的斜率可以通过求导得到：
把第二个等式代入第一个等式里，得到调整权重的最终公式：
当然有其他公式，它们可以使神经元学习得更快，但是这个公式的优点是非常简单。
构造Python代码
虽然我们没有使用神经网络库，但是将导入Python数学库numpy里的4个方法。分别是：
exp－－自然指数
array－－创建矩阵
dot－－进行矩阵乘法
random－－产生随机数
比如， 我们可以使用array()方法表示前面展示的训练集：
“.T”方法用于矩阵转置（行变列）。所以，计算机这样存储数字：
我觉得我们可以开始构建更优美的源代码了。给出这个源代码后，我会做一个总结。
我对每一行源代码都添加了注释来解释所有内容。注意在每次迭代时，我们同时处理所有训练集数据。所以变量都是矩阵（二维数据表格）。下面是一个用Python写地完整的示例代码。
结语
试着在命令行运行神经网络：
你应该看到这样的结果：
我们做到了！我们用Python构建了一个简单的神经网络！
首先神经网络对自己赋予随机权重，然后使用训练集训练自己。接着，它考虑一种新的情形[1, 0, 0]并且预测了0.99993704。正确答案是1。非常接近！
传统计算机程序通常不会学习。而神经网络却能自己学习，适应并对新情形做出反应，这是多么神奇，就像人类一样。