导航:首页 > 源码编译 > 模型编译语言

模型编译语言

发布时间:2023-01-06 04:35:38

‘壹’ keras如何快速入门

作者 | 杨照璐(微信号lwyzl0821)

编辑 | 言有三

这一次我们讲讲keras这个简单、流行的深度学习框架,一个图像分类任务从训练到测试出结果的全流程。

相关的代码、数据都在我们 Git 上,希望大家 Follow 一下这个 Git 项目,后面会持续更新不同框架下的任务。

Keras是一个非常流行、简单的深度学习框架,它的设计参考了torch,用Python语言编写,是一个高度模块化的神经网络库,支持GPU和CPU。能够在TensorFlow,CNTK或Theano之上运行。 Keras的特点是能够快速实现模型的搭建, 简单方便地让你实现从想法到实验验证的转化,这都是高效地进行科学研究的关键。

Keras的安装非常简单,但是需要先安装一个后端框架作为支撑,TensorFlow, CNTK,Theano都可以,但是官网上强烈建议使用TensorFlow作为Keras的后端进行使用。本例以TensorFlow 1.4.0 版本作为Keras的后端进行测试。

通过上面两条命令就可以完成TensorFlow和Keras的安装,此处需要注意的一点是Keras的版本和TensorFlow的版本要对应,否则会出现意外的错误。具体版本对应关系可在网上进行查询。

3.1 MNIST实例

MNIST手写字符分类被认为是深度学习框架里的“Hello Word!”,下面简单介绍一下MNIST数据集案例的测试。Keras的官方github的example目录下提供了几个MNIST案例的代码,下载mnist_mlp.py,mnist_cnn.py文件,本地运行即可,其他文件读者也可以自行测试。

3.2 数据定义

前面我们介绍了MNIST数据集实例,很多读者在学习深度学习框架的时候都卡在了这一步,运行完MNIST实例之后无从下手,很大原因可能是因为不知道怎么处理自己的数据集,这一节我们通过一个简单的图像二分类案例,介绍如何实现一个自定义的数据集。

数据处理有几种方式,一种是像MNIST、CIFAR数据集,这些数据集的特点是已经为用户打包封装好了数据。用户只要load_data即可实现数据导入。其实就是事先把数据进行解析,然后保存到.pkl 或者.h5等文件中,然后在训练模型的时候直接导入,输入到网络中;另一种是直接从本地读取文件,解析成网络需要的格式,输入网络进行训练。但是实际情况是,为了某一个项目我们不可能总是找到相应的打包好的数据集供使用,这时候自己建立一个dataset就十分重要。

Keras提供了一个图像数据的数据增强文件,调用这个文件我们可以实现网络数据加载的功能。

此处采用keras的processing模块里的ImageDataGenerator类定义一个图像分类任务的dataset生成器:

下面简单地介绍一下上面的代码,完整代码请移步Git工程。

Keras的processing模块中提供了一个能够实时进行数据增强的图像生成类ImagGenerator,该类下面有一个函数flow_from_directory,顾名思义该函数就是从文件夹中获取图像数据。关于ImageGenerator更多的使用可以参考官方源码。数据集结构组织如下:

此处还需要注意的一点是,我们现在进行的是简单的图像分类任务训练,假如要完成语义分割,目标检测等任务,则需要自定义一个类(继承ImageDataGenerator),具体实现可以查询相关代码进行参考。

Keras网络模型搭建有两种形式,Sequential 顺序模型和使用函数式API的 Model 类模型。本教程的例子采用一个简单的三层卷积,以及两层全连接和一个分类层组成的网络模型。由于函数式API更灵活方便,因此下面采用函数式方法搭建模型,模型定义如下:

4.1 函数式API

即输出是12通道,卷积核大小3*3,步长为2,padding='same'表示边缘补零

axis表示需要归一化的坐标轴,bn_axis=3,由于采用TensorFlow作为后端,因此这句代码表示在通道数坐标轴进行归一化。

x = Flatten()(x) 表示将卷积特征图进行拉伸,以便和全连接层Dense()进行连接。

Dense()实现全连接层的功能,1200是输出维度,‘relu'表示激活函数,使用其他函数可以自行修改。

最后一层采用‘softmax’激活函数实现分类功能。

最终返回Model,包含网络的输入和输出。

4.2 模型编译

网络搭建完成,在网络训练前需要进行编译,包括学习方法、损失函数、评估标准等,这些参数分别可以从optimizer、loss、metric模块中导入。具体代码如下:

其中callbacks模块包含了TensorBoard, ModelCheckpoint,LearningRateScheler等功能,分别可以用来可视化模型,设置模型检查点,以及设置学习率策略。

5.1 模型训练

Keras模型训练过程非常简单,只需一行代码,设置几个参数即可,具体代码如下:

首先指定数据生成器,train_generator, 前面介绍过;steps_per_epoch是每次epoch循环的次数,通过训练样本数除以batch_size得到;epochs是整个数据集重复多少次训练。

Keras是高度封装的,在模型训练过程中,看不到网络的预测结果和网络的反向传播过程,只需定义好损失函数,事实上,网络定义中的模型输出会包含网络的输入和输出。

5.2 训练过程可视化

keras可以采用tensorboard实现训练过程的可视化。执行完下面的命令就可以在浏览器访问http://127.0.0.1:6006查看效果。

tensorboard --logdir 日志文件路径(默认路径=‘./logs’’)

上面是分别是训练和测试过程的loss和accuracy。

5.3 模型测试

model = simpleconv3()

model.load_weights(model_path, by_name=True)

image_path = '../../../../datas/head/train/0/1left.jpg'

img = Image.open(image_path)

img = img_to_array(img)

img = cv2.resize(img, image_size)

img = np.expand_dims(img, axis=0)

img = preprocess_input(img)

result = model.predict(img, batch_size=1)

print(result)

以上代码简单介绍一下:模型测试流程非常清晰,首先加载模型,加载参数>>将数据输入网络>>模型预测。

模型训练完成后,仅需用model.save_weights('models/model.h5')一句代码就可以完成模型的保存。同样,模型的导入采用model.load_weights(model_path, by_name=True),需要注意的是要设置by_name=True,这样就能保证和模型名称一样的参数都能加载到模型,当然模型定义要和参数是匹配的,假如要进行fine-tune我们只需保证需要重新训练或者新加的网络层的名称和预加载模型参数名称不一样就可以。

以上内容涵盖了采用keras进行分类任务的全部流程,从数据导入、模型搭建、模型训练、测试,模型保存和导入几个方面分别进行了介绍。当然这只是一些基本的应用,还有一些高级、个性化功能需要我们进一步学习,有机会,下一次介绍一下自定义网络层、设置check_point、特征可视化等特性。

‘贰’ 编程语言中的"模型"一词是什么具体含义

编程模型,简单地你可以理解它就是模板,遇到相似问题我们就可以方便依模板解决,这样就简化了编程问题.

概念数据模型呢就是数据库管理的教学形式的一种框架,是用来描述一组数据的概念和定义.

面向对象是现在最流行的东东了,你随便一搜N多就出来了.它主要是相于对面向过程模型而言.它就是从客观世界实体的对象关系角度来描述,表现了对象的相互关系的.

‘叁’ 请问高手,神经网络模型与学习算法用什么语言编程比较好java 、C语言还是C++等。谢谢!

个人建议,用Java,毕竟它对网络的针对性较强,而学习算法可以从C开始再到java因为从小到大比较好…

‘肆’ 这个建模3d模型的网站是什么语言编写的

网页3d展示都是用heml5和javascript,css3,还有更重要的就是webgl,这个你了解下three,它直接可以把3d模型文件在网页显示。更多请网络three。

‘伍’ 有没有办法实现3D MAX模型转换成某种编程语言除了转换成VRML外的。

不能。
max模型都说是模型了,最多了也就能转成vrml建模语言。
编程语言是用来做交互的……

阅读全文

与模型编译语言相关的资料

热点内容
解压伤感图片 浏览:472
python判断周几 浏览:14
数据文档加密保管 浏览:166
app会员如何运营 浏览:856
工行app登录名如何改 浏览:23
window怎么登陆服务器 浏览:992
Python取ID对应的值 浏览:633
现在我的世界什么服务器最混乱 浏览:764
美国好的源码出售 浏览:326
苹果ipad文件夹怎么添加文字 浏览:485
腾讯云连接自己的服务器地址 浏览:218
硕士英语综合教程pdf 浏览:46
分段加密的安全性 浏览:507
咪咕直播为什么没有适配安卓系统 浏览:172
php模版大全 浏览:102
没车能解压吗 浏览:634
php开发oa系统源码 浏览:759
怎么安装苹果ios的app 浏览:581
app拉新如何机刷 浏览:480
zendeclipseforphp 浏览:480