能见度自动化算法

❶ 自动混合精度训练，如何选择自动化的参数其效果的评估标准是什么

蓝海大脑高性能液冷服务器事业部杨博士：混合精度的概念在于FP16和FP32的混合，利用TensorCore进行加速的基本原则是一样的，只是在图改写时不同，自动改写的是基于规则，希望在图改写的情况下性能最优，所以在图改写的维度下是没有自动化超参的。对于训练过程中的超参，主要是一个维度，即loss-scale参数怎么超参，这个参数的选择涉及到auto loss-scale的概念，基本原则是提出一个反馈方式，来选择scale应该是变大还是变小。对于评估的标准，因为自动混合训练最担心的一个问题是精度是否下降，将自动混合精度训练的结果与FP32训练的结果进行对比，如果说两个gap不大，就认为自动混合精度在这个维度上是没有drop的，所以这里的维度主要由loss-scale控制。

❷ 文章自动打分算法

文章自动打分简称 AES (Automated Essay Scoring)，AES 系统利用 NLP 技术自动对文章进行打分，可以减轻阅卷人员的负担。目前有不少大型的考试都采用了 AES 算法进行作文打分，例如 GRE 考试，GRE 考试会有一位阅卷老师和 AES 系统一起打分，如果 AES 的分数和阅卷老师的分数相差过大，才有再增加一位阅卷老师进行打分。本文主要介绍两种比较经典的自动打分算法。

自动打分算法从优化目标或者损失函数来说大致可以分为三种：

传统的自动打分算法通常会人工设置很多特征，例如语法错误，N 元组，单词数量，句子长度等，然后训练机器学习模型进行打分。目前也有很多使用了神经网络的方法，通过神经网络学习出文章的特征。

下面介绍两种打分算法：

出自论文《Regression based Automated Essay Scoring》。给定很多需要打分的文章后，首先需要构造出文章的特征，用到了人工设置特征和向量空间特征。

拼写错误 Spelling Errors ：使用 pyenchant 包统计出拼写错误单词数量占总单词数量的比例。

统计特征 Statistical Features ：统计字符数量，单词数量，句子数量，段落数量，停止词数量，命名实体数量，标点符号数量 (反映文章的组织情况)，文本长度 (反映写作流畅程度)，不同词汇的数量与总单词数的占比 (反映词汇量水平)。

词性统计 POS count ：统计各种词性出现的频率，例如名词，动词，形容词，副词等，词性通过 nltk 包获取。

语法流畅特征 Grammatical Fluency ：使用 link grammar (链语法) 解析句子，然后统计 links 的个数；统计 n 元组出现的概率；统计词性 n 元组出现的概率。

可读性 Readability ：可读性分数是衡量文本组织以及文本句法和语义复杂程度的一个指标。采用了 Kincaid 可读性分数作为一个特征，计算公式如下

本体特征 Ontological Features ：为每个句子打上标签，例如研究、假设、主张、引用、支持和反对等。

可以将一篇文章投影到一个向量空间模型中 (VSM)，此时文章可以用向量空间中的一个特征向量表示，例如可以用 one-hot 编码表示一篇文章，长度等于词汇表长度，如果一个单词出现在文章中，则对应的位置置为 1，如下：

另外也可以使用 TF-IDF 向量表示文本，但是采用这种表示方式单词之间不存在任何关联，为了解决这个问题，文章中使用了一个单词相关性矩阵 W 加上线性变换从而引入单词之间的相关性。

单词的相关性矩阵 W 通过 word2vec 生成的词向量计算，即 W (i,j) = 单词 i 和单词 j 词向量的余弦相似度。

最后，为了考虑文章中单词的顺序问题，将文章拆分成 k 个段落，然后分别计算向量空间特征，融合在一起。

得到上述特征之后，采用 SVR 算法进行回归学习。数据集是 kaggle ASAP 比赛数据集，数据集包含 8 个集合的文章，评价指标采用 KAPPA 和相关系数，以下是一些实验效果。

这是在 8 个集合上分别使用 linear kernel 和 rbf kernel 的效果。

这是和人类打分者的对比。

以下内容出自论文《Neural Networks for Automated Essay Grading》，可以采用回归或者分类的方法进行训练，模型如下图所示。

论文中主要使用了三种方法构造出文章的特征向量：

论文中主要用了三种神经网络结构，NN (前向神经网络)，LSTM 和 BiLSTM。所有的网络都会输出一个向量 h(out)，根据 h(out) 构造出损失函数，下面分别是回归和分类的损失函数。

回归损失

分类损失

第一种模型：NN (前向神经网络)

使用了两层前向神经网络，网络输入的文章特征向量是 Glove 词向量的平均值或者训练的词向量平均值。h(out) 的计算公式如下。

第二种模型：LSTM

LSTM 模型接受的输入是文章所有单词的词向量序列，然后将 LSTM 最后输出的向量作为文章的特征向量 h(out)。

第三种模型：BiLSTM

因为文章通常比较长，单向的 LSTM 容易丢失前面的信息，因此作者也使用了 BiLSTM 模型，将前向 LSTM 和后向 LSTM 模型的输出加在一起作为 h(out)。

添加 TF-IDF 向量

以上模型的输出 h(out) 都可以再加上 TF-IDF 向量提升性能，首先需要对 TF-IDF 向量降维，然后和模型的输出拼接在一起，如下图所示 (BiLSTM 为例子)。

《Regression based Automated Essay Scoring》
《Neural Networks for Automated Essay Grading》

❸ 如何通过温度和气压判断能见度

一般是温度越高，能见度越高，因为温度越高，水分子越不容易形成雾，所以空气越透明；

一般是气压越低，能见度越高，比如雾霾天，一有北风降温，由于空气的惯性，就会使气压降低，天空就会格外透明。

根据气压判断风向，风要是从低纬地区吹向高纬地区温度低水汽易凝结形成降水；要是相反从高纬吹向低纬温度上升水汽不易凝结，就是干旱。比如：东北信风和盛行西风。

(3)能见度自动化算法扩展阅读：

能见度的大小，主要由两个因素决定：

①目标物与衬托它的背景之间的亮度差异。差异愈大(小)，能见距离愈大(小)。但这种亮度差异通常变化不大。

②大气透明度。观测者与目标物间的气层能减弱前述的亮度差异。大气透明度愈差(好)，能见距离愈小(大)。所以能见度的变化主要取决于大气透明度的好坏。而雾、烟、沙尘、大雪、毛毛雨等天气现象可使大气浑浊，透明度变小。

❹ 天气预报中有个能见度，这个是如何计算出来的

测量大气能见度一般可用目测的方法，也可以使用大气透射仪、激光能见度自动测量仪等测量仪器测量。目前，能见度的观测大都还是以人工目测为主，规范性、客观性相对较差。大气透射仪是通过光束透过两固定点之间的大气柱直接测量气柱透射率，以此来推算能见度的值，这种方法要求光束通过足够长的大气柱，测量的可靠性受光源及其他硬件系统工作稳定性的影响，一般只适用于中等以下能见度的观测，而在雨、雾等低能见度天气，会因水汽吸收等复杂条件造成较大误差。而激光能见度自动测量仪是通过激光测量大气消光系数的方法来推算能见度，相对而言，较为客观和准确，但这种仪器成本昂贵、维护费用高、操作复杂，而且，在雨、雾天也难以进行正常观测，因而难以推广。中国科技大学研制的数字摄像法自动测量能见度的仪器系统，通过数字化摄像机直接摄取选定目标物及其背景的图象，然后将图象从图象采集卡传到计算机，通过对所获取的图象进行分析处理，能自动获取能见度的数值。这种方法测量得到的能见度数值和用激光雷达观测的能见度值比较接近。

❺ 能见度仪是什么

世界上普遍应用的能见度观测仪主要有透射式和散射式两种. 透射仪因需要基线, 占地范围大, 不适用于海岸台站、灯塔自动气象站及船舶上. 但其具有自检能力, 低能见度下性能好等优点而适用于民航系统; 散射仪以其体积小和低廉的价格而广泛应用于码头、航空、高速公路等系统。

能见度是一个重要的气象观测要素。人工观测能见度 , 一般指有效水平能见度 , 是指台站四周视野中二分之一以上的范围能看到的目标物的最大水平距离。白天能见度是指视力正常的人,在当时天气条件下, 能够从天空背景中看到和辨认的目标物 (黑色、大小适度)的最大水平距离 ;夜间能见度则是指 :假定总体照明增加到正常白天水平 , 适当大小的黑色目标物能被看到和辨认出的最大水平距离 ;中等强度的发光体能被看到和识别的最大水平距离。

随着世界科技和经济的发展航空航天、 海陆交通、 环境监测及国防部门对能见度的精确测报有着越来越高的要求 因此，能见度测量仪器的研制及应用就显得更为重要。 随着计算机的普及和集成电路的推广，能见度测量仪器也在不断更新换代，并且应用市场已由50年代替代主观目测，少量应用于机场扩展到目前大量装备到各类机场、港口、桥梁、公路、铁路、环保、气象台站、森林及国防部门。能见度测量仪器有三种主要类型—透射式、散射式和激光雷达式。

❻ 低能见度天气定义

气象能见度定义为：视力正常的人，在当时天气条件下，能够从天空背景中看到和辨认出目标物（黑色、大小适度）的最大水平距离。 气象能见度是气象要素观测中的基本项目之一，是直接影响人类生活、生产、交通的重要问题。

能见度
大气中空气分子对入射光的衰减是比较规律的。大气中气溶胶对可见光传播也有很大影响，而且气溶胶分布是复杂多变的，大气中云雾滴也会使光受到衰减和散射。

实际观测表明，在大气中，半径从十分之几微米到几十微米的气溶胶粒子和小云雾滴随着半径增大其数密度会非常急剧的减小，半径越小的粒子数密度越大，这些粒子对可见光有较强的散射作用，而且也有复杂的吸收作用，尤其对于小粒子，这种吸收作用是相当显着的。

由于人类活动、热对流、风和湍流作用等各种原因，低层大气内小粒子含量会发生极大变化当大气中小粒子的含量很大时，大气衰减系数比“干净”的空气分子的衰减系数可能会大一到二个数量级，这时，天空将是浑浊的，我们将看不清远处的目标物，这就是能见度问题。

能见距离
我们在近处看物体总是可以看清的，但当物体渐渐远离我们时，就渐趋模糊，直到物体达到某一距离后，我们就无法用肉眼再把物体从背景上识别出来，这个能够“看到”物体的最大距离称为能见距离。

❼ 自动化控制和算法有什么关系

举一个例子，自动控制一个容器内温度，而温度测量是有测量量程和使用范围的，用于控制温度的冷热水流量阀门开关大小信号取绝于接受到控制信号大小，这个控制信号大小就是经过算法设计根据测量温度计算出来的。

❽ 能见度是什么意思

能见度是指视力正常的人，在当时的天气条件下所能看清楚目标轮廓的最大水平距离，一般用公里或米表示。目标物的能见度，与大气透明度和目标物同背景的亮度对比有关。当天气晴朗、大气透明度良好时，能见度就好；反之，当空气混浊，特别是有雾、霾、烟、风沙及降水时，能见度就差。在大气透明度不变的条件下，如果目标物同背景的亮度对比较大，则能见距离较远；相反，则能见距离较近。军队中广泛采用的迷彩色装备和服装，就是应用了目标物同背景的亮度对比越小能见度越这一原理，以便自己尽可能不被敌人发现。白天，一般利用固定目标测定能见度，夜间则可用灯光测定能见度。一般情况下人们并不太注意能见度这一气象要素，但对航空、航海和公路、铁路运输而言，能见度就显得相当重要了，恶劣的能见度常是坠机、翻船和撞车的元兇，旅客因此而延误了行期、生产活动因此而受到影响则更为常见。在二次世界大战中，日本舰队就是利用了恶劣天气和能见度极差的气象条件而在太平洋上长途跋涉，成功地偷袭了珍珠港。

❾ 人工智能算法简介

人工智能的三大基石—算法、数据和计算能力，算法作为其中之一，是非常重要的，那么人工智能都会涉及哪些算法呢？不同算法适用于哪些场景呢？

一、按照模型训练方式不同可以分为监督学习（Supervised Learning），无监督学习（Unsupervised Learning）、半监督学习（Semi-supervised Learning）和强化学习（Reinforcement Learning）四大类。

常见的监督学习算法包含以下几类：
（1）人工神经网络（Artificial Neural Network）类：反向传播（Backpropagation）、波尔兹曼机（Boltzmann Machine）、卷积神经网络（Convolutional Neural Network）、Hopfield网络（hopfield Network）、多层感知器（Multilyer Perceptron）、径向基函数网络（Radial Basis Function Network，RBFN）、受限波尔兹曼机（Restricted Boltzmann Machine）、回归神经网络（Recurrent Neural Network，RNN）、自组织映射（Self-organizing Map，SOM）、尖峰神经网络（Spiking Neural Network）等。
（2）贝叶斯类（Bayesin）：朴素贝叶斯（Naive Bayes）、高斯贝叶斯（Gaussian Naive Bayes）、多项朴素贝叶斯（Multinomial Naive Bayes）、平均-依赖性评估（Averaged One-Dependence Estimators，AODE）
贝叶斯信念网络（Bayesian Belief Network，BBN）、贝叶斯网络（Bayesian Network，BN）等。
（3）决策树（Decision Tree）类：分类和回归树（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5算法（C4.5 Algorithm）、C5.0算法（C5.0 Algorithm）、卡方自动交互检测（Chi-squared Automatic Interaction Detection，CHAID）、决策残端（Decision Stump）、ID3算法（ID3 Algorithm）、随机森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。
（4）线性分类器（Linear Classifier）类：Fisher的线性判别（Fisher’s Linear Discriminant）
线性回归（Linear Regression）、逻辑回归（Logistic Regression）、多项逻辑回归（Multionmial Logistic Regression）、朴素贝叶斯分类器（Naive Bayes Classifier）、感知（Perception）、支持向量机（Support Vector Machine）等。

常见的无监督学习类算法包括：
（1） 人工神经网络（Artificial Neural Network）类：生成对抗网络（Generative Adversarial Networks，GAN），前馈神经网络（Feedforward Neural Network）、逻辑学习机（Logic Learning Machine）、自组织映射（Self-organizing Map）等。
（2） 关联规则学习（Association Rule Learning）类：先验算法（Apriori Algorithm）、Eclat算法（Eclat Algorithm）、FP-Growth算法等。
（3）分层聚类算法（Hierarchical Clustering）：单连锁聚类（Single-linkage Clustering），概念聚类（Conceptual Clustering）等。
（4）聚类分析（Cluster analysis）：BIRCH算法、DBSCAN算法，期望最大化（Expectation-maximization，EM）、模糊聚类（Fuzzy Clustering）、K-means算法、K均值聚类（K-means Clustering）、K-medians聚类、均值漂移算法（Mean-shift）、OPTICS算法等。
（5）异常检测（Anomaly detection）类：K最邻近（K-nearest Neighbor，KNN）算法，局部异常因子算法（Local Outlier Factor，LOF）等。

常见的半监督学习类算法包含：生成模型（Generative Models）、低密度分离（Low-density Separation）、基于图形的方法（Graph-based Methods）、联合训练（Co-training）等。

常见的强化学习类算法包含：Q学习（Q-learning）、状态-行动-奖励-状态-行动（State-Action-Reward-State-Action，SARSA）、DQN（Deep Q Network）、策略梯度算法（Policy Gradients）、基于模型强化学习（Model Based RL）、时序差分学习（Temporal Different Learning）等。

常见的深度学习类算法包含：深度信念网络（Deep Belief Machines）、深度卷积神经网络（Deep Convolutional Neural Networks）、深度递归神经网络（Deep Recurrent Neural Network）、分层时间记忆（Hierarchical Temporal Memory，HTM）、深度波尔兹曼机（Deep Boltzmann Machine，DBM）、栈式自动编码器（Stacked Autoencoder）、生成对抗网络（Generative Adversarial Networks）等。

二、按照解决任务的不同来分类，粗略可以分为二分类算法（Two-class Classification）、多分类算法（Multi-class Classification）、回归算法（Regression）、聚类算法（Clustering）和异常检测（Anomaly Detection）五种。
1.二分类（Two-class Classification）
（1）二分类支持向量机（Two-class SVM）：适用于数据特征较多、线性模型的场景。
（2）二分类平均感知器（Two-class Average Perceptron）：适用于训练时间短、线性模型的场景。
（3）二分类逻辑回归（Two-class Logistic Regression）：适用于训练时间短、线性模型的场景。
（4）二分类贝叶斯点机（Two-class Bayes Point Machine）：适用于训练时间短、线性模型的场景。（5）二分类决策森林（Two-class Decision Forest）：适用于训练时间短、精准的场景。
（6）二分类提升决策树（Two-class Boosted Decision Tree）：适用于训练时间短、精准度高、内存占用量大的场景
（7）二分类决策丛林（Two-class Decision Jungle）：适用于训练时间短、精确度高、内存占用量小的场景。
（8）二分类局部深度支持向量机（Two-class Locally Deep SVM）：适用于数据特征较多的场景。
（9）二分类神经网络（Two-class Neural Network）：适用于精准度高、训练时间较长的场景。

解决多分类问题通常适用三种解决方案：第一种，从数据集和适用方法入手，利用二分类器解决多分类问题；第二种，直接使用具备多分类能力的多分类器；第三种，将二分类器改进成为多分类器今儿解决多分类问题。
常用的算法：
（1）多分类逻辑回归（Multiclass Logistic Regression）：适用训练时间短、线性模型的场景。
（2）多分类神经网络（Multiclass Neural Network）：适用于精准度高、训练时间较长的场景。
（3）多分类决策森林（Multiclass Decision Forest）：适用于精准度高，训练时间短的场景。
（4）多分类决策丛林（Multiclass Decision Jungle）：适用于精准度高，内存占用较小的场景。
（5）“一对多”多分类（One-vs-all Multiclass）：取决于二分类器效果。

回归
回归问题通常被用来预测具体的数值而非分类。除了返回的结果不同，其他方法与分类问题类似。我们将定量输出，或者连续变量预测称为回归；将定性输出，或者离散变量预测称为分类。长巾的算法有：
（1）排序回归（Ordinal Regression）：适用于对数据进行分类排序的场景。
（2）泊松回归（Poission Regression）：适用于预测事件次数的场景。
（3）快速森林分位数回归（Fast Forest Quantile Regression）：适用于预测分布的场景。
（4）线性回归（Linear Regression）：适用于训练时间短、线性模型的场景。
（5）贝叶斯线性回归（Bayesian Linear Regression）：适用于线性模型，训练数据量较少的场景。
（6）神经网络回归（Neural Network Regression）：适用于精准度高、训练时间较长的场景。
（7）决策森林回归（Decision Forest Regression）：适用于精准度高、训练时间短的场景。
（8）提升决策树回归（Boosted Decision Tree Regression）：适用于精确度高、训练时间短、内存占用较大的场景。

聚类
聚类的目标是发现数据的潜在规律和结构。聚类通常被用做描述和衡量不同数据源间的相似性，并把数据源分类到不同的簇中。
（1）层次聚类（Hierarchical Clustering）：适用于训练时间短、大数据量的场景。
（2）K-means算法：适用于精准度高、训练时间短的场景。
（3）模糊聚类FCM算法（Fuzzy C-means，FCM）：适用于精确度高、训练时间短的场景。
（4）SOM神经网络（Self-organizing Feature Map，SOM）：适用于运行时间较长的场景。
异常检测
异常检测是指对数据中存在的不正常或非典型的分体进行检测和标志，有时也称为偏差检测。
异常检测看起来和监督学习问题非常相似，都是分类问题。都是对样本的标签进行预测和判断，但是实际上两者的区别非常大，因为异常检测中的正样本（异常点）非常小。常用的算法有：
（1）一分类支持向量机（One-class SVM）：适用于数据特征较多的场景。
（2）基于PCA的异常检测（PCA-based Anomaly Detection）：适用于训练时间短的场景。

常见的迁移学习类算法包含：归纳式迁移学习（Inctive Transfer Learning） 、直推式迁移学习（Transctive Transfer Learning）、无监督式迁移学习（Unsupervised Transfer Learning）、传递式迁移学习（Transitive Transfer Learning）等。

算法的适用场景：
需要考虑的因素有：
（1）数据量的大小、数据质量和数据本身的特点
（2）机器学习要解决的具体业务场景中问题的本质是什么？
（3）可以接受的计算时间是什么？
（4）算法精度要求有多高？
————————————————

原文链接： https://blog.csdn.net/nfzhlk/article/details/82725769