能見度自動化演算法

❶ 自動混合精度訓練，如何選擇自動化的參數其效果的評估標準是什麼

藍海大腦高性能液冷伺服器事業部楊博士：混合精度的概念在於FP16和FP32的混合，利用TensorCore進行加速的基本原則是一樣的，只是在圖改寫時不同，自動改寫的是基於規則，希望在圖改寫的情況下性能最優，所以在圖改寫的維度下是沒有自動化超參的。對於訓練過程中的超參，主要是一個維度，即loss-scale參數怎麼超參，這個參數的選擇涉及到auto loss-scale的概念，基本原則是提出一個反饋方式，來選擇scale應該是變大還是變小。對於評估的標准，因為自動混合訓練最擔心的一個問題是精度是否下降，將自動混合精度訓練的結果與FP32訓練的結果進行對比，如果說兩個gap不大，就認為自動混合精度在這個維度上是沒有drop的，所以這里的維度主要由loss-scale控制。

❷ 文章自動打分演算法

文章自動打分簡稱 AES (Automated Essay Scoring)，AES 系統利用 NLP 技術自動對文章進行打分，可以減輕閱卷人員的負擔。目前有不少大型的考試都採用了 AES 演算法進行作文打分，例如 GRE 考試，GRE 考試會有一位閱卷老師和 AES 系統一起打分，如果 AES 的分數和閱卷老師的分數相差過大，才有再增加一位閱卷老師進行打分。本文主要介紹兩種比較經典的自動打分演算法。

自動打分演算法從優化目標或者損失函數來說大致可以分為三種：

傳統的自動打分演算法通常會人工設置很多特徵，例如語法錯誤，N 元組，單詞數量，句子長度等，然後訓練機器學習模型進行打分。目前也有很多使用了神經網路的方法，通過神經網路學習出文章的特徵。

下面介紹兩種打分演算法：

出自論文《Regression based Automated Essay Scoring》。給定很多需要打分的文章後，首先需要構造出文章的特徵，用到了人工設置特徵和向量空間特徵。

拼寫錯誤 Spelling Errors ：使用 pyenchant 包統計出拼寫錯誤單詞數量占總單詞數量的比例。

統計特徵 Statistical Features ：統計字元數量，單詞數量，句子數量，段落數量，停止詞數量，命名實體數量，標點符號數量 (反映文章的組織情況)，文本長度 (反映寫作流暢程度)，不同詞彙的數量與總單詞數的佔比 (反映詞彙量水平)。

詞性統計 POS count ：統計各種詞性出現的頻率，例如名詞，動詞，形容詞，副詞等，詞性通過 nltk 包獲取。

語法流暢特徵 Grammatical Fluency ：使用 link grammar (鏈語法) 解析句子，然後統計 links 的個數；統計 n 元組出現的概率；統計詞性 n 元組出現的概率。

可讀性 Readability ：可讀性分數是衡量文本組織以及文本句法和語義復雜程度的一個指標。採用了 Kincaid 可讀性分數作為一個特徵，計算公式如下

本體特徵 Ontological Features ：為每個句子打上標簽，例如研究、假設、主張、引用、支持和反對等。

可以將一篇文章投影到一個向量空間模型中 (VSM)，此時文章可以用向量空間中的一個特徵向量表示，例如可以用 one-hot 編碼表示一篇文章，長度等於詞彙表長度，如果一個單詞出現在文章中，則對應的位置置為 1，如下：

另外也可以使用 TF-IDF 向量表示文本，但是採用這種表示方式單詞之間不存在任何關聯，為了解決這個問題，文章中使用了一個單詞相關性矩陣 W 加上線性變換從而引入單詞之間的相關性。

單詞的相關性矩陣 W 通過 word2vec 生成的詞向量計算，即 W (i,j) = 單詞 i 和單詞 j 詞向量的餘弦相似度。

最後，為了考慮文章中單詞的順序問題，將文章拆分成 k 個段落，然後分別計算向量空間特徵，融合在一起。

得到上述特徵之後，採用 SVR 演算法進行回歸學習。數據集是 kaggle ASAP 比賽數據集，數據集包含 8 個集合的文章，評價指標採用 KAPPA 和相關系數，以下是一些實驗效果。

這是在 8 個集合上分別使用 linear kernel 和 rbf kernel 的效果。

這是和人類打分者的對比。

以下內容出自論文《Neural Networks for Automated Essay Grading》，可以採用回歸或者分類的方法進行訓練，模型如下圖所示。

論文中主要使用了三種方法構造出文章的特徵向量：

論文中主要用了三種神經網路結構，NN (前向神經網路)，LSTM 和 BiLSTM。所有的網路都會輸出一個向量 h(out)，根據 h(out) 構造出損失函數，下面分別是回歸和分類的損失函數。

回歸損失

分類損失

第一種模型：NN (前向神經網路)

使用了兩層前向神經網路，網路輸入的文章特徵向量是 Glove 詞向量的平均值或者訓練的詞向量平均值。h(out) 的計算公式如下。

第二種模型：LSTM

LSTM 模型接受的輸入是文章所有單詞的詞向量序列，然後將 LSTM 最後輸出的向量作為文章的特徵向量 h(out)。

第三種模型：BiLSTM

因為文章通常比較長，單向的 LSTM 容易丟失前面的信息，因此作者也使用了 BiLSTM 模型，將前向 LSTM 和後向 LSTM 模型的輸出加在一起作為 h(out)。

添加 TF-IDF 向量

以上模型的輸出 h(out) 都可以再加上 TF-IDF 向量提升性能，首先需要對 TF-IDF 向量降維，然後和模型的輸出拼接在一起，如下圖所示 (BiLSTM 為例子)。

《Regression based Automated Essay Scoring》
《Neural Networks for Automated Essay Grading》

❸ 如何通過溫度和氣壓判斷能見度

一般是溫度越高，能見度越高，因為溫度越高，水分子越不容易形成霧，所以空氣越透明；

一般是氣壓越低，能見度越高，比如霧霾天，一有北風降溫，由於空氣的慣性，就會使氣壓降低，天空就會格外透明。

根據氣壓判斷風向，風要是從低緯地區吹向高緯地區溫度低水汽易凝結形成降水；要是相反從高緯吹向低緯溫度上升水汽不易凝結，就是乾旱。比如：東北信風和盛行西風。

(3)能見度自動化演算法擴展閱讀：

能見度的大小，主要由兩個因素決定：

①目標物與襯托它的背景之間的亮度差異。差異愈大(小)，能見距離愈大(小)。但這種亮度差異通常變化不大。

②大氣透明度。觀測者與目標物間的氣層能減弱前述的亮度差異。大氣透明度愈差(好)，能見距離愈小(大)。所以能見度的變化主要取決於大氣透明度的好壞。而霧、煙、沙塵、大雪、毛毛雨等天氣現象可使大氣渾濁，透明度變小。

❹ 天氣預報中有個能見度，這個是如何計算出來的

測量大氣能見度一般可用目測的方法，也可以使用大氣透射儀、激光能見度自動測量儀等測量儀器測量。目前，能見度的觀測大都還是以人工目測為主，規范性、客觀性相對較差。大氣透射儀是通過光束透過兩固定點之間的大氣柱直接測量氣柱透射率，以此來推算能見度的值，這種方法要求光束通過足夠長的大氣柱，測量的可靠性受光源及其他硬體系統工作穩定性的影響，一般只適用於中等以下能見度的觀測，而在雨、霧等低能見度天氣，會因水汽吸收等復雜條件造成較大誤差。而激光能見度自動測量儀是通過激光測量大氣消光系數的方法來推算能見度，相對而言，較為客觀和准確，但這種儀器成本昂貴、維護費用高、操作復雜，而且，在雨、霧天也難以進行正常觀測，因而難以推廣。中國科技大學研製的數字攝像法自動測量能見度的儀器系統，通過數字化攝像機直接攝取選定目標物及其背景的圖象，然後將圖象從圖象採集卡傳到計算機，通過對所獲取的圖象進行分析處理，能自動獲取能見度的數值。這種方法測量得到的能見度數值和用激光雷達觀測的能見度值比較接近。

❺ 能見度儀是什麼

世界上普遍應用的能見度觀測儀主要有透射式和散射式兩種. 透射儀因需要基線, 佔地范圍大, 不適用於海岸台站、燈塔自動氣象站及船舶上. 但其具有自檢能力, 低能見度下性能好等優點而適用於民航系統; 散射儀以其體積小和低廉的價格而廣泛應用於碼頭、航空、高速公路等系統。

能見度是一個重要的氣象觀測要素。人工觀測能見度 , 一般指有效水平能見度 , 是指台站四周視野中二分之一以上的范圍能看到的目標物的最大水平距離。白天能見度是指視力正常的人,在當時天氣條件下, 能夠從天空背景中看到和辨認的目標物 (黑色、大小適度)的最大水平距離 ;夜間能見度則是指 :假定總體照明增加到正常白天水平 , 適當大小的黑色目標物能被看到和辨認出的最大水平距離 ;中等強度的發光體能被看到和識別的最大水平距離。

隨著世界科技和經濟的發展航空航天、 海陸交通、 環境監測及國防部門對能見度的精確測報有著越來越高的要求 因此，能見度測量儀器的研製及應用就顯得更為重要。 隨著計算機的普及和集成電路的推廣，能見度測量儀器也在不斷更新換代，並且應用市場已由50年代替代主觀目測，少量應用於機場擴展到目前大量裝備到各類機場、港口、橋梁、公路、鐵路、環保、氣象台站、森林及國防部門。能見度測量儀器有三種主要類型—透射式、散射式和激光雷達式。

❻ 低能見度天氣定義

氣象能見度定義為：視力正常的人，在當時天氣條件下，能夠從天空背景中看到和辨認出目標物（黑色、大小適度）的最大水平距離。 氣象能見度是氣象要素觀測中的基本項目之一，是直接影響人類生活、生產、交通的重要問題。

能見度
大氣中空氣分子對入射光的衰減是比較規律的。大氣中氣溶膠對可見光傳播也有很大影響，而且氣溶膠分布是復雜多變的，大氣中雲霧滴也會使光受到衰減和散射。

實際觀測表明，在大氣中，半徑從十分之幾微米到幾十微米的氣溶膠粒子和小雲霧滴隨著半徑增大其數密度會非常急劇的減小，半徑越小的粒子數密度越大，這些粒子對可見光有較強的散射作用，而且也有復雜的吸收作用，尤其對於小粒子，這種吸收作用是相當顯著的。

由於人類活動、熱對流、風和湍流作用等各種原因，低層大氣內小粒子含量會發生極大變化當大氣中小粒子的含量很大時，大氣衰減系數比「干凈」的空氣分子的衰減系數可能會大一到二個數量級，這時，天空將是渾濁的，我們將看不清遠處的目標物，這就是能見度問題。

能見距離
我們在近處看物體總是可以看清的，但當物體漸漸遠離我們時，就漸趨模糊，直到物體達到某一距離後，我們就無法用肉眼再把物體從背景上識別出來，這個能夠「看到」物體的最大距離稱為能見距離。

❼ 自動化控制和演算法有什麼關系

舉一個例子，自動控制一個容器內溫度，而溫度測量是有測量量程和使用范圍的，用於控制溫度的冷熱水流量閥門開關大小信號取絕於接受到控制信號大小，這個控制信號大小就是經過演算法設計根據測量溫度計算出來的。

❽ 能見度是什麼意思

能見度是指視力正常的人，在當時的天氣條件下所能看清楚目標輪廓的最大水平距離，一般用公里或米表示。目標物的能見度，與大氣透明度和目標物同背景的亮度對比有關。當天氣晴朗、大氣透明度良好時，能見度就好；反之，當空氣混濁，特別是有霧、霾、煙、風沙及降水時，能見度就差。在大氣透明度不變的條件下，如果目標物同背景的亮度對比較大，則能見距離較遠；相反，則能見距離較近。軍隊中廣泛採用的迷彩色裝備和服裝，就是應用了目標物同背景的亮度對比越小能見度越這一原理，以便自己盡可能不被敵人發現。白天，一般利用固定目標測定能見度，夜間則可用燈光測定能見度。一般情況下人們並不太注意能見度這一氣象要素，但對航空、航海和公路、鐵路運輸而言，能見度就顯得相當重要了，惡劣的能見度常是墜機、翻船和撞車的元兇，旅客因此而延誤了行期、生產活動因此而受到影響則更為常見。在二次世界大戰中，日本艦隊就是利用了惡劣天氣和能見度極差的氣象條件而在太平洋上長途跋涉，成功地偷襲了珍珠港。

❾ 人工智慧演算法簡介

人工智慧的三大基石—演算法、數據和計算能力，演算法作為其中之一，是非常重要的，那麼人工智慧都會涉及哪些演算法呢？不同演算法適用於哪些場景呢？

一、按照模型訓練方式不同可以分為監督學習（Supervised Learning），無監督學習（Unsupervised Learning）、半監督學習（Semi-supervised Learning）和強化學習（Reinforcement Learning）四大類。

常見的監督學習演算法包含以下幾類：
（1）人工神經網路（Artificial Neural Network）類：反向傳播（Backpropagation）、波爾茲曼機（Boltzmann Machine）、卷積神經網路（Convolutional Neural Network）、Hopfield網路（hopfield Network）、多層感知器（Multilyer Perceptron）、徑向基函數網路（Radial Basis Function Network，RBFN）、受限波爾茲曼機（Restricted Boltzmann Machine）、回歸神經網路（Recurrent Neural Network，RNN）、自組織映射（Self-organizing Map，SOM）、尖峰神經網路（Spiking Neural Network）等。
（2）貝葉斯類（Bayesin）：樸素貝葉斯（Naive Bayes）、高斯貝葉斯（Gaussian Naive Bayes）、多項樸素貝葉斯（Multinomial Naive Bayes）、平均-依賴性評估（Averaged One-Dependence Estimators，AODE）
貝葉斯信念網路（Bayesian Belief Network，BBN）、貝葉斯網路（Bayesian Network，BN）等。
（3）決策樹（Decision Tree）類：分類和回歸樹（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5演算法（C4.5 Algorithm）、C5.0演算法（C5.0 Algorithm）、卡方自動交互檢測（Chi-squared Automatic Interaction Detection，CHAID）、決策殘端（Decision Stump）、ID3演算法（ID3 Algorithm）、隨機森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。
（4）線性分類器（Linear Classifier）類：Fisher的線性判別（Fisher』s Linear Discriminant）
線性回歸（Linear Regression）、邏輯回歸（Logistic Regression）、多項邏輯回歸（Multionmial Logistic Regression）、樸素貝葉斯分類器（Naive Bayes Classifier）、感知（Perception）、支持向量機（Support Vector Machine）等。

常見的無監督學習類演算法包括：
（1） 人工神經網路（Artificial Neural Network）類：生成對抗網路（Generative Adversarial Networks，GAN），前饋神經網路（Feedforward Neural Network）、邏輯學習機（Logic Learning Machine）、自組織映射（Self-organizing Map）等。
（2） 關聯規則學習（Association Rule Learning）類：先驗演算法（Apriori Algorithm）、Eclat演算法（Eclat Algorithm）、FP-Growth演算法等。
（3）分層聚類演算法（Hierarchical Clustering）：單連鎖聚類（Single-linkage Clustering），概念聚類（Conceptual Clustering）等。
（4）聚類分析（Cluster analysis）：BIRCH演算法、DBSCAN演算法，期望最大化（Expectation-maximization，EM）、模糊聚類（Fuzzy Clustering）、K-means演算法、K均值聚類（K-means Clustering）、K-medians聚類、均值漂移演算法（Mean-shift）、OPTICS演算法等。
（5）異常檢測（Anomaly detection）類：K最鄰近（K-nearest Neighbor，KNN）演算法，局部異常因子演算法（Local Outlier Factor，LOF）等。

常見的半監督學習類演算法包含：生成模型（Generative Models）、低密度分離（Low-density Separation）、基於圖形的方法（Graph-based Methods）、聯合訓練（Co-training）等。

常見的強化學習類演算法包含：Q學習（Q-learning）、狀態-行動-獎勵-狀態-行動（State-Action-Reward-State-Action，SARSA）、DQN（Deep Q Network）、策略梯度演算法（Policy Gradients）、基於模型強化學習（Model Based RL）、時序差分學習（Temporal Different Learning）等。

常見的深度學習類演算法包含：深度信念網路（Deep Belief Machines）、深度卷積神經網路（Deep Convolutional Neural Networks）、深度遞歸神經網路（Deep Recurrent Neural Network）、分層時間記憶（Hierarchical Temporal Memory，HTM）、深度波爾茲曼機（Deep Boltzmann Machine，DBM）、棧式自動編碼器（Stacked Autoencoder）、生成對抗網路（Generative Adversarial Networks）等。

二、按照解決任務的不同來分類，粗略可以分為二分類演算法（Two-class Classification）、多分類演算法（Multi-class Classification）、回歸演算法（Regression）、聚類演算法（Clustering）和異常檢測（Anomaly Detection）五種。
1.二分類（Two-class Classification）
（1）二分類支持向量機（Two-class SVM）：適用於數據特徵較多、線性模型的場景。
（2）二分類平均感知器（Two-class Average Perceptron）：適用於訓練時間短、線性模型的場景。
（3）二分類邏輯回歸（Two-class Logistic Regression）：適用於訓練時間短、線性模型的場景。
（4）二分類貝葉斯點機（Two-class Bayes Point Machine）：適用於訓練時間短、線性模型的場景。（5）二分類決策森林（Two-class Decision Forest）：適用於訓練時間短、精準的場景。
（6）二分類提升決策樹（Two-class Boosted Decision Tree）：適用於訓練時間短、精準度高、內存佔用量大的場景
（7）二分類決策叢林（Two-class Decision Jungle）：適用於訓練時間短、精確度高、內存佔用量小的場景。
（8）二分類局部深度支持向量機（Two-class Locally Deep SVM）：適用於數據特徵較多的場景。
（9）二分類神經網路（Two-class Neural Network）：適用於精準度高、訓練時間較長的場景。

解決多分類問題通常適用三種解決方案：第一種，從數據集和適用方法入手，利用二分類器解決多分類問題；第二種，直接使用具備多分類能力的多分類器；第三種，將二分類器改進成為多分類器今兒解決多分類問題。
常用的演算法：
（1）多分類邏輯回歸（Multiclass Logistic Regression）：適用訓練時間短、線性模型的場景。
（2）多分類神經網路（Multiclass Neural Network）：適用於精準度高、訓練時間較長的場景。
（3）多分類決策森林（Multiclass Decision Forest）：適用於精準度高，訓練時間短的場景。
（4）多分類決策叢林（Multiclass Decision Jungle）：適用於精準度高，內存佔用較小的場景。
（5）「一對多」多分類（One-vs-all Multiclass）：取決於二分類器效果。

回歸
回歸問題通常被用來預測具體的數值而非分類。除了返回的結果不同，其他方法與分類問題類似。我們將定量輸出，或者連續變數預測稱為回歸；將定性輸出，或者離散變數預測稱為分類。長巾的演算法有：
（1）排序回歸（Ordinal Regression）：適用於對數據進行分類排序的場景。
（2）泊松回歸（Poission Regression）：適用於預測事件次數的場景。
（3）快速森林分位數回歸（Fast Forest Quantile Regression）：適用於預測分布的場景。
（4）線性回歸（Linear Regression）：適用於訓練時間短、線性模型的場景。
（5）貝葉斯線性回歸（Bayesian Linear Regression）：適用於線性模型，訓練數據量較少的場景。
（6）神經網路回歸（Neural Network Regression）：適用於精準度高、訓練時間較長的場景。
（7）決策森林回歸（Decision Forest Regression）：適用於精準度高、訓練時間短的場景。
（8）提升決策樹回歸（Boosted Decision Tree Regression）：適用於精確度高、訓練時間短、內存佔用較大的場景。

聚類
聚類的目標是發現數據的潛在規律和結構。聚類通常被用做描述和衡量不同數據源間的相似性，並把數據源分類到不同的簇中。
（1）層次聚類（Hierarchical Clustering）：適用於訓練時間短、大數據量的場景。
（2）K-means演算法：適用於精準度高、訓練時間短的場景。
（3）模糊聚類FCM演算法（Fuzzy C-means，FCM）：適用於精確度高、訓練時間短的場景。
（4）SOM神經網路（Self-organizing Feature Map，SOM）：適用於運行時間較長的場景。
異常檢測
異常檢測是指對數據中存在的不正常或非典型的分體進行檢測和標志，有時也稱為偏差檢測。
異常檢測看起來和監督學習問題非常相似，都是分類問題。都是對樣本的標簽進行預測和判斷，但是實際上兩者的區別非常大，因為異常檢測中的正樣本（異常點）非常小。常用的演算法有：
（1）一分類支持向量機（One-class SVM）：適用於數據特徵較多的場景。
（2）基於PCA的異常檢測（PCA-based Anomaly Detection）：適用於訓練時間短的場景。

常見的遷移學習類演算法包含：歸納式遷移學習（Inctive Transfer Learning） 、直推式遷移學習（Transctive Transfer Learning）、無監督式遷移學習（Unsupervised Transfer Learning）、傳遞式遷移學習（Transitive Transfer Learning）等。

演算法的適用場景：
需要考慮的因素有：
（1）數據量的大小、數據質量和數據本身的特點
（2）機器學習要解決的具體業務場景中問題的本質是什麼？
（3）可以接受的計算時間是什麼？
（4）演算法精度要求有多高？
————————————————

原文鏈接： https://blog.csdn.net/nfzhlk/article/details/82725769