醫學影像深度演算法

❶ 智能醫療的前景怎麼樣

最近幾年，人工智慧被炒的這么火，但大家一直都在大談特談無人駕駛、智能家居，卻在這些海市蜃樓中忘記了其實它們短時間內都難以落地，而忽略了在大數據時代就已經落地了的智能醫療。

現在，大數據已經被運用到智慧醫療方面，即讓患者就醫更方便、疾病診斷更加高效，以及醫療信息更加准確。更快速也更精準的在醫療行業進行多點落地。

大數據＋醫療發展現狀

目前國內智能醫療技術相對成熟，已有多家三甲醫院引入「人工智慧輔助診斷系統」，智能系統以機器人醫生的形象呈現在眾人面前，通過固定格式的問題和病人互動，根據症狀描述開具檢查單，檢查結果出來後，系統自動出具診斷結論，一線臨床醫生再對結論予以確認。

據小智君了解，機器人上周已經跟國內200多位醫學專家進行了PK，並取得時效上的明顯優勢。工作人員將100份患者數據輸入給機器人，現場連接天河超級計算機，4.8秒鍾完工。出乎意料的是，機器人的診斷與醫生的原始診斷達到100%吻合。

二、數據是發展的關鍵

數據是「醫療＋人工智慧」行業發展的關鍵。小智君認為，醫療與人工智慧結合的關鍵在於「演算法＋有效數據」。先進的演算法提升數據處理效率與識別准確率，而有效數據是先進演算法應用的基礎。

目前，深度學習等演算法的發展已經相對成熟，醫療數的「量」和「質」是阻礙人工智慧在醫療行業應用發展的主要原因。

三、智能診斷與醫學影像識別較為成熟

智能診斷與醫學影像識別是「人工智慧＋醫療」發展相對成熟的兩個領域。

目前，發展相對成熟的領域包括「智能診斷」和「醫學影像識別」領域，兩個領域的發展將分別提升「門診」和「影像科」醫療資源的供給，解決目前醫療行業嚴峻的供需矛盾。

小智總結

在醫療領域，大數據有著廣泛的應用空間，可以用在包括疾病預防、臨床應用、互聯網醫療等方面。可以說，醫療大數據是未來醫療領域的發展趨勢。目前，在醫療行業應用大數據方面，我國還處於初級階段，政府、醫院及數據挖掘技術人員需要共同努力，才能讓大數據在醫療領域發揮作用。

❷ 人工智慧裡面的深度學習是學習什麼

人工智慧深度學習指的自主學習和演算法能力，主要鍛煉的是機器人的自主學習能力，開始機器行動都是按照人們的指令和已經設置好的程序運動，深度學習後機器會具有自主學習的能力，可以根據周圍環境判斷行動方向和行動方式，更進一步的提高了其自主自動的能力。

❸ 醫療人工智慧的要素是

1.數據

醫療人工智慧系統需要醫療大數據作為基礎，通過機器學習等技術形成一定的智能，用來提供輔助診斷和輔助治療的功能。

醫療大數據主要包括醫學教科書、病歷尤其是針對某類疾病的病歷、數字化醫療影像、學術論文等。

對於醫學影像人工智慧系統來說，則是需要數字化影像數據，包括CT、MRI、超聲、病理等影像數據，作為機器學習的原料。

因為病歷數據、數字化醫療影像數據等屬於醫院的知識財產，所以人工智慧系統的知識產權歸屬原則和管理方法，需要在實踐中不斷探索。

3.人工智慧平台的計算能力

構建一個算力強大的計算平台是人工智慧開發成功的根本要素之一。因為深度學習中需要非常巨大數量的數據輸入給訓練模型，訓練模型則需要進行巨大規模的運算來訓練模型使其具有智能，所以人工智慧平台的計算能力(算力)是其成功的一個關鍵要素。

目前，人工智慧計算平台主要使用GPU晶元，醫學影像人工智慧系統更是依賴於GPU來進行訓練和學習。也有一些AI系統使用CPU、FPGA、高性能處理器(TPU)等晶元。

❹ 自然和醫學圖像的深度語義分割：網路結構

原文鏈接： https://www.yanxishe.com/blogDetail/18223?from=jianshu0312

一、寫在前面：

網路架構的設計主要是基於 CNN 結構延伸出來的。主要的改進方式有兩點：新神經架構的設計（不同深度，寬度，連接性或者拓撲結構）或設計新的組件（或者層）。下面我們逐個去分析了解。

本文涉及到的論文范圍如下圖：

二、網路架構的改進

2.1.1 FCN

傳統的 CNN 分割，為了對一個像素分類，使用該像素周圍的一個圖像塊作為 CNN 的輸入用於訓練和預測。缺點很多：比如存儲開銷大，計算效率低，像素塊大小也限制了感知域的大小。基於存在的這些問題，由 Long 等人在 2015 年提出的 FCN 結構，第一個全卷積神經網路的語義分割模型。我們要了解到的是，FCN 是基於 VGG 和 AlexNet 網路上進行預訓練，然後將最後兩層全連接層改為的卷積層。

FCN 具體處理過程是怎麼樣的？從 pool1 開始，每個 pool 後圖像都會變為上個池化後圖像的 1/2。Pool1 為原圖的 1/2，以此類推，pool5 後為原圖的 1/2^5，conv6，和 conv7 之後的圖像保持不變，進行 stride=32 的反卷積，得到 FCN-32s。也就是直接對 pool5 進行 32 倍上采樣獲得 32 upsampled feature，再對 32 upsampled feature 每個點做 softmax prediction，就可以獲得 32*upsampled prediction（分割圖）。

FCN 這三個創新點有哪些？ 全卷積 ：用於解決逐像素的預測問題。通過將基礎網路最後面幾個全連接層換成卷積層，可實現任意大小的圖像輸入，並且輸入圖像大小與輸入相對應。 反卷積 ：端到端的像素級語義分割需要輸出大小和輸入圖像大小一致。但是傳統的 conv+pooling 結構會縮小圖片尺寸。基於此作者引入反卷積（deconvolution）操作，對縮小後的特徵進行上采樣，恢復原始圖像大小。 跳躍結構 ：語義分割包括語義識別和目標定位。卷積網路的高層特徵圖可以有效的反應語義信息，而低層特徵圖可以有效反應目標的位置信息。語義分割任務同時進行語義識別和目標定位。作者提出的跨層連接結構（skip architecture），將低層的目標位置信息和高層語義信息進行融合，以此來提升語義分割性能。在此基礎上進行 2 倍采樣，2 倍 upsample 之後與 pool4 的像素點相加，進行 stride=16 的 upsample，為此 FCN-16s，重復上面類似的步驟，得到 FCN-8s。

了解到以上信息，應該對 FCN 有個整體的認識了。還有一些細節部分，比如 FCN 採用的簡單的 softmax 分類損失函數，採用雙線性差值 + 反卷積進行上采樣，在微調的時候沒有採用類別平衡策略。分割結果來看，FCN-8s>FCN-16s>FCN-32s。也就是說使用多層特徵融合有利於提高分割准確性。

2.1.2 SegNet

SegNet 主要動機是在場景理解 。它在設計的時候考慮的是預測期間保證內存和計算時間上的效率。其中，SegNet 和 FCN 有很多相似之處，編碼網路使用 VGG16 的前 13 層卷積；移除全連接；解碼器使用從相應的編碼器的 max-pooling indices 進行 upsampling。

對比 SegNet 和 FCN 實現 Decoder 的過程。FCN 是利用雙線性插值初始化的反卷積進行上采樣。而 SegNet 則是在每次 pooling 時，都存下最大值的位置，在 upsample 時將 input 值直接賦給相應的位置，其他位置的值置零。

2.1.3 U-Net

接下來，我們需要了解的是 U-Net。U-net 網路架構，由收縮路徑（contracting path）和擴展路徑（expanding path）組成。每一層使用兩個 3 乘 3 的 conv kernel，每次卷積都進行 Relu 和 stride=2 的 maxpooling 進行下采樣。四次操作後輸出結果稱之為 feature map。

2 乘 2 的反卷積，上采樣，通道數減半，並將左邊對稱位置的 feature map 到右邊進行 concate 操作，來融合下采樣的淺層位置信息和高層語義信息。合並後在進行 3*3 的卷積操作。最後 output 之前，通道數表示分類的類別產生 N 類分割結果，最後選擇出概率值最大的分割結果，作為最後的分割圖。

U-Net 中常常會問為什麼適用於醫學圖像這個問題.。首先分析醫學影像數據特點：圖像語義較為簡單，結構較為固定：都是一個固定的器官的成像。而且器官本身結構固定，語義信息沒有特別豐富，所以高級語義信息和低級特徵都非常重要。（U-net 的 skip connection 可以解決這個問題）；數據量少：醫學影像的數據較難獲取，為了防止過擬合，設計的模型不宜過大；多模態：醫學影像是具有多種模態的；可解釋性：醫生需要進一步指導病灶在哪一層，哪一層的哪個位置，分割結果能求體積么？而且 U-Net 在自然圖像分割也取得了不錯的效果。

需要注意的一點：Unet 融合淺層信息是 maxpooling 之前還是之後的結果？是 maxpooling 之前的結果。因為 Maxpooling 之後會丟失准確的位置信息。

2.1.4 V-Net

V-Net 也就是 3D 的 U-net 的一種版本，3D 卷積，引入殘差模塊和 U-Net 的框架。整個網路分為壓縮路徑和非壓縮路徑，也就是縮小和擴大 feature maps，每個 stage 將特徵縮小一半，也就是 128-128-64-32-16-8，通道上為 1-16-32-64-128-256。每個 stage 加入殘差學習以加速收斂。 圖中的圓圈加交叉代表卷積核為 5 乘 5 乘 5，stride 為 1 的卷積，可知 padding 為 2 乘 2 乘 2 就可以保持特徵大小不變。每個 stage 的末尾使用卷積核為 2 乘 2 乘 2，stride 為 2 的卷積，特徵大小減小一半（把 2x2 max-pooling 替換成了 2x2 conv.）。整個網路都是使用 keiming 等人提出的 PReLU 非線性單元。網路末尾加一個 1 乘 1 乘 1 的卷積，處理成與輸入一樣大小的數據，然後接一個 softmax。

而且 V-Net 採用 Dice coefficient 損失函數，如下：

Pi 為預測的前景，Gi 為標記的前景，使用這個函數能有效避免類別不平衡的問題。

2.1.5 Dense-UNet

Dense U-net（原名：one-hundred layers Tiramisu Network）該架構是由密集連接塊（dense block）構建的。該架構由向下過度的兩個下采樣路徑和向上過度的兩個上采樣路徑組成。且同樣包含兩個水平跳躍連接，下采樣 Dense 模塊的輸出與同水平的上采樣 Dense 模塊輸入的相應特徵圖拼接在一起。上采樣路徑和下采樣路徑的連接模式並不完全相同：下采樣路徑中，每個密集塊外有一條跳躍性連接，從而導致 feature map 數量線性增長，上采樣中沒有此操作。

主要創新點是融合了 Dense-Net 和 U-Net 網路。

2.1.6 DeepLab 系列網路

DeepLabV1：首次把空洞卷積(dilated convolution) 引入圖形分割領域, 融合卷積神經網路和概率圖模型：CNN + CRF，提高了分割定位精度。

DeepLabV2:ASPP (擴張空間金字塔池化)：CNN+CRF。

DeepLabV3：改進 ASPP，多了 1 乘 1 卷積和全局平均池化（global avg pool）;對比了級聯和並聯空洞卷積的效果。

DeepLabV3+：加入編解碼架構思想，添加一個解碼器模塊來擴展 DeepLabv3；將深度可分離卷積應用於 ASPP 和解碼器模塊；將改進的 Xception 作為 Backbone。

2.1.7 PSPNet

PSPNet 全名是 Pyramid Scene Parsing Network(金字塔場景解析網路)。提出了金字塔池化模塊（pyramid pooling mole）能夠聚合不同區域的上下文信息，從而提高獲取全局信息的能力。

輸入圖像後，使用預訓練的帶空洞卷積 ResNet 提取特徵圖。最終的特徵映射大小是輸入圖像的 1/8；在特徵圖上，我們使用 C 中的金字塔池化模塊收集上下文信息。使用 4 層金字塔結構，池化內核覆蓋了圖像的全部、一半和小部分。他們被融合為全局先驗信息；在 c 的最後部分將之前的金字塔特徵映射與原始特徵映射 concate 起來；在進行卷積，生成 d 中的最終預測圖。

總結

基於深度學習的圖像語義分割模型大多遵循編碼器-解碼器體系結構，如 U-Net。近幾年的研究成果表明，膨脹卷積和特徵金字塔池可以改善 U-Net 風格的網路性能。

參考文獻：

Deep Semantic Segmentation of Natural and Medical Images: A Review