python進行圖像採集

A. 如何用 python 實現一個摳圖功能

使用Python和OpenCV進行摳圖
其中使用了opencv中的grabcut方法
直接上代碼
[python] view plain
# encoding:utf-8
# 圖像提取
# create by
import numpy as np
import cv2
from matplotlib import pyplot as plt
img = cv2.imread('1.jpg')
mask = np.zeros(img.shape[:2], np.uint8)
bgdModel = np.zeros((1, 65), np.float64)
fgdModel = np.zeros((1, 65), np.float64)
rect = (20, 20, 413, 591)
cv2.grabCut(img, mask, rect, bgdModel, fgdModel, 10, cv2.GC_INIT_WITH_RECT)mask2 = np.where((mask == 2) | (mask == 0), 0, 1).astype('uint8')img = img * mask2[:, :, np.newaxis]
img += 255 * (1 - cv2.cvtColor(mask2, cv2.COLOR_GRAY2BGR))# plt.imshow(img)
# plt.show()
img = np.array(img)
mean = np.mean(img)
img = img - mean
img = img * 0.9 + mean * 0.9
img /= 255
plt.imshow(img)
plt.show()

B. OpenCV-Python之——圖像SIFT特徵提取

在一定的范圍內，無論物體是大還是小，人眼都可以分辨出來。然而計算機要有相同的能力卻不是那麼的容易，在未知的場景中，計算機視覺並不能提供物體的尺度大小，其中的一種方法是把物體不同尺度下的圖像都提供給機器，讓機器能夠對物體在不同的尺度下有一個統一的認知。在建立統一認知的過程中，要考慮的就是在圖像在不同的尺度下都存在的特徵點。

在早期圖像的多尺度通常使用圖像金字塔表示形式。圖像金字塔是同一圖像在不同的解析度下得到的一組結果其生成過程一般包括兩個步驟：

多解析度的圖像金字塔雖然生成簡單，但其本質是降采樣，圖像的局部特徵則難以保持，也就是無法保持特徵的尺度不變性。

我們還可以通過圖像的模糊程度來模擬人在距離物體由遠到近時物體在視網膜上成像過程，距離物體越近其尺寸越大圖像也越模糊，這就是高斯尺度空間，使用不同的參數模糊圖像（解析度不變），是尺度空間的另一種表現形式。

構建尺度空間的目的是為了檢測出在不同的尺度下都存在的特徵點，而檢測特徵點較好的運算元是Δ^2G(高斯拉普拉斯，LoG)
使用LoG雖然能較好的檢測到圖像中的特徵點，但是其運算量過大，通常可使用DoG（差分高斯，Difference of Gaussina）來近似計算LoG。

從上式可以知道，將相鄰的兩個高斯空間的圖像相減就得到了DoG的響應圖像。為了得到DoG圖像，先要構建高斯尺度空間，而高斯的尺度空間可以在圖像金字塔降采樣的基礎上加上高斯濾波得到，也就是對圖像金字塔的每層圖像使用不同的參數σ進行高斯模糊，使每層金字塔有多張高斯模糊過的圖像。
如下圖，octave間是降采樣關系，且octave(i+1)的第一張（從下往上數）圖像是由octave(i)中德倒數第三張圖像降采樣得到。octave內的圖像大小一樣，只是高斯模糊使用的尺度參數不同。

對於一幅圖像，建立其在不同尺度scale下的圖像，也稱為octave，這是為了scale-invariant，也就是在任何尺度都能有對應的特徵點。下圖中右側的DoG就是我們構建的尺度空間。

為了尋找尺度空間的極值點，每一個采樣點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。如圖所示，中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應的9×2個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。 一個點如果在DOG尺度空間本層以及上下兩層的26個領域中是最大或最小值時，就認為該點是圖像在該尺度下的一個特徵點。下圖中將叉號點要比較的26個點都標為了綠色。

找到所有特徵點後， 要去除低對比度和不穩定的邊緣效應的點 ，留下具有代表性的關鍵點（比如，正方形旋轉後變為菱形，如果用邊緣做識別，4條邊就完全不一樣，就會錯誤；如果用角點識別，則穩定一些）。去除這些點的好處是增強匹配的抗噪能力和穩定性。最後，對離散的點做曲線擬合，得到精確的關鍵點的位置和尺度信息。

近來不斷有人改進，其中最著名的有 SURF（計算量小，運算速度快，提取的特徵點幾乎與SIFT相同）和 CSIFT（彩色尺度特徵不變變換，顧名思義，可以解決基於彩色圖像的SIFT問題）。

其中sift.detectAndCompute()函數返回kp，des。

上圖dog的shape為(481, 500, 3)，提取的特徵向量des的shape為(501, 128)，501個128維的特徵點。

該方法可以在特徵點處繪制一個小圓圈。

https://blog.csdn.net/happyer88/article/details/45817305
https://www.jianshu.com/p/d94e558ebe26
https://www.cnblogs.com/wangguchangqing/p/4853263.html

C. OpenCV-Python系列八：提取圖像輪廓

當你完成圖像分割之後，圖像輪廓檢測往往可以進一步篩選你要的目標，OpenCV中可以使用cv2.findContours來得到輪廓。

補充 ：
再不少場景中，找輪廓的最小外接矩形是基本需求，opencv中minAreaRect得到的是一個帶有旋轉角度信息的rect，可以使用cv2.boxPoints(rect)來將其轉為矩形的四個頂點坐標(浮點類型).你也可以使用cv2.polylines來繪制這樣的輪廓信息

注意findContours參數的變化，在opencv4中，返回值只有contours和hierarchy ，這一點與opencv3中不同。對與輪廓的層級結構，比較難用，雖然可以通過輪廓的層級結構來進行索引你需要的輪廓，不過對於大部分機器視覺應用場景，二值化的結果有時候很難預料，單單通過這種層級關系索引，非常容易出錯。所以，只找最外部結構的 cv2.RETR_EXTERNAL 是不是真香呢？

處理cv2.approxPolyDP()外，你也可以使用cv2.convexHull來求輪廓的近似凸包，其中凸形狀內部--任意兩點連線都在該形狀內部。

clockwise :默認為False,即輪廓為逆時針方向進行排列；
returnPoints :設置為False會返回與凸包上對應的輪廓的點索引值，設置為True，則會返回凸包上的點坐標集，默認為True

對於opencv-python的提取圖像輪廓部分有問題歡迎留言， Have Fun With OpenCV-Python, 下期見。

D. python圖像處理初學者求助

Pillow是Python里的圖像處理庫（PIL：Python Image Library），提供了了廣泛的文件格式支持，強大的圖像處理能力，主要包括圖像儲存、圖像顯示、格式轉換以及基本的圖像處理操作等。
1）使用 Image 類
PIL最重要的類是 Image class, 你可以通過多種方法創建這個類的實例；你可以從文件載入圖像，或者處理其他圖像, 或者從 scratch 創建。
要從文件載入圖像，可以使用open( )函數，在Image模塊中：

1
2

>>> from PIL import Image
>>> im = Image.open("E:/photoshop/1.jpg")

載入成功後，將返回一個Image對象，可以通過使用示例屬性查看文件內容：

1
2
3

>>> print(im.format, im.size, im.mode)
('JPEG', (600, 351), 'RGB')
>>>

format 這個屬性標識了圖像來源。如果圖像不是從文件讀取它的值就是None。size屬性是一個二元tuple，包含width和height（寬度和高度，單位都是px）。 mode 屬性定義了圖像bands的數量和名稱，以及像素類型和深度。常見的modes 有 「L」 (luminance) 表示灰度圖像, 「RGB」 表示真彩色圖像, and 「CMYK」 表示出版圖像。
如果文件打開錯誤，返回 IOError 錯誤。
只要你有了 Image 類的實例，你就可以通過類的方法處理圖像。比如，下列方法可以顯示圖像：

1

im.show()

2）讀寫圖像
PIL 模塊支持大量圖片格式。使用在 Image 模塊的 open() 函數從磁碟讀取文件。你不需要知道文件格式就能打開它，這個庫能夠根據文件內容自動確定文件格式。要保存文件，使用 Image 類的 save() 方法。保存文件的時候文件名變得重要了。除非你指定格式，否則這個庫將會以文件名的擴展名作為格式保存。
載入文件，並轉化為png格式：

1
2
3
4
5
6
7
8
9
10
11
12
13

"Python Image Library Test"
from PIL import Image
import os
import sys

for infile in sys.argv[1:]:
f,e = os.path.splitext(infile)
outfile = f +".png"
if infile != outfile:
try:
Image.open(infile).save(outfile)
except IOError:
print("Cannot convert", infile)

save() 方法的第二個參數可以指定文件格式。
3）創建縮略圖
縮略圖是網路開發或圖像軟體預覽常用的一種基本技術，使用Python的Pillow圖像庫可以很方便的建立縮略圖，如下：

1
2
3
4
5
6
7

# create thumbnail
size = (128,128)
for infile in glob.glob("E:/photoshop/*.jpg"):
f, ext = os.path.splitext(infile)
img = Image.open(infile)
img.thumbnail(size,Image.ANTIALIAS)
img.save(f+".thumbnail","JPEG")

上段代碼對photoshop下的jpg圖像文件全部創建縮略圖，並保存，glob模塊是一種智能化的文件名匹配技術，在批圖像處理中經常會用到。
注意：Pillow庫不會直接解碼或者載入圖像柵格數據。當你打開一個文件，只會讀取文件頭信息用來確定格式，顏色模式，大小等等，文件的剩餘部分不會主動處理。這意味著打開一個圖像文件的操作十分快速，跟圖片大小和壓縮方式無關。
4）圖像的剪切、粘貼與合並操作
Image 類包含的方法允許你操作圖像部分選區，PIL.Image.Image.crop 方法獲取圖像的一個子矩形選區，如：

1
2
3
4

# crop, paste and merge
im = Image.open("E:/photoshop/lena.jpg")
box = (100,100,300,300)
region = im.crop(box)

矩形選區有一個4元元組定義，分別表示左、上、右、下的坐標。這個庫以左上角為坐標原點，單位是px，所以上訴代碼復制了一個 200×200 pixels 的矩形選區。這個選區現在可以被處理並且粘貼到原圖。

1
2

region = region.transpose(Image.ROTATE_180)
im.paste(region, box)

當你粘貼矩形選區的時候必須保證尺寸一致。此外，矩形選區不能在圖像外。然而你不必保證矩形選區和原圖的顏色模式一致，因為矩形選區會被自動轉換顏色。
5）分離和合並顏色通道
對於多通道圖像，有時候在處理時希望能夠分別對每個通道處理，處理完成後重新合成多通道，在Pillow中，很簡單，如下：

1
2

r,g,b = im.split()
im = Image.merge("RGB", (r,g,b))

對於split（ ）函數，如果是單通道的，則返回其本身，否則，返回各個通道。
6）幾何變換
對圖像進行幾何變換是一種基本處理，在Pillow中包括resize( )和rotate( )，如用法如下：

1
2

out = im.resize((128,128))
out = im.rotate(45) # degree conter-clockwise

其中，resize( )函數的參數是一個新圖像大小的元祖，而rotate( )則需要輸入順時針的旋轉角度。在Pillow中，對於一些常見的旋轉作了專門的定義：

1
2
3
4
5

out = im.transpose(Image.FLIP_LEFT_RIGHT)
out = im.transpose(Image.FLIP_TOP_BOTTOM)
out = im.transpose(Image.ROTATE_90)
out = im.transpose(Image.ROTATE_180)
out = im.transpose(Image.ROTATE_270)

7）顏色空間變換
在處理圖像時，根據需要進行顏色空間的轉換，如將彩色轉換為灰度：

1
2

cmyk = im.convert("CMYK")
gray = im.convert("L")

8）圖像濾波

E. 怎麼用python進行簡單的圖像處理

所謂簡單的圖像處理，就是對像素數據進行點處理。
下面是具體步驟。
讀取圖片：
# -*- coding: utf-8 -*-
import cv2
import numpy as np
img = cv2.imread("C:/Users/Administrator/Desktop/ball.png")
cv2.imshow("a",img)
cv2.waitKey(0)
cv2.imshow("a",img)
打開一個圖片窗口。
python讀取圖片，實際上是讀取了離散的圖片數據：
print(img)
運行，就會給出圖片數據。
顯示反色圖片，只要進行簡單的計算：
255-img
這是2*img的效果。
分離通道，圖片的第一個通道是：
img[:,:,0]
成圖是灰度圖。
第二個通道的灰度圖：
img[:,:,1]
第三個通道的灰度圖：
img[:,:,2]

F. 如何用labview或者python+opencv進行多攝像頭同步採集

用多線程，配合pyqt5,cv2,可以做到4個usb攝像頭同時採集

G. python處理圖片數據

目錄

1.機器是如何存儲圖像的？

2.在Python中讀取圖像數據

3.從圖像數據中提取特徵的方法#1：灰度像素值特徵

4.從圖像數據中提取特徵的方法#2：通道的平均像素值

5.從圖像數據中提取特徵的方法#3：提取邊緣
是一張數字8的圖像，仔細觀察就會發現，圖像是由小方格組成的。這些小方格被稱為像素。

但是要注意，人們是以視覺的形式觀察圖像的，可以輕松區分邊緣和顏色，從而識別圖片中的內容。然而機器很難做到這一點，它們以數字的形式存儲圖像。請看下圖：

機器以數字矩陣的形式儲存圖像，矩陣大小取決於任意給定圖像的像素數。

假設圖像的尺寸為180 x 200或n x m，這些尺寸基本上是圖像中的像素數（高x寬）。

這些數字或像素值表示像素的強度或亮度，較小的數字（接近0）表示黑色，較大的數字（接近255）表示白色。通過分析下面的圖像，讀者就會弄懂到目前為止所學到的知識。

下圖的尺寸為22 x 16，讀者可以通過計算像素數來驗證：

圖片源於機器學習應用課程

剛才討論的例子是黑白圖像，如果是生活中更為普遍的彩色呢？你是否認為彩色圖像也以2D矩陣的形式存儲？

彩色圖像通常由多種顏色組成，幾乎所有顏色都可以從三原色（紅色，綠色和藍色）生成。

因此，如果是彩色圖像，則要用到三個矩陣（或通道）——紅、綠、藍。每個矩陣值介於0到255之間，表示該像素的顏色強度。觀察下圖來理解這個概念：

圖片源於機器學習應用課程

左邊有一幅彩色圖像（人類可以看到），而在右邊，紅綠藍三個顏色通道對應三個矩陣，疊加三個通道以形成彩色圖像。

請注意，由於原始矩陣非常大且可視化難度較高，因此這些不是給定圖像的原始像素值。此外，還可以用各種其他的格式來存儲圖像，RGB是最受歡迎的，所以筆者放到這里。讀者可以在此處閱讀更多關於其他流行格式的信息。

用Python讀取圖像數據

下面開始將理論知識付諸實踐。啟動Python並載入圖像以觀察矩陣：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
from skimage.io import imread, imshow
image = imread('image_8_original.png', as_gray=True)
imshow(image)

#checking image shape
image.shape, image

（28，28）

矩陣有784個值，而且這只是整個矩陣的一小部分。用一個LIVE編碼窗口，不用離開本文就可以運行上述所有代碼並查看結果。

下面來深入探討本文背後的核心思想，並探索使用像素值作為特徵的各種方法。

方法#1：灰度像素值特徵

從圖像創建特徵最簡單的方法就是將原始的像素用作單獨的特徵。

考慮相同的示例，就是上面那張圖（數字『8』），圖像尺寸為28×28。

能猜出這張圖片的特徵數量嗎？答案是與像素數相同！也就是有784個。

那麼問題來了，如何安排這784個像素作為特徵呢？這樣，可以簡單地依次追加每個像素值從而生成特徵向量。如下圖所示：

下面來用Python繪制圖像，並為該圖像創建這些特徵：

image = imread('puppy.jpeg', as_gray=True)

image.shape, imshow(image)

（650，450）

該圖像尺寸為650×450，因此特徵數量應為297,000。可以使用NumPy中的reshape函數生成，在其中指定圖像尺寸：

#pixel features

features = np.reshape(image, (660*450))

features.shape, features

(297000,)
array([0.96470588, 0.96470588, 0.96470588, ..., 0.96862745, 0.96470588,
0.96470588])

這里就得到了特徵——長度為297,000的一維數組。很簡單吧？在實時編碼窗口中嘗試使用此方法提取特徵。

但結果只有一個通道或灰度圖像，對於彩色圖像是否也可以這樣呢？來看看吧！

方法#2：通道的平均像素值

在讀取上一節中的圖像時，設置了參數『as_gray = True』，因此在圖像中只有一個通道，可以輕松附加像素值。下面刪除參數並再次載入圖像：

image = imread('puppy.jpeg')
image.shape

(660, 450, 3)

這次，圖像尺寸為（660，450，3），其中3為通道數量。可以像之前一樣繼續創建特徵，此時特徵數量將是660*450*3 = 891,000。

或者，可以使用另一種方法：

生成一個新矩陣，這個矩陣具有來自三個通道的像素平均值，而不是分別使用三個通道中的像素值。

下圖可以讓讀者更清楚地了解這一思路：

這樣一來，特徵數量保持不變，並且還能考慮來自圖像全部三個通道的像素值。

image = imread('puppy.jpeg')
feature_matrix = np.zeros((660,450))
feature_matrix.shape

(660, 450)

現有一個尺寸為（660×450×3）的三維矩陣，其中660為高度，450為寬度，3是通道數。為獲取平均像素值，要使用for循環：

for i in range(0,iimage.shape[0]):
for j in range(0,image.shape[1]):
feature_matrix[i][j] = ((int(image[i,j,0]) + int(image[i,j,1]) + int(image[i,j,2]))/3)

新矩陣具有相同的高度和寬度，但只有一個通道。現在，可以按照與上一節相同的步驟進行操作。依次附加像素值以獲得一維數組：

features = np.reshape(feature_matrix, (660*450))
features.shape

(297000,)

方法#3：提取邊緣特徵

請思考，在下圖中，如何識別其中存在的對象：

識別出圖中的對象很容易——狗、汽車、還有貓，那麼在區分的時候要考慮哪些特徵呢？形狀是一個重要因素，其次是顏色，或者大小。如果機器也能像這樣識別形狀會怎麼樣？

類似的想法是提取邊緣作為特徵並將其作為模型的輸入。稍微考慮一下，要如何識別圖像中的邊緣呢？邊緣一般都是顏色急劇變化的地方，請看下圖：

筆者在這里突出了兩個邊緣。這兩處邊緣之所以可以被識別是因為在圖中，可以分別看到顏色從白色變為棕色，或者由棕色變為黑色。如你所知，圖像以數字的形式表示，因此就要尋找哪些像素值發生了劇烈變化。

假設圖像矩陣如下：

圖片源於機器學習應用課程

該像素兩側的像素值差異很大，於是可以得出結論，該像素處存在顯著的轉變，因此其為邊緣。現在問題又來了，是否一定要手動執行此步驟？

當然不！有各種可用於突出顯示圖像邊緣的內核，剛才討論的方法也可以使用Prewitt內核（在x方向上）來實現。以下是Prewitt內核：

獲取所選像素周圍的值，並將其與所選內核（Prewitt內核）相乘，然後可以添加結果值以獲得最終值。由於±1已經分別存在於兩列之中，因此添加這些值就相當於獲取差異。

還有其他各種內核，下面是四種最常用的內核：

圖片源於機器學習應用課程

現在回到筆記本，為同一圖像生成邊緣特徵：

#importing the required libraries
import numpy as np
from skimage.io import imread, imshow
from skimage.filters import prewitt_h,prewitt_v
import matplotlib.pyplot as plt
%matplotlib inline

#reading the image
image = imread('puppy.jpeg',as_gray=True)

#calculating horizontal edges using prewitt kernel
edges_prewitt_horizontal = prewitt_h(image)
#calculating vertical edges using prewitt kernel
edges_prewitt_vertical = prewitt_v(image)

imshow(edges_prewitt_vertical, cmap='gray')