python歸一化處理

『壹』 python實現彩色散點圖繪制（利用色帶對散點圖進行顏色渲染）

接受自己的普通，然後全力以赴的出眾，告訴自己要努力，但不要著急....

當然， 這個結果並不是我真正想要的，Pass, 太丑了！

好吧，安排，我們先看下實現後的效果！

這個效果自然就比之前的好多了！

實現python散點圖繪制需要用到matplotlib庫， matplotlib庫是專門用於可視化繪圖的工具庫；學習一個新的庫當然看官方文檔了： https://www.osgeo.cn/matplotlib/contents.html

實現思路：

matplotlib.pyplot.scatter() 函數是專門繪制散點圖的函數： https://www.osgeo.cn/matplotlib/api/_as_gen/matplotlib.pyplot.scatter.html?highlight=scatter#matplotlib.pyplot.scatter

matplotlib.pyplot.scatter ( x, y , s=None , c=None , marker=None , cmap=None , norm=None , vmin=None , vmax=None , alpha=None , linewidths=None , verts=None , edgecolors=None , ***, data=None , ** kwargs ) **

plt.scatter(observation, estimate, c=Z1, cmap=colormap, marker=".", s=marker_size, norm=colors.LogNorm(vmin=Z1.min(), vmax=0.5 * Z1.max()))
其中：
1、c參數為計算的散點密度；
2、cmap為色帶（matplotlib裡面自帶了很多色帶可供選擇）,參見：
https://www.osgeo.cn/matplotlib/gallery/color/colormap_reference.html
3、由於計算的散點密度數值大小分散，因此利用norm參數對散點密度Z1進行歸一化處理(歸一化方式很多，參見colors類)，並給歸一化方式設置色帶刻度的最大最小值vmin和vmax(一般這兩個參數就是指定散點密度的最小值和最大值)，這樣就建立起了密度與色帶的映射關系。
https://matplotlib.org/tutorials/colors/colormapnorms.html

（這里的結果與前面展示的相比改變了計算散點密度的半徑：radius = 3以及繪制散點圖的散點大小marksize）

作者能力水平有限，歡迎各位批評指正！

『貳』 在python上數據歸一化後怎樣還原

看到各位大佬們都會把原始數據進行歸一化，再處理。可是都沒有人講怎樣把歸一化的數據還原回來。
目前可找到的方法就只有matlab上的這個函數：
xtt = mapminmax('reverse',y1,ps)
在python上，就看到許多人推薦用sklearn進行歸一化，但沒有還原的方法呀。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
你要問我為什麼 要還原？
把日期和氣溫的數據放到模型里跑半天，想看看下一天的氣溫，結果出來一個0.837之類東西。

sklearn中transform用來歸一化後，可以用inverse_transform還原。

『叄』 在python上數據歸一化後怎樣還原

歸一化用fit_transform（）
數據還原用inverse_transform（）

『肆』 python數據分析與應用第三章代碼3-5的數據哪來的

savetxt

import numpy as np

i2 = np.eye(2)

np.savetxt("eye.txt", i2)

3.4 讀入CSV文件

# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800

c,v=np.loadtxt('data.csv', delimiter=',', usecols=(6,7), unpack=True) #index從0開始

3.6.1 算術平均值

np.mean(c) = np.average(c)

3.6.2 加權平均值

t = np.arange(len(c))

np.average(c, weights=t)

3.8 極值

np.min(c)

np.max(c)

np.ptp(c) 最大值與最小值的差值

3.10 統計分析

np.median(c) 中位數

np.msort(c) 升序排序

np.var(c) 方差

3.12 分析股票收益率

np.diff(c) 可以返回一個由相鄰數組元素的差

值構成的數組

returns = np.diff( arr ) / arr[ : -1] #diff返回的數組比收盤價數組少一個元素

np.std(c) 標准差

對數收益率

logreturns = np.diff( np.log(c) ) #應檢查輸入數組以確保其不含有零和負數

where 可以根據指定的條件返回所有滿足條件的數

組元素的索引值。

posretindices = np.where(returns > 0)

np.sqrt(1./252.) 平方根，浮點數

3.14 分析日期數據

# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800

dates, close=np.loadtxt('data.csv', delimiter=',', usecols=(1,6), converters={1:datestr2num}, unpack=True)

print "Dates =", dates

def datestr2num(s):

return datetime.datetime.strptime(s, "%d-%m-%Y").date().weekday()

# 星期一 0

# 星期二 1

# 星期三 2

# 星期四 3

# 星期五 4

# 星期六 5

# 星期日 6

#output

Dates = [ 4. 0. 1. 2. 3. 4. 0. 1. 2. 3. 4. 0. 1. 2. 3. 4. 1. 2. 4. 0. 1. 2. 3. 4. 0.

1. 2. 3. 4.]

averages = np.zeros(5)

for i in range(5):

indices = np.where(dates == i)

prices = np.take(close, indices) #按數組的元素運算,產生一個數組作為輸出。

>>>a = [4, 3, 5, 7, 6, 8]

>>>indices = [0, 1, 4]

>>>np.take(a, indices)

array([4, 3, 6])

np.argmax(c) #返回的是數組中最大元素的索引值

np.argmin(c)

3.16 匯總數據

# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800

#得到第一個星期一和最後一個星期五

first_monday = np.ravel(np.where(dates == 0))[0]

last_friday = np.ravel(np.where(dates == 4))[-1]

#創建一個數組，用於存儲三周內每一天的索引值

weeks_indices = np.arange(first_monday, last_friday + 1)

#按照每個子數組5個元素，用split函數切分數組

weeks_indices = np.split(weeks_indices, 5)

#output

[array([1, 2, 3, 4, 5]), array([ 6, 7, 8, 9, 10]), array([11,12, 13, 14, 15])]

weeksummary = np.apply_along_axis(summarize, 1, weeks_indices,open, high, low, close)

def summarize(a, o, h, l, c): #open, high, low, close

monday_open = o[a[0]]

week_high = np.max( np.take(h, a) )

week_low = np.min( np.take(l, a) )

friday_close = c[a[-1]]

return("APPL", monday_open, week_high, week_low, friday_close)

np.savetxt("weeksummary.csv", weeksummary, delimiter=",", fmt="%s") #指定了文件名、需要保存的數組名、分隔符(在這個例子中為英文標點逗號)以及存儲浮點數的格式。

.png

格式字元串以一個百分號開始。接下來是一個可選的標志字元：-表示結果左對齊，0表示左端補0，+表示輸出符號(正號+或負號-)。第三部分為可選的輸出寬度參數，表示輸出的最小位數。第四部分是精度格式符，以」.」開頭，後面跟一個表示精度的整數。最後是一個類型指定字元，在例子中指定為字元串類型。

numpy.apply_along_axis(func1d, axis, arr, *args, **kwargs)

>>>def my_func(a):

... """Average first and last element of a 1-D array"""

... return (a[0] + a[-1]) * 0.5

>>>b = np.array([[1,2,3], [4,5,6], [7,8,9]])

>>>np.apply_along_axis(my_func, 0, b) #沿著X軸運動，取列切片

array([ 4., 5., 6.])

>>>np.apply_along_axis(my_func, 1, b) #沿著y軸運動，取行切片

array([ 2., 5., 8.])

>>>b = np.array([[8,1,7], [4,3,9], [5,2,6]])

>>>np.apply_along_axis(sorted, 1, b)

array([[1, 7, 8],

[3, 4, 9],

[2, 5, 6]])

3.20 計算簡單移動平均線

(1) 使用ones函數創建一個長度為N的元素均初始化為1的數組，然後對整個數組除以N，即可得到權重。如下所示：

N = int(sys.argv[1])

weights = np.ones(N) / N

print "Weights", weights

在N = 5時，輸出結果如下：

Weights [ 0.2 0.2 0.2 0.2 0.2] #權重相等

(2) 使用這些權重值，調用convolve函數：

c = np.loadtxt('data.csv', delimiter=',', usecols=(6,),unpack=True)

sma = np.convolve(weights, c)[N-1:-N+1] #卷積是分析數學中一種重要的運算，定義為一個函數與經過翻轉和平移的另一個函數的乘積的積分。

t = np.arange(N - 1, len(c)) #作圖

plot(t, c[N-1:], lw=1.0)

plot(t, sma, lw=2.0)

show()

3.22 計算指數移動平均線

指數移動平均線(exponential moving average)。指數移動平均線使用的權重是指數衰減的。對歷史上的數據點賦予的權重以指數速度減小，但永遠不會到達0。

x = np.arange(5)

print "Exp", np.exp(x)

#output

Exp [ 1. 2.71828183 7.3890561 20.08553692 54.59815003]

Linspace 返回一個元素值在指定的范圍內均勻分布的數組。

print "Linspace", np.linspace(-1, 0, 5) #起始值、終止值、可選的元素個數

#output

Linspace [-1. -0.75 -0.5 -0.25 0. ]

(1)權重計算

N = int(sys.argv[1])

weights = np.exp(np.linspace(-1. , 0. , N))

(2)權重歸一化處理

weights /= weights.sum()

print "Weights", weights

#output

Weights [ 0.11405072 0.14644403 0.18803785 0.24144538 0.31002201]

(3)計算及作圖

c = np.loadtxt('data.csv', delimiter=',', usecols=(6,),unpack=True)

ema = np.convolve(weights, c)[N-1:-N+1]

t = np.arange(N - 1, len(c))

plot(t, c[N-1:], lw=1.0)

plot(t, ema, lw=2.0)

show()

3.26 用線性模型預測價格

(x, resials, rank, s) = np.linalg.lstsq(A, b) #系數向量x、一個殘差數組、A的秩以及A的奇異值

print x, resials, rank, s

#計算下一個預測值

print np.dot(b, x)

3.28 繪制趨勢線

>>> x = np.arange(6)

>>> x = x.reshape((2, 3))

>>> x

array([[0, 1, 2], [3, 4, 5]])

>>> np.ones_like(x) #用1填充數組

array([[1, 1, 1], [1, 1, 1]])

類似函數

zeros_like

empty_like

zeros

ones

empty

3.30 數組的修剪和壓縮

a = np.arange(5)

print "a =", a

print "Clipped", a.clip(1, 2) #將所有比給定最大值還大的元素全部設為給定的最大值，而所有比給定最小值還小的元素全部設為給定的最小值

#output

a = [0 1 2 3 4]

Clipped [1 1 2 2 2]

a = np.arange(4)

print a

print "Compressed", a.compress(a > 2) #返回一個根據給定條件篩選後的數組

#output

[0 1 2 3]

Compressed [3]

b = np.arange(1, 9)

print "b =", b

print "Factorial", b.prod() #輸出數組元素階乘結果

#output

b = [1 2 3 4 5 6 7 8]

Factorial 40320

print "Factorials", b.cumprod()

#output

『伍』 數據的歸一化處理

是的，把需要處理的數據經過處理後（通過某種演算法）限制在你需要的一定范圍內。首先歸一化是為了後面數據處理的方便，其次是保證程序運行時收斂加快。

歸一化的具體作用是歸納統一樣本的統計分布性。歸一化在0-1之間是統計的概率分布，歸一化在某個區間上是統計的坐標分布。歸一化有同一、統一和合一的意思。

1、（0,1)標准化：

這是最簡單也是最容易想到的方法，通過遍歷feature vector里的每一個數據，將Max和Min的記錄下來，並通過Max-Min作為基數（即Min=0，Max=1）進行數據的歸一化處理：

LaTex：｛x}_{normalization}=frac{x-Min}{Max-Min}

Python實現：

『陸』 [Python] 數組歸一化

將數組歸一化
歸一化：將一組數據變化到某個固定區間中，通常，這個區間是[0,1]，廣義的講，可以是各種區間，比如映射到[0,1]一樣可以繼續映射到其他范圍，圖像中可能會映射到[0,255]，其他情況可能映射到[-1,1]。

『柒』 在python上數據歸一化後怎樣還原

數據歸一化方法有兩種形式，一種是把數變為（0，1）之間的小數，一種是把有量綱表達式變為無量綱表達式。1、把數變為（0，1）之間的小數主要是為了數據處理方便提出來的，把數據映射到0～1范圍之內處理，更加便捷快速，應該歸到數字信號處理范疇之內。2、是把有量綱表達式變為無量綱表達式歸一化是一種簡化計算的方式，即將有量綱的表達式，經過變換，化為無量綱的表達式，成為純量。

『捌』 教你如何用python6個步驟搞定金融數據挖掘預處理

數據預處理沒有標準的流程，通常針對不同的任務和數據集屬性的不同而不同。下面就一起看下常用六大步完成數據預處理。

Step 1：導入相關模塊

Step 2：獲取數據

特徵構造

Step 3：處理缺失值

Step 4：分類數據編碼

創建虛擬變數

Step 5：劃分訓練集和測試集

Step 6：特徵標准化

數據變換十大秘訣

數據變換[1]是將數據集的每個元素乘以常數；也就是說，將每個數變換為，其中,和都是實數。數據變換將可能改變數據的分布以及數據點的位置。

數據標准化[2]（有時稱為 z-score 或 standar score）是已重新縮放為平均值為零且標准偏差為1的變數。對於標准化變數，每種情況下的值在標准化變數上的值都表明它與原始變數的均值（或原始變數的標准偏差）的差值。

歸一化數據 是將數據縮放到0到1范圍內。

Binarizing Data

二值化[3]是將任何實體的數據特徵轉換為二值化的向量以使分類器演算法更高效的過程。在一個簡單的示例中，將圖像的灰度從0-255光譜轉換為0-

1 光譜就是二值化。

Mean Removal

去均值法 是將均值從每一列或特徵中移除，使其以零為中心的過程。

One Hot Encoding

獨熱編碼[4]是將分類變數轉換為可以提供給ML演算法以更好地進行預測的形式的過程。

Label Encoding

標簽編碼 適用於具有分類變數並將數據轉換為數字的數據。

fit

transform

詞向量 用於帶有標簽和數字的數據。此外，詞向量可用於提取數據。

獲取特徵名稱

Polynomial Features

多項式特徵 用於生成多項式特徵和交互特徵。它還生成了一個新的特徵矩陣數據，該數據是由所有次數小於或等於指定次數的特徵的多項式組合組成的。

截距項

填補 (如用均值填補缺失值)，它用列或特性數據中的平均值替換缺失的值

『玖』 Python怎麼對數據框中的兩列進行歸一化

可以使用sklearn庫中的MinMaxScaler函數：
```
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
data[['col1', 'col2']] = scaler.fit_transform(data[['col1', 'col2']])
```

『拾』 python怎麼做均值方差歸一化

可以用線性歸一化,就是找到最大值和最小值。
平均數是表示一組數據集中趨勢的量數，是指在一組數據中所有數據之和再除以這組數據的個數。它是反映數據集中趨勢的一項指標。解答平均數應用題的關鍵在於確定「總數量」以及和總數量對應的總份數。在統計工作中，平均數（均值）和標准差是描述數據資料集中趨勢和離散程度的兩個最重要的測度值。