梯度邏輯和線性邏輯薪水演算法

『壹』 數據結構哪些是四種常見的邏輯結構

四種常見的邏輯結構：

1、集合結構

數據結構中的元素之間除了「同屬一個集合」 的相互關系外，別無其他關系；

2、線性結構

數據結構中的元素存在一對一的相互關系

3、樹形結構

數據結構中的元素存在一對多的相互關系

4、圖形結構

數據結構中的元素存在多對多的相互關系

(1)梯度邏輯和線性邏輯薪水演算法擴展閱讀：

數據結構是計算機存儲、組織數據的方式。數據結構是指相互之間存在一種或多種特定關系的數據元素的集合。通常情況下，精心選擇的數據結構可以帶來更高的運行或者存儲效率。數據結構往往同高效的檢索演算法和索引技術有關。

數據的邏輯結構：指反映數據元素之間的邏輯關系的數據結構，其中的邏輯關系是指數據元素之間的前後件關系，而與他們在計算機中的存儲位置無關。

數據的物理結構是數據結構在計算機中的表示（又稱映像），它包括數據元素的機內表示和關系的機內表示。由於具體實現的方法有順序、鏈接、索引、散列等多種，所以，一種數據結構可表示成一種或多種存儲結構。

『貳』 python數據分析與應用第三章代碼3-5的數據哪來的

savetxt

import numpy as np

i2 = np.eye(2)

np.savetxt("eye.txt", i2)

3.4 讀入CSV文件

# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800

c,v=np.loadtxt('data.csv', delimiter=',', usecols=(6,7), unpack=True) #index從0開始

3.6.1 算術平均值

np.mean(c) = np.average(c)

3.6.2 加權平均值

t = np.arange(len(c))

np.average(c, weights=t)

3.8 極值

np.min(c)

np.max(c)

np.ptp(c) 最大值與最小值的差值

3.10 統計分析

np.median(c) 中位數

np.msort(c) 升序排序

np.var(c) 方差

3.12 分析股票收益率

np.diff(c) 可以返回一個由相鄰數組元素的差

值構成的數組

returns = np.diff( arr ) / arr[ : -1] #diff返回的數組比收盤價數組少一個元素

np.std(c) 標准差

對數收益率

logreturns = np.diff( np.log(c) ) #應檢查輸入數組以確保其不含有零和負數

where 可以根據指定的條件返回所有滿足條件的數

組元素的索引值。

posretindices = np.where(returns > 0)

np.sqrt(1./252.) 平方根，浮點數

3.14 分析日期數據

# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800

dates, close=np.loadtxt('data.csv', delimiter=',', usecols=(1,6), converters={1:datestr2num}, unpack=True)

print "Dates =", dates

def datestr2num(s):

return datetime.datetime.strptime(s, "%d-%m-%Y").date().weekday()

# 星期一 0

# 星期二 1

# 星期三 2

# 星期四 3

# 星期五 4

# 星期六 5

# 星期日 6

#output

Dates = [ 4. 0. 1. 2. 3. 4. 0. 1. 2. 3. 4. 0. 1. 2. 3. 4. 1. 2. 4. 0. 1. 2. 3. 4. 0.

1. 2. 3. 4.]

averages = np.zeros(5)

for i in range(5):

indices = np.where(dates == i)

prices = np.take(close, indices) #按數組的元素運算,產生一個數組作為輸出。

>>>a = [4, 3, 5, 7, 6, 8]

>>>indices = [0, 1, 4]

>>>np.take(a, indices)

array([4, 3, 6])

np.argmax(c) #返回的是數組中最大元素的索引值

np.argmin(c)

3.16 匯總數據

# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800

#得到第一個星期一和最後一個星期五

first_monday = np.ravel(np.where(dates == 0))[0]

last_friday = np.ravel(np.where(dates == 4))[-1]

#創建一個數組，用於存儲三周內每一天的索引值

weeks_indices = np.arange(first_monday, last_friday + 1)

#按照每個子數組5個元素，用split函數切分數組

weeks_indices = np.split(weeks_indices, 5)

#output

[array([1, 2, 3, 4, 5]), array([ 6, 7, 8, 9, 10]), array([11,12, 13, 14, 15])]

weeksummary = np.apply_along_axis(summarize, 1, weeks_indices,open, high, low, close)

def summarize(a, o, h, l, c): #open, high, low, close

monday_open = o[a[0]]

week_high = np.max( np.take(h, a) )

week_low = np.min( np.take(l, a) )

friday_close = c[a[-1]]

return("APPL", monday_open, week_high, week_low, friday_close)

np.savetxt("weeksummary.csv", weeksummary, delimiter=",", fmt="%s") #指定了文件名、需要保存的數組名、分隔符(在這個例子中為英文標點逗號)以及存儲浮點數的格式。

.png

格式字元串以一個百分號開始。接下來是一個可選的標志字元：-表示結果左對齊，0表示左端補0，+表示輸出符號(正號+或負號-)。第三部分為可選的輸出寬度參數，表示輸出的最小位數。第四部分是精度格式符，以」.」開頭，後面跟一個表示精度的整數。最後是一個類型指定字元，在例子中指定為字元串類型。

numpy.apply_along_axis(func1d, axis, arr, *args, **kwargs)

>>>def my_func(a):

... """Average first and last element of a 1-D array"""

... return (a[0] + a[-1]) * 0.5

>>>b = np.array([[1,2,3], [4,5,6], [7,8,9]])

>>>np.apply_along_axis(my_func, 0, b) #沿著X軸運動，取列切片

array([ 4., 5., 6.])

>>>np.apply_along_axis(my_func, 1, b) #沿著y軸運動，取行切片

array([ 2., 5., 8.])

>>>b = np.array([[8,1,7], [4,3,9], [5,2,6]])

>>>np.apply_along_axis(sorted, 1, b)

array([[1, 7, 8],

[3, 4, 9],

[2, 5, 6]])

3.20 計算簡單移動平均線

(1) 使用ones函數創建一個長度為N的元素均初始化為1的數組，然後對整個數組除以N，即可得到權重。如下所示：

N = int(sys.argv[1])

weights = np.ones(N) / N

print "Weights", weights

在N = 5時，輸出結果如下：

Weights [ 0.2 0.2 0.2 0.2 0.2] #權重相等

(2) 使用這些權重值，調用convolve函數：

c = np.loadtxt('data.csv', delimiter=',', usecols=(6,),unpack=True)

sma = np.convolve(weights, c)[N-1:-N+1] #卷積是分析數學中一種重要的運算，定義為一個函數與經過翻轉和平移的另一個函數的乘積的積分。

t = np.arange(N - 1, len(c)) #作圖

plot(t, c[N-1:], lw=1.0)

plot(t, sma, lw=2.0)

show()

3.22 計算指數移動平均線

指數移動平均線(exponential moving average)。指數移動平均線使用的權重是指數衰減的。對歷史上的數據點賦予的權重以指數速度減小，但永遠不會到達0。

x = np.arange(5)

print "Exp", np.exp(x)

#output

Exp [ 1. 2.71828183 7.3890561 20.08553692 54.59815003]

Linspace 返回一個元素值在指定的范圍內均勻分布的數組。

print "Linspace", np.linspace(-1, 0, 5) #起始值、終止值、可選的元素個數

#output

Linspace [-1. -0.75 -0.5 -0.25 0. ]

(1)權重計算

N = int(sys.argv[1])

weights = np.exp(np.linspace(-1. , 0. , N))

(2)權重歸一化處理

weights /= weights.sum()

print "Weights", weights

#output

Weights [ 0.11405072 0.14644403 0.18803785 0.24144538 0.31002201]

(3)計算及作圖

c = np.loadtxt('data.csv', delimiter=',', usecols=(6,),unpack=True)

ema = np.convolve(weights, c)[N-1:-N+1]

t = np.arange(N - 1, len(c))

plot(t, c[N-1:], lw=1.0)

plot(t, ema, lw=2.0)

show()

3.26 用線性模型預測價格

(x, resials, rank, s) = np.linalg.lstsq(A, b) #系數向量x、一個殘差數組、A的秩以及A的奇異值

print x, resials, rank, s

#計算下一個預測值

print np.dot(b, x)

3.28 繪制趨勢線

>>> x = np.arange(6)

>>> x = x.reshape((2, 3))

>>> x

array([[0, 1, 2], [3, 4, 5]])

>>> np.ones_like(x) #用1填充數組

array([[1, 1, 1], [1, 1, 1]])

類似函數

zeros_like

empty_like

zeros

ones

empty

3.30 數組的修剪和壓縮

a = np.arange(5)

print "a =", a

print "Clipped", a.clip(1, 2) #將所有比給定最大值還大的元素全部設為給定的最大值，而所有比給定最小值還小的元素全部設為給定的最小值

#output

a = [0 1 2 3 4]

Clipped [1 1 2 2 2]

a = np.arange(4)

print a

print "Compressed", a.compress(a > 2) #返回一個根據給定條件篩選後的數組

#output

[0 1 2 3]

Compressed [3]

b = np.arange(1, 9)

print "b =", b

print "Factorial", b.prod() #輸出數組元素階乘結果

#output

b = [1 2 3 4 5 6 7 8]

Factorial 40320

print "Factorials", b.cumprod()

#output

『叄』 梯度下降演算法有哪些

梯度下降法的介紹如下：

定義

梯度下降法（Gradient descent，簡稱GD）是一階最優化演算法。要使用梯度下降法找到一個函數的局部極小值，必須向函數上當前點對應梯度（或者是近似梯度）的反方向的規定步長距離點進行迭代搜索。

如果相反地向梯度正方向迭代進行搜索，則會接近函數的局部極大值點，這個過程則被稱為梯度上升法。

在當前位置求偏導，即梯度，正常的梯度方向類似於上山的方向，是使值函數增大的，下山最快需使最小，從負梯度求最小值，這就是梯度下降。梯度上升是直接求偏導，梯度下降則是梯度上升的負值。

由於不知道怎麼下山，於是需要走一步算一步，繼續求解當前位置的偏導數。這樣一步步的走下去，當走到了最低點，此時我們能得到一個近似最優解。

『肆』 策略梯度及 PPO 演算法

1. on-policy(同策略)： 要learn的agent和環境互動的agent是同一個時，對應的policy。

2. off-policy(異策略)： 要learn的agent和環境互動的agent不是同一個時，對應的policy。

3. important sampling（重要性采樣）： 使用另外一種數據分布，來逼近所求分布的一種方法，在強化學習中通常和蒙特卡羅方法結合使用。

4. policy（策略）： 每一個actor中會有對應的策略，這個策略決定了actor的行為。具體來說，Policy 就是給一個外界的輸入，然後它會輸出 actor 現在應該要執行的行為。

5. Return（回報）： 一個回合（Episode）或者試驗（Trial）所得到的所有的reward的總和，也被人們稱為Total reward。

6. Reward function： 根據在某一個 state 採取的某一個 action 決定說現在這個行為可以得到多少的分數，它是一個 function。

7. Reinforce： 基於策略梯度的強化學習的經典演算法，其採用回合更新的模式。

『伍』 線性規劃(LP)基本概念和搜索演算法

可以用一個符號描述一系列類似的數量值

一個方程，如果他是關於決策變數的常熟加權求和形式，則該方程式 線性方程(liner) ，佛則該方程為 非線性方程(non-linear)

目標函數 以及約束方程 中均為關於決策變數的線性方程，則該優化模型為 線性規劃(linear program, LP) ，其中目標函數可以為滿足約束的任意整數或者分數

目標函數 以及約束方程 中存在關於決策變數的線性方程，則該優化模型為 非線性規劃(nonlinear program, LP) ，其中目標函數可以為滿足約束的任意整數或者分數

一個優化模型，如果他的決策變數中存在離散變數，則該優化模型位 整數規劃(integer program, IP) ，如果整數規劃的所有決策變數均為離散變數，則該整數規劃為 純整數規劃(pure integer program) ；否則為 混合整數規劃(mixed integer program) 。

搜索演算法(improving search) 通過檢查鄰域來尋找比當前更好地解，若有改進則替換當前解，繼續迭代，直到鄰域中沒有更好的解為止。搜索演算法又稱為 局部改進(local improvement) ， 爬山演算法(hillclimbing) ， 局部搜索(local search) 或 鄰域搜索(neighborhood search)

倘若一組可行解周圍足夠小的的鄰域內沒有優於該解的可行點，則稱為 局部最優解(local optimum) ，最小化(最大化)問題存在 局部最小(最大)解 。

如果在全局范圍內不存在目標值優於某可行解的其他可行點，則稱為 全局最優解(global optimum) ，最小化(最大化)問題存在 全局最小(最大)解

搜索演算法沿 由當前點 向下一個搜索點 移動，其中 是當前點 處的 搜索方向(move direction) ， 是沿該方向前進的 步長 ， 。

對於所有足夠小的 都有 ,則稱 是當前解的一個 改進方向(improving direction) ,如果滿足所有約束條件，則為 可行改進方向 。

如果優化模型的目標函數 是光滑的(所有決策變數都是可微的)，那麼，當 是一個n維向量的函數，當它有一個一階片倒數，這些導數組成的n維向量稱為 梯度

導數(derivative) ，描述函數隨參數的變化率，可以看做斜率。 偏導數(partial derivative) ，是保持其他變數恆定時，關於其中一個變數的導數

對於最大化目標函數 ,若 ，搜索方向 是 處的可改進方向，若 ，搜索方向 不是 處的可改進方向。

對於最小化目標函數 ,若 ，搜索方向 是 處的可改進方向，若 ，搜索方向 不是 處的可改進方向。

當目標函數梯度 ，是最大化目標 的一個改進方向， 是最小化目標函數 的一個改進方向

如果可行域內任意兩點的連線都在可行域內，則稱該可行域為 凸集 。

離散的可行集總是非凸集

若優化模型的可行集是凸集，那麼對任意可行解始終存在指向另一個解的可行方向，意味著，只要存在最優解，可能性不會阻礙局部最優解發展為全局最優解。

線性約束的可行集又稱為多面體集。

如果優化模型的所有約束都是線性的，那麼該模型的可行域是凸集

兩階段法

大M法