python快速傅里葉變換數據分析

❶ 可以讓你快速用python進行數據分析的10個小技巧

一些小提示和小技巧可能是非常有用的，特別是在編程領域。有時候使用一點點黑客技術，既可以節省時間，還可能挽救「生命」。

一個小小的快捷方式或附加組件有時真是天賜之物，並且可以成為真正的生產力助推器。所以，這里有一些小提示和小技巧，有些可能是新的，但我相信在下一個數據分析項目中會讓你非常方便。

Pandas中數據框數據的Profiling過程

Profiling（分析器）是一個幫助我們理解數據的過程，而Pandas Profiling是一個Python包，它可以簡單快速地對Pandas 的數據框數據進行 探索 性數據分析。

Pandas中df.describe()和df.info()函數可以實現EDA過程第一步。但是，它們只提供了對數據非常基本的概述，對於大型數據集沒有太大幫助。 而Pandas中的Profiling功能簡單通過一行代碼就能顯示大量信息，且在互動式HTML報告中也是如此。

對於給定的數據集，Pandas中的profiling包計算了以下統計信息：

由Pandas Profiling包計算出的統計信息包括直方圖、眾數、相關系數、分位數、描述統計量、其他信息——類型、單一變數值、缺失值等。

安裝

用pip安裝或者用conda安裝

pip install pandas-profiling

conda install -c anaconda pandas-profiling

用法

下面代碼是用很久以前的泰坦尼克數據集來演示多功能Python分析器的結果。

#importing the necessary packages

import pandas as pd

import pandas_profiling

df = pd.read_csv('titanic/train.csv')

pandas_profiling.ProfileReport(df)

一行代碼就能實現在Jupyter Notebook中顯示完整的數據分析報告，該報告非常詳細，且包含了必要的圖表信息。

還可以使用以下代碼將報告導出到互動式HTML文件中。

profile = pandas_profiling.ProfileReport(df)

profile.to_file(outputfile="Titanic data profiling.html")

Pandas實現互動式作圖

Pandas有一個內置的.plot（）函數作為DataFrame類的一部分。但是，使用此功能呈現的可視化不是互動式的，這使得它沒那麼吸引人。同樣，使用pandas.DataFrame.plot（）函數繪制圖表也不能實現交互。 如果我們需要在不對代碼進行重大修改的情況下用Pandas繪制互動式圖表怎麼辦呢？這個時候就可以用Cufflinks庫來實現。

Cufflinks庫可以將有強大功能的plotly和擁有靈活性的pandas結合在一起，非常便於繪圖。下面就來看在pandas中如何安裝和使用Cufflinks庫。

安裝

pip install plotly

# Plotly is a pre-requisite before installing cufflinks

pip install cufflinks

用法

#importing Pandas

import pandas as pd

#importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline()

cf.set_config_file(offline=False, world_readable=True)

是時候展示泰坦尼克號數據集的魔力了。

df.iplot()

df.iplot() vs df.plot()

右側的可視化顯示了靜態圖表，而左側圖表是互動式的，更詳細，並且所有這些在語法上都沒有任何重大更改。

Magic命令

Magic命令是Jupyter notebook中的一組便捷功能，旨在解決標准數據分析中的一些常見問題。使用命令％lsmagic可以看到所有的可用命令。

所有可用的Magic命令列表

Magic命令有兩種：行magic命令（line magics），以單個％字元為前綴，在單行輸入操作；單元magic命令（cell magics），以雙%%字元為前綴，可以在多行輸入操作。如果設置為1，則不用鍵入%即可調用Magic函數。

接下來看一些在常見數據分析任務中可能用到的命令：

% pastebin

％pastebin將代碼上傳到Pastebin並返回url。Pastebin是一個在線內容託管服務，可以存儲純文本，如源代碼片段，然後通過url可以與其他人共享。事實上，Github gist也類似於pastebin，只是有版本控制。

在file.py文件中寫一個包含以下內容的python腳本，並試著運行看看結果。

#file.py

def foo(x):

return x

在Jupyter Notebook中使用％pastebin生成一個pastebin url。

%matplotlib notebook

函數用於在Jupyter notebook中呈現靜態matplotlib圖。用notebook替換inline，可以輕松獲得可縮放和可調整大小的繪圖。但記得這個函數要在導入matplotlib庫之前調用。

%run

用％run函數在notebook中運行一個python腳本試試。

%run file.py

%%writefile

%% writefile是將單元格內容寫入文件中。以下代碼將腳本寫入名為foo.py的文件並保存在當前目錄中。

%%latex

%%latex函數將單元格內容以LaTeX形式呈現。此函數對於在單元格中編寫數學公式和方程很有用。

查找並解決錯誤

互動式調試器也是一個神奇的功能，我把它單獨定義了一類。如果在運行代碼單元時出現異常，請在新行中鍵入％debug並運行它。 這將打開一個互動式調試環境，它能直接定位到發生異常的位置。還可以檢查程序中分配的變數值，並在此處執行操作。退出調試器單擊q即可。

Printing也有小技巧

如果您想生成美觀的數據結構，pprint是首選。它在列印字典數據或JSON數據時特別有用。接下來看一個使用print和pprint來顯示輸出的示例。

讓你的筆記脫穎而出

我們可以在您的Jupyter notebook中使用警示框/注釋框來突出顯示重要內容或其他需要突出的內容。注釋的顏色取決於指定的警報類型。只需在需要突出顯示的單元格中添加以下任一代碼或所有代碼即可。

藍色警示框：信息提示

<p class="alert alert-block alert-info">

<b>Tip:</b> Use blue boxes (alert-info) for tips and notes.

If it』s a note, you don』t have to include the word 「Note」.

</p>

黃色警示框：警告

<p class="alert alert-block alert-warning">

<b>Example:</b> Yellow Boxes are generally used to include additional examples or mathematical formulas.

</p>

綠色警示框：成功

<p class="alert alert-block alert-success">

Use green box only when necessary like to display links to related content.

</p>

紅色警示框：高危

<p class="alert alert-block alert-danger">

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

</p>

列印單元格所有代碼的輸出結果

假如有一個Jupyter Notebook的單元格，其中包含以下代碼行：

In [1]: 10+5

11+6

Out [1]: 17

單元格的正常屬性是只列印最後一個輸出，而對於其他輸出，我們需要添加print()函數。然而通過在notebook頂部添加以下代碼段可以一次列印所有輸出。

添加代碼後所有的輸出結果就會一個接一個地列印出來。

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

恢復原始設置：

InteractiveShell.ast_node_interactivity = "last_expr"

使用'i'選項運行python腳本

從命令行運行python腳本的典型方法是：python hello.py。但是，如果在運行相同的腳本時添加-i，例如python -i hello.py，就能提供更多優勢。接下來看看結果如何。

首先，即使程序結束，python也不會退出解釋器。因此，我們可以檢查變數的值和程序中定義的函數的正確性。

其次，我們可以輕松地調用python調試器，因為我們仍然在解釋器中：

import pdb

pdb.pm()

這能定位異常發生的位置，然後我們可以處理異常代碼。

自動評論代碼

Ctrl / Cmd + /自動注釋單元格中的選定行，再次命中組合將取消注釋相同的代碼行。

刪除容易恢復難

你有沒有意外刪除過Jupyter notebook中的單元格？如果答案是肯定的，那麼可以掌握這個撤消刪除操作的快捷方式。

如果您刪除了單元格的內容，可以通過按CTRL / CMD + Z輕松恢復它。

如果需要恢復整個已刪除的單元格，請按ESC + Z或EDIT>撤消刪除單元格。

結論

在本文中，我列出了使用Python和Jupyter notebook時收集的一些小提示。我相信它們會對你有用，能讓你有所收獲，從而實現輕松編碼！

❷ Python實現信號的時域與頻域之間的轉換

用FFT（快速傅里葉變換）可以將時域的數字信號轉換為頻域信號，轉換為頻域信號之後就可以分析出信號的頻率成分，最後還可以將處理完畢的頻域信號通過IFFT（逆變換）轉換為時域信號。

這里使用Scipy模塊中的fft實現時域信號的FFT變換，如下：

時域信號：該信號為帶有雜訊的正弦信號經過小波去噪後的圖像

轉換結果：

❸ Python科學計算——復雜信號FFT

FFT (Fast Fourier Transform, 快速傅里葉變換) 是離散傅里葉變換的快速演算法，也是數字信號處理技術中經常會提到的一個概念。用快速傅里葉變換能將時域的數字信號轉換為頻域信號，轉換為頻域信號後我們可以很方便地分析出信號的頻率成分。

當我們把雙頻信號FFT示例中的 fft_size 的值改為 2**12 時，這時，基頻為 16Hz，不能被 1kHz整除，所以 1kHz 處發生了頻譜泄露，而它能被 4kHz 整除，所以 4kHz 可以很好地被采樣。

由於波形的前後不是連續的，出現波形跳變，而跳變處有著非常廣泛的頻譜，因此FFT的結果中出現了頻譜泄漏。

為了減小FFT所截取的數據段前後的跳變，可以對數據先乘以一個窗函數，使得其前後數據能平滑過渡。常用的hanning窗函數的定義如下：

50Hz 正弦波與hann窗函數乘積之後的重復波形如下：

我們對頻譜泄漏示例中的1kHz 和 4kHz 信號進行了 hann 窗函數處理，可以看出能量更加集中在 1kHz 和 4kHz，在一定程度上抑制了頻譜泄漏。

以 1kHz 三角波為例，我們知道三角波信號中含有豐富的頻率信息，它的傅里葉級數展開為：

當數字信號的頻率隨時間變化時，我們稱之為掃頻信號。以頻率隨時間線性變化的掃頻信號為例，其數學形式如下：

其頻率隨時間線性變化，當我們在 [0,1] 的時間窗口對其進行采樣時，其頻率范圍為 0~5kHz。當時間是連續時，掃頻信號的頻率也是連續的。但是在實際的處理中，是離散的點采樣，因此時間是不連續的，這就使掃頻信號的快速傅里葉變換問題退化為多點頻信號快速傅里葉變換問題。其快速傅里葉變換得到的頻譜圖如下所示：

以 50Hz 正弦信號相位調制到 1kHz 的信號為例，其信號形式如下：

它的時域波形，頻率響應和相位響應如下圖所示：

以掃頻信號為例，當我們要探究FFT中的能量守恆時，我們要回歸到信號最初的形式：

❹ 如何用python實現快速傅里葉變換

參考：

%matplotlib inline

import numpy as np

import matplotlib.pyplot as plt

import scipy.fftpack

# Number of samplepoints

N = 600

# sample spacing

T = 1.0 / 800.0

x = np.linspace(0.0, N*T, N)

y = np.sin(50.0 * 2.0*np.pi*x) + 0.5*np.sin(80.0 * 2.0*np.pi*x)

yf = scipy.fftpack.fft(y)

xf = np.linspace(0.0, 1.0/(2.0*T), N/2)

fig, ax = plt.subplots()

ax.plot(xf, 2.0/N * np.abs(yf[:N//2]))

plt.show()

❺ python做數據分析怎麼樣

我使用python這門語言也有三年了，被其簡潔、易讀、強大的庫所折服，我已經深深愛上了python。其pythonic語言特性，對人極其友好，可以說，一個完全不懂編程語言的人，看懂python語言也不是難事。

在數據分析和交互、探索性計算以及數據可視化等方面，相對於R、MATLAB、SAS、Stata等工具，Python都有其優勢。近年來，由於Python庫的不斷發展（如pandas），使其在數據挖掘領域嶄露頭角。結合其在通用編程方面的強大實力，我們完全可以只使用Python這一種語言去構建以數據為中心的應用程序。

由於python是一種解釋性語言，大部分編譯型語言都要比python代碼運行速度快，有些同學就因此鄙視python。但是小編認為，python是一門高級語言，其生產效率更高，程序員的時間通常比CPU的時間值錢，因此為了權衡利弊，考慮用python是值得的。

Python強大的計算能力依賴於其豐富而強大的庫：

• Numpy

Numerical Python的簡稱，是Python科學計算的基礎包。其功能：

1. 快速高效的多維數組對象ndarray。

2. 用於對數組執行元素級計算以及直接對數組執行數學運算的函數。

3. 線性代數運算、傅里葉變換，以及隨機數生成。

4. 用於將C、C++、Fortran代碼集成到Python的工具。

除了為Python提供快速的數組處理能力，NumPy在數據分析方面還有另外一個主要作用，即作為在演算法之間傳遞數據的容器。對於數值型數據，NumPy數組在存儲和處理數據時要比內置的Python數據結構高效得多。此外，由低級語言（比如C和Fortran）編寫的庫可以直接操作NumPy數組中的數據，無需進行任何數據復制工作。

• SciPy

是一組專門解決科學計算中各種標准問題域的包的集合，主要包括下面這些包：

1. scipy.integrate：數值積分常式和微分方程求解器。

2. scipy.linalg：擴展了由numpy.linalg提供的線性代數常式和矩陣分解功能。

3. scipy.optimize：函數優化器（最小化器）以及根查找演算法。

4. scipy.signal：信號處理工具。

5. scipy.sparse：稀疏矩陣和稀疏線性系統求解器。

6. scipy.special：SPECFUN（這是一個實現了許多常用數學函數（如伽瑪函數）的Fortran庫）的包裝器。

7. scipy.stats：標准連續和離散概率分布（如密度函數、采樣器、連續分布函數等）、各種統計檢驗方法，以及更好的描述統計法。

8. scipy.weave：利用內聯C++代碼加速數組計算的工具。

註：NumPy跟SciPy的有機結合完全可以替代MATLAB的計算功能（包括其插件工具箱）。

• SymPy

是python的數學符號計算庫，用它可以進行數學表達式的符號推導和演算。

• pandas

提供了使我們能夠快速便捷地處理結構化數據的大量數據結構和函數。你很快就會發現，它是使Python成為強大而高效的數據分析環境的重要因素之一。

pandas兼具NumPy高性能的數組計算功能以及電子表格和關系型資料庫(如SQL)靈活的數據處理功能。它提供了復雜精細的索引功能，以便更為便捷地完成重塑、切片和切塊、聚合以及選取數據子集等操作。

對於使用R語言進行統計計算的用戶，肯定不會對DataFrame這個名字感到陌生，因為它源自於R的data.frame對象。但是這兩個對象並不相同。R的data.frame對象所提供的功能只是DataFrame對象所提供的功能的一個子集。也就是說pandas的DataFrame功能比R的data.frame功能更強大。

• matplotlib

是最流行的用於繪制數據圖表的Python庫。它最初由John D. Hunter（JDH）創建，目前由一個龐大的開發人員團隊維護。它非常適合創建出版物上用的圖表。它跟IPython（馬上就會講到）結合得很好，因而提供了一種非常好用的互動式數據繪圖環境。繪制的圖表也是互動式的，你可以利用繪圖窗口中的工具欄放大圖表中的某個區域或對整個圖表進行平移瀏覽。

• TVTK

是python數據三維可視化庫，是一套功能十分強大的三維數據可視化庫，它提供了Python風格的API，並支持Trait屬性(由於Python是動態編程語言，其變數沒有類型，這種靈活性有助於快速開發，但是也有缺點。而Trait庫可以為對象的屬性添加檢校功能，從而提高程序的可讀性，降低出錯率。) 和NumPy數組。此庫非常龐大，因此開發公司提供了一個查詢文檔，用戶可以通過下面語句運行它：

>>> from enthought.tvtk.toolsimport tvtk_doc

>>> tvtk_doc.main()

• Scikit-Learn

是基於python的機器學習庫，建立在NumPy、SciPy和matplotlib基礎上，操作簡單、高效的數據挖掘和數據分析。其文檔、實例都比較齊全。

小編建議：初學者使用python(x, y)，其是一個免費的科學和工程開發包，提供數學計算、數據分析和可視化展示。非常方便！

其官網：www.pythonxy.com（由於某種原因，國內上不去，需要翻牆）

下載地址：ftp://ftp.ntua.gr/pub/devel/pythonxy/（小編到網上搜到的一個地址，親測可以用）

下圖展示了python(x, y) 強大功能。

❻ 怎麼用python實現迭代傅里葉變換即GS演算法

import numpy as np

def read_data(filename):
'''讀取文本數據，格式：特徵1 特徵2 …… 類別'''
f=open(filename,'rt')
row_list=f.readlines() #以每行作為列表
f.close()
data_array=[]
labels_vector=[]
while True:
if not row_list:
break
row=row_list.pop(0).strip().split('\t') #去除換行號，分割製表符
temp_data_row=[float(a) for a in row[:-1]] #將字元型轉換為浮點型
data_array.append(temp_data_row) #取特徵值
labels_vector.append(row[-1]) #取最後一個作為類別標簽
return np.array(data_array),np.array(labels_vector)

def classify(test_data,dataset,labels,k):
'''分類'''
diff_dis_array=test_data-dataset #使用numpy的broadcasting
dis_array=(np.add.rece(diff_dis_array**2,axis=-1))**0.5 #求距離
dis_array_index=np.argsort(dis_array) #升序距離的索引
class_count={}
for i in range(k):
temp_label=labels[dis_array_index[i]]
class_count[temp_label]=class_count.get(temp_label,0)+1 #獲取類別及其次數的字典
sorted_class_count=sorted(class_count.items(), key=lambda item:item[1],reverse=True) #字典的值按降序排列
return sorted_class_count[0][0] #返回元組列表的[0][0]