pythonsnspairplot

Ⅰ 如何用python和機器學習炒股賺錢

相信很多人都想過讓人工智慧來幫你賺錢，但到底該如何做呢？瑞士日內瓦的一位金融數據顧問 Gaëtan Rickter 近日發表文章介紹了他利用 Python 和機器學習來幫助炒股的經驗，其最終成果的收益率跑贏了長期處於牛市的標准普爾 500 指數。雖然這篇文章並沒有將他的方法完全徹底公開，但已公開的內容或許能給我們帶來如何用人工智慧炒股的啟迪。

我終於跑贏了標准普爾 500 指數 10 個百分點！聽起來可能不是很多，但是當我們處理的是大量流動性很高的資本時，對沖基金的利潤就相當可觀。更激進的做法還能得到更高的回報。

這一切都始於我閱讀了 Gur Huberman 的一篇題為《Contagious Speculation and a Cure for Cancer: A Non-Event that Made Stock Prices Soar》的論文。該研究描述了一件發生在 1998 年的涉及到一家上市公司 EntreMed（當時股票代碼是 ENMD）的事件：

「星期天《紐約時報》上發表的一篇關於癌症治療新葯開發潛力的文章導致 EntreMed 的股價從周五收盤時的 12.063 飆升至 85，在周一收盤時接近 52。在接下來的三周，它的收盤價都在 30 以上。這股投資熱情也讓其它生物科技股得到了溢價。但是，這個癌症研究方面的可能突破在至少五個月前就已經被 Nature 期刊和各種流行的報紙報道過了，其中甚至包括《泰晤士報》！因此，僅僅是熱情的公眾關注就能引發股價的持續上漲，即便實際上並沒有出現真正的新信息。」

在研究者給出的許多有見地的觀察中，其中有一個總結很突出：

「（股價）運動可能會集中於有一些共同之處的股票上，但這些共同之處不一定要是經濟基礎。」

我就想，能不能基於通常所用的指標之外的其它指標來劃分股票。我開始在資料庫裡面挖掘，幾周之後我發現了一個，其包含了一個分數，描述了股票和元素周期表中的元素之間的「已知和隱藏關系」的強度。

我有計算基因組學的背景，這讓我想起了基因和它們的細胞信號網路之間的關系是如何地不為人所知。但是，當我們分析數據時，我們又會開始看到我們之前可能無法預測的新關系和相關性。

如果你使用機器學習，就可能在具有已知和隱藏關系的上市公司的寄生、共生和共情關系之上搶佔先機，這是很有趣而且可以盈利的。最後，一個人的盈利能力似乎完全關乎他在生成這些類別的數據時想出特徵標簽（即概念（concept））的強大組合的能力。

我在這類模型上的下一次迭代應該會包含一個用於自動生成特徵組合或獨特列表的單獨演算法。也許會基於近乎實時的事件，這可能會影響那些具有隻有配備了無監督學習演算法的人類才能預測的隱藏關系的股票組。

Ⅱ 在python中快速瀏覽數據集應該調用那個函數

python sns繪制回歸線_python快速瀏覽整體數襪耐粗據集分布

快速瀏覽數據集,觀察數據分布。便於合理的解釋統計分析的結果。還可能為做亞組分析提供思路。

快速瀏覽數據集可以使用pairplot()。默認情況下，此函數使用散點圖和直方圖，還可以在非對角線上繪制回歸圖，在對角線上繪制核密度估計圖。

.png

這是在rrt分組下不同數據相互關系的分布情況，圖太大，不能完全畝兄展示。

.png

這是整體數據的核密度分布，只是展示了部分結果。

其他幾種方法來可視化數據的單變數或雙變數分布。

sns.displot(data, x="age", hue="rrt", multiple="stack")

.png

堆砌條形圖

.png

密度圖

.png

分布概率圖

每種方法都有相對的優勢和劣勢，數據量較大時，可以從不同角度直觀觀察數據的分布情況，可能會發現異常值。並能夠對統計分析的結果可以更合告鎮理的解釋，或者為做亞組分析提供思

Ⅲ python繪圖中有哪四個繪圖技巧

pre{overflow-x: auto}

技巧1: plt.subplots()

技巧2: plt.subplot()

技巧3: plt.tight_layout()

技巧4: plt.suptitle()

數據集：

讓我們導入包並更新圖表的默認設置，為圖表添加一點個罩斗鏈人風格。 我們將在提示上使用 Seaborn 的內置數據集：

import seaborn as sns # v0.11.2   import matplotlib.pyplot as plt # v3.4.2   sns.set(style='darkgrid', context='talk', palette='rainbow')df = sns.load\_dataset('tips')   df.head()

技巧1: plt.subplots()

繪制多個子圖的一種簡單方法是使用 plt.subplots() 。

這是繪制 2 個並排子圖的示例語法：

fig, ax = plt.subplots(nrows=1, ncols=2, figsize=(10,4))   sns.histplot(data=df, x='tip', ax=ax[0])   sns.boxplot(data=df, x='tip', ax=ax[1]);

在這里，我們銷中在一個圖中繪制了兩個子圖。 我們可以進一步自定義每個子圖。

  例如，我們可以像這樣為每個子圖添加標題：

fig, ax = plt.subplots(1, 2, figsize=(10,4))   sns.histplot(data=df, x='tip', ax=ax[0])   ax[0].set\_title("Histogram")   sns.boxplot(data=df, x='tip', ax=ax[1])   ax[1].set\_title("Boxplot");

在循環中將所有數值變數用同一組圖表示：

numerical = df.select\_dtypes('number').columnsfor col in numerical:    fig, ax = plt.subplots(1, 2, figsize=(10,4))    sns.histplot(data=df, x=col, ax=ax[0])    sns.boxplot(data=df, x=col, ax=ax[1]); 技巧2: plt.subplot()

另一種可視化多個圖形的方法是使用 plt.subplot()， 末尾沒有 s

  語法與之前略有不同：

plt.figure(figsize=(10,4))   ax1 物孫= plt.subplot(1,2,1)   sns.histplot(data=df, x='tip', ax=ax1)   ax2 = plt.subplot(1,2,2)   sns.boxplot(data=df, x='tip', ax=ax2);

當我們想為多個圖繪制相同類型的圖形並在單個圖中查看所有圖形，該方法特別有用：

plt.figure(figsize=(14,4))   for i, col in enumerate(numerical):    ax = plt.subplot(1, len(numerical), i+1)    sns.boxplot(data=df, x=col, ax=ax)

我們同樣能定製子圖形。例如加個 title

plt.figure(figsize=(14,4))   for i, col in enumerate(numerical):    ax = plt.subplot(1, len(numerical), i+1)    sns.boxplot(data=df, x=col, ax=ax)     ax.set\_title(f"Boxplot of {col}")

通過下面的比較，我們能更好的理解它們的相似處與不同處熟悉這兩種方法很有用，因為它們可以在不同情況下派上用場。

技巧3: plt.tight_layout()

在繪制多個圖形時，經常會看到一些子圖的標簽在它們的相鄰子圖上重疊，

如下所示：

categorical = df.select\_dtypes('category').columnsplt.figure(figsize=(8, 8))   for i, col in enumerate(categorical):    ax = plt.subplot(2, 2, i+1)    sns.countplot(data=df, x=col, ax=ax)

頂部兩個圖表的 x 軸上的變數名稱被剪掉，右側圖的 y 軸標簽與左側子圖重疊.使用 plt.tight_layout 很方便

plt.figure(figsize=(8, 8))   for i, col in enumerate(categorical):    ax = plt.subplot(2, 2, i+1)    sns.countplot(data=df, x=col, ax=ax)    plt.tight\_layout()

專業 看起來更好了。

技巧4: plt.suptitle()

真個圖形添加標題：

plt.figure(figsize=(8, 8))   for i, col in enumerate(categorical):    ax = plt.subplot(2, 2, i+1)    sns.countplot(data=df, x=col, ax=ax)    plt.suptitle('Category counts for all categorical variables')   plt.tight\_layout()

此外，您可以根據自己的喜好自定義各個圖。 例如，您仍然可以為每個子圖添加標題。

到此這篇關於python繪圖 四個繪圖技巧的文章就介紹到這了，希望大家以後多多支持！

Ⅳ 相關性分析 相關系數多少有意義

在數據分析的問題中, 經常會遇見的一種問題就是 相關的問題。

比如：抖音短視頻的產品經理經常要來問留存（是否留下來）和觀看時長, 收藏的次數, 轉發的次數, 關注的抖音博主數等等是否有相關性, 相關性有多大。

因為 只有知道了哪些因素和留存比較相關, 才知道怎麼去優化從產品的方向去提升留存率 。

比如：如果留存和收藏的相關性比較大 那麼我們就要引導用戶去收藏視頻, 從而提升相關的指標,

除了留存的相關性計算的問題, 還有類似的需要去計算相關性的問題。

比如淘寶的用戶，他們的付費行為和哪些行為相關, 相關性有多大, 這樣我們就可以挖掘出用戶付費的關鍵行為。

這種問題就是相關性量化, 我們要找到一種科學的方法去計算這些因素和留存的相關性的大小。

這種方法就是相關性分析。

01

什麼是相關性分析

相關性分析是指對兩個或多個具備相關性的變數元素進行分析，從而衡量兩個變數因素的相關密切程度。相關性的元素之間需要存在一定的聯系或者概率才可以進行相關性分析(官方定義)

簡單來說， 相關性的方法主要用來分析兩個東西他們之間的相關性大小。

相關性大小用相關系數r來描述，關於r的解讀：(從知乎摘錄)

（1） 正相關： 如果x,y變化的方向一致，如身高與體重的關系，r>0；一般：

|r|>0.95 存在顯著性相關；

|r|≥0.8 高度相關；

0.5≤|r|<0.8 中度相關；

0.3≤|r|<0.5 低度相關；

|r|<0.3 關系極弱，認為不相關

（2） 負相關 ：如果x,y變化的方向相反，如吸煙與肺功能的關系，r<0；

（3） 無線性相關： r=0, 這里注意, r=0 不代表他們之間沒有關系, 可能只是不存在線性關系。頃蘆

下面用幾個圖來描述一下，不同的相關性的情況：

第一張圖r=-0.92 <0 是說明橫軸和縱軸的數據呈現負相關，意思就是隨著橫軸的數據值越來越大縱軸的數據的值呈現下降的趨勢, 從r的絕對值為0.92>0.8 來看, 說明兩組數據的相關性高度相關。

同樣的, 第二張圖 r=0.88 >0 說明縱軸和橫軸的數據呈現正向的關系, 隨著橫軸數據的值銷乎罩越來越大, 縱軸的值也隨之變大, 並且兩組數據也是呈現高度相關。

02

如何實現相關性分析

前面已經講了什麼是相關性分析方法, 那麼我們怎麼去實現這種分析方法呢 ， 以下先用python 實現 ：

1. 首先是導入數據集, 這里以tips 為例

import numpy asnpimport pandas aspdimport matplotlib.pyplot aspltimport seaborn assns%matplotlib inline## 定義主題風格sns. set(style= "darkgrid")## 載入tipstips = sns.load_dataset( "tips")

2. 查看導入的數據集情況

欄位分別代表：

total_bill: 總賬單數

tip: 消費數目

sex: 性別

smoker: 是否是吸煙的群眾

day: 天氣

time: 晚餐 dinner, 午餐lunch

size: 顧客數

tips.head # 查看數據的前幾行

3. 最簡單的相關性計算

tips.corr

4. 任意看兩個數據之間相關性可視化，比如看 total_bill 和 tip 之間的相關性，就可以如下操作進行可視化

從散點圖可以看出賬單的 數目和消費的數目基本是呈正相關 , 賬單的總的數目越高, 給得消費也會越多。

5. 如果要看全部任意兩兩數據的相關性的虧鬧可視化：

sns.pairplot(tips)

6. 如果要分不同的人群, 吸煙和非吸煙看總的賬單數目total_bill和小費tip 的關系。

sns.relplot(x= "total_bill", y= "tip", hue= "smoker", data=tips)# 利用 hue進行區分 plt.show

7. 區分抽煙和非抽煙群體看所有數據之間的相關性，我們可以看到：

對於男性和女性群體, 在小費和總賬單金額的關繫上, 可以同樣都是賬單金額越高的時候, 小費越高的例子上, 男性要比女性給得小費更大方。

在顧客數量和小費的數目關繫上, 我們可以發現, 同樣的顧客數量, 男性要比女性給得小費更多。

在顧客數量和總賬單數目關繫上, 也是同樣的顧客數量, 男性要比女性消費更多。

sns.pairplot(tips ,hue = 'sex')

03

實戰案例

問題:

影響B 站留存的相關的關鍵行為有哪些?

這些行為和留存哪一個相關性是最大的?

分析思路:

首先規劃好完整的思路, 哪些行為和留存相關, 然後利用這些行為+時間維度 組成指標, 因為不同的時間跨度組合出來的指標, 意義是不一樣的, 比如登錄行為就有 7天登錄天數, 30天登錄天數

第二步計算這些行為和留存的相關性, 我們用1 表示會留存 0 表示不會留存

那麼就得到 用戶id + 行為數據+ 是否留存 這幾個指標組成的數據

然後就是相關性大小的計算

import matplotlib.pyplot aspltimport seaborn assnsretain2 = pd.read_csv( "d:/My Documents/Desktop/train2.csv") # 讀取數據retain2 = retain2. drop(columns=[ 'click_share_ayyuid_ucnt_days7']) # 去掉不參與計算相關性的列plt.figure(figsize=( 16, 10), dpi= 80)# 相關性大小計算sns.heatmap(retain2.corr, xticklabels=retain2.corr.columns, yticklabels=retain2.corr.columns, cmap= 'RdYlGn', center= 0, annot=True)# 可視化plt.title( 'Correlogram of retain', fontsize= 22)plt.xticks(fontsize= 12)plt.yticks(fontsize= 12)plt.show

圖中的數字值就是代表相關性大小 r 值，所以從圖中我們可以發現：

留存相關最大的四大因素:

Ⅳ 針對繪圖方面的需求，matlab，python和R哪個更加強大

數據可視化繪制相關性散點圖
對比數據相關性是數據探索常用的一種方法，下面是Python和R的對比。
Pythonimport seaborn as sns
import matplotlib.pyplot as plt
sns.pairplot(nba[["ast", "fg", "trb"]])
plt.show()

Rlibrary(GGally)
ggpairs(nba[,c("ast", "fg", "trb")])

雖然我們最終得到了類似的圖形，這里R中GGally是依賴於ggplot2，而Python則是在matplotlib的基礎上結合Seaborn，除了GGally在R中我們還有很多其他的類似方法來實現對比制圖，顯然R中的繪圖有更完善的生態系統。
繪制聚類效果圖
這里以K-means為例，為了方便聚類，我們將非數值型或者有確實數據的列排除在外。
Rlibrary(cluster)
set.seed(1)
isGoodCol <- function(col){
sum(is.na(col)) == 0 && is.numeric(col)
}
goodCols <- sapply(nba, isGoodCol)
clusters <- kmeans(nba[,goodCols], centers=5)
labels <- clusters$cluster

nba2d <- prcomp(nba[,goodCols], center=TRUE)
twoColumns <- nba2d$x[,1:2]
clusplot(twoColumns, labels)

Pythonfrom sklearn.cluster import KMeans
kmeans_model = KMeans(n_clusters=5, random_state=1)
good_columns = nba._get_numeric_data().dropna(axis=1)
kmeans_model.fit(good_columns)
labels = kmeans_model.labels_

from sklearn.decomposition import PCA
pca_2 = PCA(2)
plot_columns = pca_2.fit_transform(good_columns)
plt.scatter(x=plot_columns[:,0], y=plot_columns[:,1], c=labels)
plt.show()

結論
Python 的 pandas 從 R 中偷師 dataframes，R 中的 rvest 則借鑒了 Python 的 BeautifulSoup，我們可以看出兩種語言在一定程度上存在的互補性，通常，我們認為 Python 比 R 在泛型編程上更有優勢，而 R 在數據探索、統計分析是一種更高效的獨立數據分析工具。

Ⅵ python sns.pointplot如何添加文本信息

C語言有__LINE__來表示源代碼的當前行號，經常在記錄日誌時使用。Python如何獲取源代碼的當前行號？
The C Language has the __LINE__ macro, which is wildly used in logging, presenting the current line of the source file. And how to get the current line of a Python source file?

exception輸出的函數調用棧就是個典型的應用：
A typical example is the output of function call stack when an exception:

python代碼
File "D:\workspace\Python\src\lang\lineno.py", line 19, in <mole>
afunc()
File "D:\workspace\Python\src\lang\lineno.py", line 15, in afunc
errmsg = 1/0
ZeroDivisionError: integer division or molo by zero

那麼我們就從錯誤棧的輸出入手，traceback模塊中：
Now that, Let's begin with the output of an exception call stack, in the traceback mole:

python代碼
def print_stack(f=None, limit=None, file=None):
"""Print a stack trace from its invocation point.

The optional 'f' argument can be used to specify an alternate
stack frame at which to start. The optional 'limit' and 'file'
arguments have the same meaning as for print_exception().
"""
if f is None:
try:
raise ZeroDivisionError
except ZeroDivisionError:
f = sys.exc_info()[2].tb_frame.f_back
print_list(extract_stack(f, limit), file)

def print_list(extracted_list, file=None):
"""Print the list of tuples as returned by extract_tb() or
extract_stack() as a formatted stack trace to the given file."""
if file is None:
file = sys.stderr
for filename, lineno, name, line in extracted_list:
_print(file,
' File "%s", line %d, in %s' % (filename,lineno,name))
if line:
_print(file, ' %s' % line.strip())

traceback模塊構造一個ZeroDivisionError，並通過sys模塊的exc_info()來獲取運行時上下文。我們看到，所有的秘密都在tb_frame中，這是函數調用棧中的一個幀。
traceback constructs an ZeroDivisionError, and then call the exc_info() of the sys mole to get runtime context. There, all the secrets hide in the tb_frame, this is a frame of the function call stack.

對，就是這么簡單！只要我們能找到調用棧frame對象即可獲取到行號！因此，我們可以用同樣的方法來達到目的，我們自定義一個lineno函數：
Yes, It's so easy! If only a frame object we get, we can get the line number! So we can have a similar implemetation to get what we want, defining a function named lineno:

python代碼
import sys

def lineno():
frame = None
try:
raise ZeroDivisionError
except ZeroDivisionError:
frame = sys.exc_info()[2].tb_frame.f_back
return frame.f_lineno

def afunc():
# if error
print "I have a problem! And here is at Line: %s"%lineno()

是否有更方便的方法獲取到frame對象？當然有！
Is there any other way, perhaps more convinient, to get a frame object? Of course YES!

python代碼
def afunc():
# if error
print "I have a proble! And here is at Line: %s"%sys._getframe().f_lineno

類似地，通過frame對象，我們還可以獲取到當前文件、當前函數等信息，就像C語音的__FILE__與__FUNCTION__一樣。其實現方式，留給你們自己去發現。
Thanks to the frame object, similarly, we can also get current file and current function name, just like the __FILE__ and __FUNCTION__ macros in C. Debug the frame object, you will get the solutions.

Ⅶ python中sns怎麼定義

趨勢被定義為一種變化模式。
sns.lineplot-折線圖最適合顯示一段時間備中內的趨勢，多條線可用於沖宏顯示多仿判山個組中的趨勢。

Ⅷ Python 中的可視化工具介紹

幾周前，R語言社區經歷了一場關於畫圖工具的討論。對於我們這種外人來說，具體的細節並不重要，但是我們可以將一些有用的觀點運用到 Python 中。討論的重點是 R 語言自帶的繪圖工具 base R 和 Hadley Wickham 開發的繪圖工具 ggplot2 之間的優劣情況。如果你想了解更多細節內容，請閱讀以下幾篇文章：

其中最重要的兩個內容是：

不是所有人都認同第二個觀點，ggplot2確實無法繪制出所有的圖表類型，但是我會利用它來做分析。

以下是 2016 年 4 月寫的關於繪圖工具的概述。出於多方面的原因，繪圖工具的選取更多地取決於個人偏好，因此本文介紹的 Python 繪圖工具也僅代表我的個人使用偏好。

Matplotlib 是一個強大的工具，它是 Pandas' builtin-plotting 和 Seaborn 的基礎。 Matplotlib 能夠繪制許多不同的圖形，還能調用多個級別的許多 API 。我發現 pyplot api 非常好用，你可能用不上 Transforms 或者 artists ，但是如果你有需求的話可以查閱幫助文檔。我將從 pandas 和 seaborn 圖開始介紹，然後介紹如何調用 pyplot 的 API 。

DataFrame 和 Series 擁有 .plot 的命名空間，其中有許多圖形類別可供選擇(line, hist, scatter, 等等)。 Pandas 對象還提供了額外的用於增強圖形展現效果的數據，如索引變數。
由於 pandas 具有更少的向後兼容的限制，所以它具有更好的美學特性。從這方面來說，我認為 pandas 中的 DataFrame.plot 是一個非常實用的快速探索性分析的工具。

Michael Waskom 所開發的 Seaborn 提供了一個高層次的界面來繪制更吸引人統計圖形。 Seaborn 提供了一個可以快速探索分析數據不同特徵的 API 介面，接下來我們將重點介紹它。

Bokeh 是一款針對瀏覽器開發的可視化工具。
和 matplotlib 一樣，**Bokeh
** 擁有一系列 API 介面。比如 glpyhs 介面，該介面和 matplotllib 中的 Artists 介面非常相似，它主要用於繪制環形圖、方形圖和多邊形圖等。最近 Bokeh 又開放了一個新的圖形介面，該介面主要用於處理詞典數據或 DataFrame 數據，並用於繪制罐頭圖。

以下是一些本文沒有提到的可視化工具：

我們將利用 ggplot2 中的 diamonds 數據集，你可以在 Vincent Arelbundock's RDatasets 中找到它(pd.read_csv(' http://vincentarelbundock.github.io/Rdatasets/csv/ggplot2/diamonds.csv') )，此外我們還需要檢測是否已經安裝 feather 。

[站外圖片上傳中……(4)]

Bokeh 提供了兩個 API，一個是低級的 glyph API，另一個是高級的 Charts API。

[站外圖片上傳中……(5)]

還不是很清楚我們應該在啥時候利用 Bokeh 來進行探索性分析，不過它的互動式功能可以激發我的興趣。就個人而言，由於習慣問題我平時仍然一直使用 matplotlib 來繪圖，我還無法完全切換到 Bokeh 中。

我非常喜歡 Bokeh 的儀表盤功能和 bokeh server 的 webapps。

[站外圖片上傳中……(6)]

[站外圖片上傳中……(7)]

[站外圖片上傳中……(8)]

matplotlib 並不局限於處理 DataFrame 數據，它支持所有使用 getitem 作為鍵值的數據類型。

[站外圖片上傳中……(9)]

[站外圖片上傳中……(10)]

我們從列變數的名字中提取出軸標簽，利用 Pandas 可以更加便捷地繪制一系列共享 x 軸數據的圖形。

[站外圖片上傳中……(11)]

[站外圖片上傳中……(12)]

本文中的剩餘部分將重點介紹 seaborn和為什麼我認為它是探索性分析的強大工具。

我強烈建議你閱讀 Seaborn 的 introctory notes，這上面介紹了 seaborn 的設計邏輯和應用領域。

我們可以通過一個穩定的且易懂的 API 介面來調用 Seaborn。

事實上，seaborn 是基於 matplotlib 開發的，這意味著如果你熟悉 pyplot API的話，那麼你可以很容易地掌握 seaborn。

大多數 seaborn 繪圖函數的參數都由 x, y, hue, 和 data 構成(並不是所有的參數都是必須的)。如果你處理的對象是 DataFrame，那麼你可以直接將列變數的名稱和數據集的名稱一同傳遞到繪圖函數中。

[站外圖片上傳中……(13)]

[站外圖片上傳中……(14)]

[站外圖片上傳中……(15)]

[站外圖片上傳中……(16)]

我們可以很輕易地探究兩個變數之間的關系：

[站外圖片上傳中……(17)]

[站外圖片上傳中……(18)]

或者一次探究多個變數之間的關系：

[站外圖片上傳中……(19)]

[站外圖片上傳中……(20)]

pariplot 是 PairGrid 的一個包裝函數，它提供了 seaborn 一個重要的抽象功能——Grid。Seaborn 的 Grid 將 matplotlib 中Figure 和數據集中的變數聯系起來了。

我們有兩種方式可以和 grids 進行交互操作。其一，seaborn 提供了類似於 pairplot 的包裝函數，它提前設置了許多常見任務的參數；其二，如果你需要更多的自定義選項，那麼你可以直接利用 Grid 方法。

[站外圖片上傳中……(21)]
[站外圖片上傳中……(22)]

[站外圖片上傳中……(23)]
34312 rows × 7 columns

[站外圖片上傳中……(24)]
[站外圖片上傳中……(25)]

FaceGrid 可以通過控制分面變數來生成 Grid圖形，其中PairGrid是它的一個特例。接下來的案例中，我們將以數據集中的 cut 變數為分面變數來繪制圖像：
[站外圖片上傳中……(26)]

[站外圖片上傳中……(27)]
最後一個案例展示了如何將 seaborn 和 matplotlib 結合起來。g.axes是matplotlib.Axes的一個數組，g.fig是matplotlib.Figure的一個特例。這是使用 seaborn 時常見的一個模式：利用 seaborn 的方法來繪制圖像，然後再利用 matplotlib 來調整細節部分。

我認為 seaborn 之所以吸引人是因為它的繪圖語法具有很強的靈活性。你不會被作者所設定的圖表類型所局限住，你可以根據自己的需要創建新的圖表。
[站外圖片上傳中……(28)]

[站外圖片上傳中……(29)]

[站外圖片上傳中……(30)]

[站外圖片上傳中……(31)]

本來，我打算準備更多的例子來介紹 seaborn，但是我會將相關鏈接分享給大家。Seaborn 的說明文檔寫的非常詳細。

最後，我們將結合 scikit-learn 來介紹如何利用 GridSearch 來尋找最佳參數。
[站外圖片上傳中……(32)]

[站外圖片上傳中……(33)]

[站外圖片上傳中……(34)]

原文鏈接： http://tomaugspurger.github.io/modern-6-visualization.html

譯者：Fibears

Ⅸ python多元線性回歸怎麼計算

1、什麼是多元線性回歸模型？

當y值的影響因素不唯一時,採用多元線性回歸模型。

y =y=β0+β1x1+β2x2+...+βnxn

例如商品的銷售額可能不電視廣告投入,收音機廣告投入,報紙廣告投入有關系,可以有 sales =β0+β1*TV+β2* radio+β3*newspaper.

2、使用pandas來讀取數據

pandas 是一個用於數據探索、數據分析和數據處理的python庫

[python]view plain

• importpandasaspd




[html]view plain

• <prename="code"class="python">#

• data=pd.read_csv('/home/lulei/Advertising.csv')

• #displaythefirst5rows

• data.head()

• 這里的Advertising.csv是來自Advertising.csv。大家可以自己下載。

上面代碼的運行結果：

• TV Radio Newspaper Sales


• 0 230.1 37.8 69.2 22.1


• 1 44.5 39.3 45.1 10.4


• 2 17.2 45.9 69.3 9.3


• 3 151.5 41.3 58.5 18.5


• 4 180.8 10.8 58.4 12.9




上面顯示的結果類似一個電子表格，這個結構稱為Pandas的數據幀(data frame)，類型全稱：pandas.core.frame.DataFrame.


pandas的兩個主要數據結構：Series和DataFrame：

• Series類似於一維數組，它有一組數據以及一組與之相關的數據標簽(即索引)組成。

• DataFrame是一個表格型的數據結構，它含有一組有序的列，每列可以是不同的值類型。DataFrame既有行索引也有列索引，它可以被看做由Series組成的字典。




[python]view plain

• #displaythelast5rows

• data.tail()

• 只顯示結果的末尾5行
• TV Radio Newspaper Sales


• 195 38.2 3.7 13.8 7.6


• 196 94.2 4.9 8.1 9.7


• 197 177.0 9.3 6.4 12.8


• 198 283.6 42.0 66.2 25.5


• 199 232.1 8.6 8.7 13.4



[html]view plain

• #checktheshapeoftheDataFrame(rows,colums)

• data.shape

• 查看DataFrame的形狀,注意第一列的叫索引，和資料庫某個表中的第一列類似。

(200,4)


3、分析數據

特徵：

• TV：對於一個給定市場中單一產品，用於電視上的廣告費用（以千為單位）

• Radio：在廣播媒體上投資的廣告費用

• Newspaper：用於報紙媒體的廣告費用

響應：

• Sales：對應產品的銷量

在這個案例中，我們通過不同的廣告投入，預測產品銷量。因為響應變數是一個連續的值，所以這個問題是一個回歸問題。數據集一共有200個觀測值，每一組觀測對應一個市場的情況。

注意：這里推薦使用的是seaborn包。網上說這個包的數據可視化效果比較橡嘩好看。其實seaborn也應該屬於matplotlib的內部包。只是需要再次的單獨安裝。

[python]view plain

• importseabornassns

• importmatplotlib.pyplotasplt

• #ots

• sns.pairplot(data,x_vars=['TV','Radio','Newspaper'],y_vars='Sales',size=7,aspect=0.8)

• plt.show()#注意必須加上這一句，祥橡否則無法顯示梁宴行。

[html]view plain

• 這里選擇TV、Radio、Newspaper作為特徵，Sales作為觀測值

[html]view plain

• 返回的結果：




• seaborn的pairplot函數繪制X的每一維度和對應Y的散點圖。通過設置size和aspect參數來調節顯示的大小和比例。可以從圖中看出，TV特徵和銷量是有比較強的線性關系的，而Radio和Sales線性關系弱一些，Newspaper和Sales線性關系更弱。通過加入一個參數kind='reg'，seaborn可以添加一條最佳擬合直線和95%的置信帶。



[python]view plain

• sns.pairplot(data,x_vars=['TV','Radio','Newspaper'],y_vars='Sales',size=7,aspect=0.8,kind='reg')

• plt.show()



• 結果顯示如下：




直到這里整個的一次多元線性回歸的預測就結束了。

6、改進特徵的選擇
在之前展示的數據中，我們看到Newspaper和銷量之間的線性關系竟是負關系（不用驚訝，這是隨機特徵抽樣的結果。換一批抽樣的數據就可能為正了），現在我們移除這個特徵，看看線性回歸預測的結果的RMSE如何？

依然使用我上面的代碼，但只需修改下面代碼中的一句即可：

[python]view plain

• #

• feature_cols=['TV','Radio','Newspaper']

• #

• X=data[feature_cols]

• #

• #X=data[['TV','Radio','Newspaper']]#只需修改這里即可<prename="code"class="python"style="font-size:15px;line-height:35px;">X=data[['TV','Radio']]#去掉newspaper其他的代碼不變

• # print the first 5 rowsprint X.head()# check the type and shape of Xprint type(X)print X.shape



最後的到的系數與測度如下：

LinearRegression(_X=True, fit_intercept=True, normalize=False)

• 2.81843904823


• [ 0.04588771 0.18721008]


• RMSE by hand: 1.28208957507


• 然後再次使用ROC曲線來觀測曲線的整體情況。我們在將Newspaper這個特徵移除之後，得到RMSE變小了，說明Newspaper特徵可能不適合作為預測銷量的特徵，於是，我們得到了新的模型。我們還可以通過不同的特徵組合得到新的模型，看看最終的誤差是如何的。

備註：

• 之前我提到了這種錯誤：

註：上面的結果是由train_test_spilit()得到的，但是我不知道為什麼我的版本的sklearn包中居然報錯：

• ImportError Traceback (most recent call last)<ipython-input-182-3eee51fcba5a> in <mole>() 1 ###構造訓練集和測試集----> 2 from sklearn.cross_validation import train_test_split 3 #import sklearn.cross_validation 4 X_train,X_test, y_train, y_test = train_test_split(X, y, random_state=1) 5 # default split is 75% for training and 25% for testingImportError: cannot import name train_test_split



處理方法：1、我後來重新安裝sklearn包。再一次調用時就沒有錯誤了。

2、自己寫函數來認為的隨機構造訓練集和測試集。(這個代碼我會在最後附上。)

• 這里我給出我自己寫的函數：

[python]view plain

• importrandom

[python]view plain

• <spanstyle="font-family:microsoftyahei;">######自己寫一個隨機分配數的函數，分成兩份，並將數值一次存儲在對應的list中##########

• deftrain_test_split(ylabel,random_state=1):

• importrandom

• index=random.sample(range(len(ylabel)),50*random_state)

• list_train=[]

• list_test=[]

• i=0

• forsinrange(len(ylabel)):

• ifiinindex:

• list_test.append(i)

• else:

• list_train.append(i)

• i+=1

• returnlist_train,list_test

• ###############對特徵進行分割#############################

• feature_cols=['TV','Radio','Newspaper']

• X1=data[feature_cols]

Ⅹ 10.2 sns 繪圖

seaborn 常用 基於matplotlib, 解決分組問題。【橫軸，縱軸，數據集】
往往畫的聚合指標圖像
barplot() 條形圖
scatterplot() 散點圖
swarmplot(）
sns.violinplot() 琴圖
sns.countplot() 統計條形圖
sns.pairplot() 成對圖卜耐搜像
sns.heatmap() 熱力圖 用顏色深淺表達大小
sns.boxplot() 箱線圖
sns.displot()直方圖

數據： tips = sns.load_dataset('tips')
tips.groupby('sex')['total_bill'].mean()

sns.boxplot(x='sex',y='total_bill',data=tips) 橫軸，縱軸，數據。

sns.distplot(tips.total_bill)

連續 VS 連續
離散 VS 連續

sns的hue參數：分組因子 hue_order:分組的順序

例：股票隨著時間的變化
人隨著每次考試的分數的變化

比較大小
例：在某一時期內兩個同學的成績誰高誰低。（通過高矮或寬窄表示大小）
組與組數據比較大小

算出來的，均值加減標准差得到置信區間。畝棚

兩個維度表達對應關系（映射關系，函數關系）
例：經緯度
所有樣本點自變數和因變型歷量的關系
增加1個維度，氣泡的大小，成為氣泡圖。

描述數據分布。（可看數據異常）
例：看一組數據是否符合正態分布
原理：數據按大小劃分幾個區域，在哪個區域加1。 分高度和寬度：寬度：數據區域，高度：落在區域里數據個數。（轉換成概率稱為kde圖像）

IQR = Q3- Q1

upper = Q3 + 1.5IQR
bottom = Q1 + 1.5*IQR

sns.boxplot()

描述兩組數據關系

註：卡方驗證主要是離散數據和離散數據之間的關系

corr（）關系函數，默認person系數。
矩陣的值對應兩個值的關系。
極淺的點和及深的點需要注意。