程序員如何做大量數據

1. 如何從程序員成為一名數據科學家 巫銀良

人工智慧聽起來好像很酷炫，說白了在金融上的應用主要就鬧虧鉛三件事：
第一，是對於金融數據空岩的高級統計學的應用和分析。比如說，對於傳統的線性回歸沒有辦法進行有效的分析歸納的，通過AI、機器學習的演算法可以對同樣的一組數據用不同緯度去做分析，從而在中間找出它的規律。這個數據在機器學習的演算法下可以變成是一個可以支持你決策的東西。
第二，是機器自我學習液好演變的能力。人每天也會接觸到大量的信息，但是人很難對每天接觸到的信息都做一個歸納、並對自己今天做的決定基於新的信息做一個復盤，因為這種學習的能力需要大量的計算，但機器可以做到這個。
第三，是對數據的及時處理。傳統銀行也會對一些高級客戶做資產配置推薦，就是所謂的「銀行觀點」。這個觀點的更新頻次是固定的，比較常見的情況是三個月更新一次。在這三個月之中，客戶任意時間點進來，得到的建議都是一樣的，這個就很成問題。及時性的風控建議將成為貸款業務中後期的關鍵。

2. 大數據開發怎麼學習

按照下面五個階段開始學習，循序漸進!
階段一、大數據基礎——java語言基礎方面
(1)Java語言基礎
Java開發介紹、熟悉Eclipse開發工具、Java語言基礎、Java流程式控制制、Java字元串、Java數組與類和對象、數字處理類困枯殲與核心技術、I/O與反射、多線程、Swing程序與集合類

需要大數據學習教程，關汪沖注我主頁有資料
(2) HTML、CSS與JavaScript
PC端網站布局、HTML5+CSS3基礎、WebApp頁面布局、原生JavaScript交互功能開發、Ajax非同步交互、jQuery應用
(3)JavaWeb和資料庫
資料庫、JavaWeb開發核心、JavaWeb開發內幕
階段二、 Linux&Hadoop生態體系
Linux體系、Hadoop離線計算大綱、分布式資料庫Hbase、數據倉庫Hive、數據遷移工具Sqoop、Flume分布式日誌框架
階段三、 分布式計算框架和Spark&Strom生態體系
(1)分布式計算框架
python編程語言、Scala編程語言、Spark大數據處理、Spark—Streaming大數據處理、Spark—Mlib機器學習、Spark—GraphX 圖計算、實戰一：基於Spark的推薦系統(某一線公司真實項目)、實戰二：新浪網(www.sina.com.cn)
(2)storm技術架構體系
Storm原理與基礎、消息隊列kafka、Redis工具、zookeeper詳解、實戰一：日誌告警系統項目、實戰二：猜你喜歡推薦系統實戰
階段四敗老、 大數據項目實戰(一線公司真實項目)
數據獲取、數據處理、數據分析、數據展現、數據應用
階段五、 大數據分析 —AI(人工智慧)
Data Analyze工作環境准備&數據分析基礎、數據可視化、Python機器學習
1、Python機器學習2、圖像識別&神經網路、自然語言處理&社交網路處理、實戰項目：戶外設備識別分析
以上就是分享的大數據自學課程，祝願每一位小夥伴都能成為真正的大數據技術人才!
學習大數據，就來北京尚學堂，多年的大數據授課經驗，扎實的課程理論助你在大數據方面快人一步。

3. 作為一個Java程序員，該怎麼轉行做大數據分析師

我也做過好多年Java，去年開始也接觸了些大數據的架構。跟你情況類似。我的觀點是你可以去動手搭建一下，玩玩，其實並不像你想像的那樣高深莫測。都是些工具，我不太喜歡學如何用這些工具，只要能解決我要解決的問題，去用就是了。如果工具的實現感興趣就去看看代碼。工具本身怎麼用就是個fact，只是知道和不知道的區別。不要覺得做Java就比別人低一等。你一樣可以做的很出色。會用那些大數據工具也並不代表能力有多強

4. java程序員在面試中被問到如何配置多數據源以及如何配置多數據源下的分布式事務，該怎麼回答看清再做答

你好，我來先回答含棗你的第一個問題：
通常多梁老悔數據源，在spring中配置如下，如果你想橡正切換環境ENV 的值，在property中
<bean id="placeholderConfigurer" class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
<property name="ignoreResourceNotFound" value="true"></property>
<property name="" value="true"></property>
<property name="nullValue" value="NULL"></property>
<property name="locations">
<list>
<value>jdbc.properties</value>
</list>
</property>
</bean>

<bean id="dataSource" class="com.spring..JDBCConfig">
<property name="driverClassName" value="${${Env}.jdbc.driverClassName}"></property>
<property name="url" value="${${Env}.jdbc.url}"></property>
<property name="username" value="${${Env}.jdbc.username1}"></property>
<property name="password" value="${${Env}.jdbc.password}"></property>
</bean>

jdbc.properties
*****************************
Env=PROD

jdbc.driverClassName=${${Env}.jdbc.driverClassName}
jdbc.url=${${Env}.jdbc.url}
jdbc.username=${${Env}.jdbc.username}
jdbc.password=${${Env}.jdbc.password}

######### JDBC Configuration for DEV Environment ###############
DEV.jdbc.driverClassName=com.mysql.jdbc.Driver
DEV.jdbc.url=jdbc:mysql://localhost:3306/devportal
DEV.jdbc.username=DEVuser
DEV.jdbc.password=DEVpwd

######### JDBC Configuration for UAT Environment ############
UAT.jdbc.driverClassName=com.mysql.jdbc.Driver
UAT.jdbc.url=jdbc:mysql://localhost:3306/UATportal
UAT.jdbc.username=UATuser
UAT.jdbc.password=UATpwd

########## JDBC Configuration for PROD Environment ############
PROD.jdbc.driverClassName=com.mysql.jdbc.Driver
PROD.jdbc.url=jdbc:mysql://localhost:3306/portal
PROD.jdbc.username=root
PROD.jdbc.password=admin，
我這里有三套環境，分別是DEV，UAT和PROD，這種方式可以靈活切換的。

我再回答你的第二個問題：
還請你去http://docs.spring.io/spring-framework/docs/4.0.x/spring-framework-reference/html/transaction.html這里看下，很詳細，不過是英文的哦

5. 如何處理大量數據並發操作

處理大量數據並發操作可以採用如下幾種方法:

1.使用緩存：使用程序直接保存到內存中。或者使用緩存框架: 用一個特定的類型值來保存，以區別空數據和未緩存的兩種狀態。

2.資料庫優化：表結構優化;SQL語句優化，語法優化和處理邏輯優化;分區;分表;索引優化;使用存儲過程代替直接操作。

3.分離活躍數據:可以分為活躍用戶和不活躍用戶。

4.批量讀取和延遲修改: 高並發情況可以將多個查詢請求合並到一個。高並發且頻繁修改的可以暫存緩存中。

5.讀寫分離: 資料庫伺服器配置多個，配置主從資料庫。寫用主資料庫，讀用從資料庫。

6.分布式資料庫: 將不同的表存放到不同的資料庫中，然後再放到不同的伺服器中。

7.NoSql和Hadoop: NoSql，not only SQL。沒有關系型資料庫那麼多限制，比較靈活高效。Hadoop，將一個表中的數據分層多塊，保存到多個節點（分布式）。每一塊數據都有多個節點保存（集群）。集群可以並行處理相同的數據，還可以保證數據的完整性。

拓展資料:

大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。

6. 程序員如何輕松實現數據可視化

這里以Web前端為例，簡單介紹一下程序員是如何實現前端數據可視化的，主要內容如下：

Highcharts.js

這是一個純粹的JavaScript可視化庫，完美支持移動端，可以快速的為Web網站添加具有交互性的圖表（包括曲線圖、散點圖、柱狀圖、條形圖、餅圖等），個人可以免費學習使用，下面我簡單介紹一下這個庫的使用：

1.首先，引入Highcharts.js庫，這里以最簡單的CDN引入為例（也可在本地下載後引入），直接在script標簽src屬性中指定CDN地址就行，基本思路先創建一個div容器，然後通過JSAPI引入圖表，Html部分代碼如下，非常高察簡單：

2.接著就是JSAPI配置圖表，這里直接根據官方文檔配置就行，每個參數介紹的都非常詳細，也有示例可供參考，添加到上面的Html代碼圖標配置那塊就行，測試代碼如下，一個簡單的柱狀圖：

用瀏覽器打開這個html文件，效果如下，就是我們需要繪制的圖表，還不錯：

3.官網也提供了許多的示例，幾乎涵蓋了各種圖表數據的製作，非常適合初學者學習，注釋的很詳細，也可在線編輯運行，感興趣的話，可以學習一下，非常有用：

ECharts.js

這是網路設計開發的一個Web前端可視化庫，可以流暢的運行在PC和移動設備上，並且提供高度可定製化的圖表，種類繁多，交互豐富，下面我簡單介紹一下這個庫的使用：

1.首先，引入ECharts.js庫，這里也直接src引入就行（或者本地引入），基本思路和Highcharts.js一樣，先創建一個div容器，然後通過JS引入圖表就行，Html部分代碼如下，也很簡單：

2.接著也是JSAPI配置圖表並進行顯示，這里也按照官網文檔設置就行，非常詳細，測試代碼如下，一個簡單的柱狀圖，添加到上面的Htmlecharts圖表那塊：

用瀏覽器打開這個html文件，效果如下，非常不錯：

3.更多圖表示例可以參考官網，包括地圖、熱力圖、雷達圖、極坐標圖等，介紹的非常詳細，也可在線編輯運行，效果非常不錯：

D3.js

這是一個非常強大的前端可視化庫，出現的比較早，組件和屬性眾多，幾乎可以繪制各種圖表，眼花繚亂，下面我簡單介紹一下這個庫的使用：

1.首先，引入D3.js庫，這個直接通過script標簽的src屬性在線引入就行，Html代碼如下，很簡單，很好理解：

2.接著就是在script那部分進行圖戚模茄表繪制，這里都是函數式的編程，代碼量比較多（但設置操作更碼帆靈活），需要一定的JS基礎，對於初學者來說，理解使用起來還是具有一定的難度：

瀏覽器打開的效果如下，非常不錯：

3.更多示例可以到GitHub官網上查看，介紹的非常詳細，也有源代碼可以下載到本地參考學習：

至此，這里就簡單介紹完了程序員如何進行Web前端數據可視化。總的來說，這3個前端可視化庫使用起來都非常不錯，Highcharts.js和ECharts.js適合初學者學習和掌握，文檔和資料也比較多，D3.js學習起來具有一定的難度，資料也是以官方的英文教程為主，感興趣的話，可以研究一下，畢竟功能非常強大，當然，你也可以使用其他可視化庫，像G2等也都非常不錯，網上也有相關教程和資料可供參考，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言補充。

7. 資料庫設計過程中，對於大批量的數據如何進行資料庫優化

實例講解MYSQL資料庫的查詢優化技術

作者：佚名 文章來源：未知 點擊數：2538 更新時間：2006-1-19
資料庫系統是管理信息系統的核心，基於資料庫的聯機事務處理（OLTP）以及聯機分析處理(OLAP)是銀行、企業、政府等部門最為重要的計算機應用之一。從大多數系統的應用實例來看，查如世橋詢操作在各種資料庫操作中所佔據的比重最大，而查詢操作所基於的SELECT語句在SQL語句中又是代價最大的語句。舉例來說，如果數據的量積累到一定的程度，比如一個銀行的賬戶資料庫表信息積累到上百萬甚至上千萬條記錄，全表掃描一次往往需要數十分鍾，甚至數小時。如果採用比全表掃描更好的查詢策略，往往可以使查詢時間降為幾分鍾，由此可見查詢優化技術的重要性。

筆者在應用項目的實施中發現，許多程序員在利用一些前端資料庫開發工具（如PowerBuilder、Delphi等）開發資料庫應用程序時，只注重用戶界面的華麗，並不重視查詢語句的效率問題，導致所開發出來的應用系統效率低下，資源浪費嚴重。因此，如何設計高效合理的查詢語句就顯得非常重要。本文以應用實例為基礎，結合資料庫理論，介紹查詢優化技術在現實系統中的運用。

分析問題

許多程序員認為查詢優化是DBMS（資料庫管理系統）的任務，與程序員所編寫的SQL語句關系不大，這是錯誤的。一個好的查詢計劃往往可以使程序性能提高數十倍。查詢計劃是用戶所提交的SQL語句的集合，查詢規劃是經過優化處理之後所產生的語句集合。DBMS處理查詢計劃的過程是這樣的：在做完查詢語句的詞法、語法檢查之後，將語句提交給DBMS的查詢優化器，優化器做完代數優化和存取路徑的優化之後，由預編譯模塊對語句進行處理並生成查詢規劃，然後在合適的時間提交給系統處理執行，最後將執行結果返回給用戶。在實際的資料庫產品(如Oracle、Sybase等)的高版本中都是採用基於代價的優化方法，這種優化能根據從系統字典表所得到的信息來估計不同的查詢規劃的代價，然後選擇一個較優的規劃。雖然現在的資料庫產品在查詢優化方面已經做得越來越好，但由用戶提交的SQL語句是系統優化的基礎，很難設想一個原本糟糕的查詢計劃經過系統的優化之後會變得高效，因此用戶所寫語句的優劣至關重要。系統所做查詢優化我們暫不討論，下面重點說明改善用戶查詢計劃的解決方案。

解決問題

下面以關系資料庫系統Informix為例，介紹改善用戶查詢計劃的方法。

1．合理使用索引

索引是資料庫中重要的數據結構，它的根本目的就是為了提高查詢效率。現在大多數的資料庫產品都採用IBM最先提出的ISAM索引結構。索引的使用要恰到好處，其使用原則如下：

●在經常進行連接，但是沒有指定為外鍵的列上建立索引，而不經常連接的欄位則由優化器自動生成索引。

●在頻繁進行排序或分組（即進行group by或order by操作）的列上建立索引。

●在條件表達式中經常用到的不同值較多的列上建立檢索，在不同值少的列上不要建立索引。比如在雇員表的「性別」列上只有「男」與「女」兩個不同值，因此就無必要建立索引。如果建立索引不但不會提高查詢效率，反而會嚴重降低更新速度。

●如果待排序的列有多個，可以在這些列上建立復合索引（compound index）。

●使用系統工具。如Informix資料庫有一個tbcheck工具，可以在可疑的索引上進行檢查。在一些資料庫伺服器上，索引可能失效或者因為頻繁操作而使得讀取效率降低，如果一個使用索引的查詢不明不白地慢下來，可以渣猛試著用tbcheck工具檢查索引的完整性，必要時進行修復。另外，當資料庫表更新大量數據後，刪除返拆並重建索引可以提高查詢速度。

2．避免或簡化排序

應當簡化或避免對大型表進行重復的排序。當能夠利用索引自動以適當的次序產生輸出時，優化器就避免了排序的步驟。以下是一些影響因素：

●索引中不包括一個或幾個待排序的列；

●group by或order by子句中列的次序與索引的次序不一樣；

●排序的列來自不同的表。

為了避免不必要的排序，就要正確地增建索引，合理地合並資料庫表（盡管有時可能影響表的規范化，但相對於效率的提高是值得的）。如果排序不可避免，那麼應當試圖簡化它，如縮小排序的列的范圍等。

3．消除對大型錶行數據的順序存取

在嵌套查詢中，對表的順序存取對查詢效率可能產生致命的影響。比如採用順序存取策略，一個嵌套3層的查詢，如果每層都查詢1000行，那麼這個查詢就要查詢10億行數據。避免這種情況的主要方法就是對連接的列進行索引。例如，兩個表：學生表（學號、姓名、年齡……）和選課表（學號、課程號、成績）。如果兩個表要做連接，就要在「學號」這個連接欄位上建立索引。

還可以使用並集來避免順序存取。盡管在所有的檢查列上都有索引，但某些形式的where子句強迫優化器使用順序存取。下面的查詢將強迫對orders表執行順序操作：

SELECT ＊ FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008

雖然在customer_num和order_num上建有索引，但是在上面的語句中優化器還是使用順序存取路徑掃描整個表。因為這個語句要檢索的是分離的行的集合，所以應該改為如下語句：

SELECT ＊ FROM orders WHERE customer_num=104 AND order_num>1001

UNION

SELECT ＊ FROM orders WHERE order_num=1008

這樣就能利用索引路徑處理查詢。

4．避免相關子查詢

一個列的標簽同時在主查詢和where子句中的查詢中出現，那麼很可能當主查詢中的列值改變之後，子查詢必須重新查詢一次。查詢嵌套層次越多，效率越低，因此應當盡量避免子查詢。如果子查詢不可避免，那麼要在子查詢中過濾掉盡可能多的行。

5．避免困難的正規表達式

MATCHES和LIKE關鍵字支持通配符匹配，技術上叫正規表達式。但這種匹配特別耗費時間。例如：SELECT ＊ FROM customer WHERE zipcode LIKE 「98_ _ _」

即使在zipcode欄位上建立了索引，在這種情況下也還是採用順序掃描的方式。如果把語句改為SELECT ＊ FROM customer WHERE zipcode >「98000」，在執行查詢時就會利用索引來查詢，顯然會大大提高速度。

另外，還要避免非開始的子串。例如語句：SELECT ＊ FROM customer WHERE zipcode[2，3]>「80」，在where子句中採用了非開始子串，因而這個語句也不會使用索引。

6．使用臨時表加速查詢

把表的一個子集進行排序並創建臨時表，有時能加速查詢。它有助於避免多重排序操作，而且在其他方面還能簡化優化器的工作。例如：

SELECT cust.name，rcvbles.balance，……other columns

FROM cust，rcvbles

WHERE cust.customer_id = rcvlbes.customer_id

AND rcvblls.balance>0

AND cust.postcode>「98000」

ORDER BY cust.name

如果這個查詢要被執行多次而不止一次，可以把所有未付款的客戶找出來放在一個臨時文件中，並按客戶的名字進行排序：

SELECT cust.name，rcvbles.balance，……other columns

FROM cust，rcvbles

WHERE cust.customer_id = rcvlbes.customer_id

AND rcvblls.balance>0

ORDER BY cust.name

INTO TEMP cust_with_balance

然後以下面的方式在臨時表中查詢：

SELECT ＊ FROM cust_with_balance

WHERE postcode>「98000」

臨時表中的行要比主表中的行少，而且物理順序就是所要求的順序，減少了磁碟I/O，所以查詢工作量可以得到大幅減少。

注意：臨時表創建後不會反映主表的修改。在主表中數據頻繁修改的情況下，注意不要丟失數據。

7．用排序來取代非順序存取

非順序磁碟存取是最慢的操作，表現在磁碟存取臂的來回移動。SQL語句隱藏了這一情況，使得我們在寫應用程序時很容易寫出要求存取大量非順序頁的查詢。

有些時候，用資料庫的排序能力來替代非順序的存取能改進查詢。

實例分析

下面我們舉一個製造公司的例子來說明如何進行查詢優化。製造公司資料庫中包括3個表，模式如下所示：

1．part表

零件號零件描述其他列

（part_num）（part_desc）（other column）

102，032Seageat 30G disk……

500，049Novel 10M network card……

……

2．vendor表

廠商號廠商名其他列

（vendor _num）（vendor_name） （other column）

910，257Seageat Corp……

523，045IBM Corp……

……

3．parven表

零件號廠商號零件數量

（part_num）（vendor_num）（part_amount）

102，032910，2573,450,000

234，423321，0014，000，000

……

下面的查詢將在這些表上定期運行，並產生關於所有零件數量的報表：

SELECT part_desc，vendor_name，part_amount

FROM part，vendor，parven

WHERE part.part_num=parven.part_num

AND parven.vendor_num = vendor.vendor_num

ORDER BY part.part_num

如果不建立索引，上述查詢代碼的開銷將十分巨大。為此，我們在零件號和廠商號上建立索引。索引的建立避免了在嵌套中反復掃描。關於表與索引的統計信息如下：

錶行尺寸行數量每頁行數量數據頁數量

（table）(row size)（Row count）（Rows/Pages）（Data Pages）

part15010，00025400

Vendor1501，000 2540

Parven13 15，000300 50

索引鍵尺寸每頁鍵數量頁面數量

（Indexes）(Key Size)（Keys/Page)(Leaf Pages）

part450020

Vendor45002

Parven825060

看起來是個相對簡單的3表連接，但是其查詢開銷是很大的。通過查看系統表可以看到，在part_num上和vendor_num上有簇索引，因此索引是按照物理順序存放的。parven表沒有特定的存放次序。這些表的大小說明從緩沖頁中非順序存取的成功率很小。此語句的優化查詢規劃是：首先從part中順序讀取400頁，然後再對parven表非順序存取1萬次，每次2頁（一個索引頁、一個數據頁），總計2萬個磁碟頁，最後對vendor表非順序存取1.5萬次，合3萬個磁碟頁。可以看出在這個索引好的連接上花費的磁碟存取為5.04萬次。

實際上，我們可以通過使用臨時表分3個步驟來提高查詢效率：

1．從parven表中按vendor_num的次序讀數據：

SELECT part_num，vendor_num，price

FROM parven

ORDER BY vendor_num

INTO temp pv_by_vn

這個語句順序讀parven（50頁），寫一個臨時表（50頁），並排序。假定排序的開銷為200頁，總共是300頁。

2．把臨時表和vendor表連接，把結果輸出到一個臨時表，並按part_num排序：

SELECT pv_by_vn，＊ vendor.vendor_num

FROM pv_by_vn，vendor

WHERE pv_by_vn.vendor_num=vendor.vendor_num

ORDER BY pv_by_vn.part_num

INTO TMP pvvn_by_pn

DROP TABLE pv_by_vn

這個查詢讀取pv_by_vn(50頁)，它通過索引存取vendor表1.5萬次，但由於按vendor_num次序排列，實際上只是通過索引順序地讀vendor表（40＋2=42頁），輸出的表每頁約95行，共160頁。寫並存取這些頁引發5＊160=800次的讀寫，索引共讀寫892頁。

3．把輸出和part連接得到最後的結果：

SELECT pvvn_by_pn.＊，part.part_desc

FROM pvvn_by_pn，part

WHERE pvvn_by_pn.part_num=part.part_num

DROP TABLE pvvn_by_pn

這樣，查詢順序地讀pvvn_by_pn(160頁)，通過索引讀part表1.5萬次，由於建有索引，所以實際上進行1772次磁碟讀寫，優化比例為30∶1。筆者在Informix Dynamic

Sever上做同樣的實驗，發現在時間耗費上的優化比例為5∶1(如果增加數據量，比例可能會更大)。

小結

20％的代碼用去了80％的時間，這是程序設計中的一個著名定律，在資料庫應用程序中也同樣如此。我們的優化要抓住關鍵問題，對於資料庫應用程序來說，重點在於SQL的執行效率。查詢優化的重點環節是使得資料庫伺服器少從磁碟中讀數據以及順序讀頁而不是非順序讀頁。

8. java程序員面試時被問到：如何在j2ee項目中處理高並發量訪問 該怎麼回答 請仔細看題干再回答

盡量使用緩存，包括用戶緩存，信息緩存等，多花點內存來做緩存，可以大量減少與資料庫的交互，提高性能。

9. 數據分析，除了Excel數據透視表，還有什麼工具

現在市面上有很多做數據分析、可視化圖表的工具。

我們公司采購過，所以對這塊比較了解，列出當時選型時主要考慮過的肢晌毀一些工具，給題主和其他人做參考，以下順序隨機，無優劣之分。

https://www.tableau.com/zh-cn/procts/desktop

這個是可視化界的大神級軟體了，我們分析師強烈推薦的，可能是由於專業度比較高，選型小姐姐很久都沒搞懂怎麼用，因此放棄。（這個跟我們公司采購軟體的要求有關，領導想要一個全員都能上手的數據軟體）

https://www.shujuguan.cn/

這個是我們最後選中的數據分析工具，理由是操作簡單，全員可上手。他們家的分析模板很全，從銷售到財務，從人力到運營，上傳數據就能自動生成報表，非常貼心。數據分析基礎弱，又想試試的推薦這個。

http://echarts..com/index.html

這個的效果真的是蠻酷炫的，就是那種會定睛看很久的，但是需要編程基礎，對於全員使用這個要求不太友好，所以最後放棄了，還是因為選型姐姐根本就不會編程。

http://www.finereport.com/

算是比較老牌的數據分析公司了，旗下有Finereport和FineBI，最終未入選原因是專業名詞比較多，有使用門檻，沒有數據協作這個功能，也就是在軟體里不能像微信一樣做到即時溝通，這個數據觀有。

http://www.yonghongtech.com/

這個情況和帆軟有點像，專業名詞，需要SQL基礎，還有一個原因是，不能連接第三方數據源，比如金數據、微信公眾號、雲表格這些，人工頻繁導數據會增加工作量，因此放棄。

以上給大家做參考，也歡迎大家在評論區一起討論。

順便贊一下的話，就更好啦！

做凝聚態/統計物理的過來答一下。由於平時會有很多模擬、實驗數據，所以數據分析用的非常多。不過基本沒有用過Excel。總體上來說，用的最多的就是Mathematica，其次就是C/C++，然後偶爾會用Julia。

這幾個工具對編程都有一定的基礎要求。功能最強大的是Mathematica，但也最貴，所以知名度不是特別高（但在學術界內部，基本上都知道）；速度最快的，當然是C/C++，相同的演算法，運行速度大約是Mathematica的四倍左右。Julia是專門為科學計算設計的語言，速度接近C，擴展性接近Python，很有潛力，但個人用的不多。下面分別介紹一下。

前段時間，一個名叫「Wolfram Language」的語言火了一把。很多程序員以為這是真正的「智能語言」。其實Wolfram Language就是Mathematica所用的語言，只是最近把它定名了而已。不過Mathematica的優勢其實不在於其智能、自然語言識別的能力（實際工作中用的很少），而在於它巨量的函數。其內置了近五千個函數，各種功能無所不包。當然，這樣大量的函數會給學習帶來困難，但熟悉之後，用起來會非常舒服。比如，如果要將數列中重復元素抽出來，並標記數量，如何做歷備呢？不怕，有內置函數Tally[]。如果要將二維數據中相連的元素用相同的顏色標記，如何做呢？一般的方法，通常是用廣度優先搜索，或者深度優先搜索，去進行標記。但Mathematica有MorphologicalComponents[]——形態學分量，直接可以得到結果。所以用Mathematica做數據分析、編程，會省去大量的代碼量以及編程消耗的時間，debug也會方便一些。

而在對速度要求很高的地方，則通常會使謹喚用C/C++。但如果用這些語言，基本上就要自己從頭編寫代碼了。自由度當然很高，不過對演算法水平會有要求。這個自己偶爾會用。至於Julia，其設計思想當然非常好，不過目前的庫不是很多，短期內怕是比不過Python。

excel因為可以做簡單的數據分析，而給大家帶來了很多便利。但如果涉及到復雜的數據分析，數據運算，大屏可視化圖表，氣氛就會變得尷尬起來。

搞不好，還會出現電腦死機，數據丟失等情況。

接下來，我將用3分鍾的時間，向你介紹一款兼容excel功能，但功能更為強大的工具—— 雲表企業應用平台 。 (文末會送出免費的獲取方式，如果你趕時間，也可以拖至文末獲取)

運用智能搜索技術，從設計到實現只需要 7分鍾 ，可以做到媲美專業的數字大屏開發效果。 增強後的數據看板功能模塊，可以進行高度、靈活的自定義。

比如設定復雜的大屏背景、組件風格、界面配置、全局擺放，動態效果.......

業務人員無須設計師參與即可完成開發。

信息瞬息萬變，決策毫秒之間。

DataFocus採用列式數據存儲的方式，通過自帶的內存計算引擎，無須預先建立CUBE， 數據分析實時交互，完全滿足管理決策中經常遇到的臨時性分析、多變的業務需求和頻繁的結果刷新。

IT部門將從此告別延時報表分析，億級數據秒級響應。

目前，雲表是有提供免費版本的，適用於中小微企業。

如果大企業要用，增加並發數即可。

你一定想不到，它除了是一款報表軟體，還是一款免代碼開發工具。

像 華為 、 浙江恆逸 、 南方物流 、 許繼電氣 、 香港建滔集團 、 中冶 等20萬+企業或機構，早已通過雲表，開發出各種個性化的管理軟體，包括 MES ， WMS ， ERP ， OA ， BRP ， SRM ， CRM ， 進銷存 等。

你以前的固有思維是不是，這些管理軟體，要麼請人定製開發，要麼直接購買成 品。

可一旦你這么做了，正中了軟體供應商下懷，後期有得你折騰。

系統的更新迭代 ，是一個特別棘手的問題，很多想全面實施信息化建設的企業，就栽在了這里。

因年代久遠，軟體架構與設施已經非常落後，想要找供應商進行軟體更新迭代的時候，這時候供應商就玩起了「消失」，也很難再找到那些熟悉過時技術的人員。

另一種情況，就是，你得靠燒錢升級維護，才能保證系統正常運行下去。

所以說，還不如自己動手開發，來得痛快。

而雲表的易用性， 恰好彌補了，企業人手不足，資金不足 這些問題。

這是一款業務人員就能上手的開發工具，你只要有自己的業務邏輯，就可以通過雲表， 拖拉拽，輸入中文文本信息 ，搭建出能隨企業發展而成長的個性化管理軟體。

你沒看錯，功能隨需而改，任何時候都行！

此外呢，只要你想得到的業務，它基本上都能解決。

譬如 許可權控制，工作流，流程審批，多人協同 ，H5頁面製作，鬧鍾提醒，消息群發，文件整合，與用友金蝶等第三方軟硬體集成，掃碼入庫......

只有你想不到，基本上沒有它做不到。

而且， 各系統之間數據共享，信息互通，不存在任何兼容問題 。

對了，它還能生成移動端app，封裝PDA掃描器，設備感測器，讀卡器等硬體的驅動程序，對接廣泛的物聯網設施。

時間原因，今天就分享到這，解鎖更多功能，需要你自己去實踐。

下面，我在這里留下免費的獲取方式。

試試嘛，畢竟免費，試了也不虧！

希望我的回答能夠幫助到您，如果有什麼疑問，評論區見。

要想從事數據分析的工作，我覺得一定要掌握一些數據的可視化分析軟體的使用方法。為什麼說一定要去掌握數據可視化軟體的分析方法呢，舉個最簡單的例子，我們都知道數據量很大，但是雜亂無章的數據本身是沒有任何意義的，只有將數據進行統計分類，才能展現出龐大數據的背後意義，因此，我認為掌握一款自助式數據 探索 與可視化分析的軟體是十分必要的。現在市面上類似的平台有很多，我用的是東軟平台雲的一個叫DataViz的，個人覺得還挺好用的，你可以看一下效果。

在企業軟體行業有一個明顯趨勢，那就是使用雲表企業應用開發平台這類產品作報表工具的企業越來越多了，而經過統計，這些企業中超過80%都用過Excel或網路版Excel作為報表工具來進行辦公。

為什麼原先用Excel的企業會轉用雲表呢？在兩者之間功能上有什麼區別促使他們轉用後者？我們可以將兩者做個對比來剖析。

像Excel但性能更優

雲表這款軟體的用戶很多上手得很快的都是財務人員，因為它在繪制報表的操作類似於EXCEL。

Excel的問題很明顯，它不是資料庫，一旦數據太多，如果把它們都統計在一個Excel的數據總表裡，打開和查詢就會很慢很慢，而且它本身是一款單機軟體，如果沒有插件支持沒辦法做到多人協同，而且沒辦法輕易地實現錄入檢驗、快速填報、簡化操作等……可以說數不完。

而用雲表，這些問題都可以簡單解決，它雖然操作類似EXCEL，但它做不到依賴於EXCEL，它有自己獨立的客戶端，在處理大量數據的時候性能上要比EXCEL好太多，而且實現多用戶協同合作之類的高級功能時簡單得多，不需要任何技術基礎。

通過它，用戶只需簡單的滑鼠點擊、拖拉拽和中文文本輸入就能製作智能化的報表，並在系統上將報表集成統合，形成OA、CRM、進銷存、WMS、EAM、ERP等各種管理軟體。

好用易上手的開發平台

Excel功能強大大家都知道，但要用它實現辦公自動化可不容易，需要學習使用VBA編程、學習宏操作，沒有一點編程技術還真做不到。雲表是個免代碼的開發平台，它的設計初衷就是讓任何沒有編程基礎的人，學會開發自己的企業管理軟體。

免代碼的平台，需要什麼功能，都能自己搭建，哪個部門需要什麼功能，都能自己設計，完全按照企業、部門業務流程來，功能100%適用。

做報表，最辛苦的就是重復與繁雜的工作，提取數據、匯總分析，每個季度每個月每個活動都要做表，這是很折磨人的。

這也是為什麼那麼多企業選擇管理軟體，像這樣在雲表上搭建好了管理系統，需要什麼報表，提前設計好模板，數據匯總在一個系統里，系統都會根據規則實時分析演算，不用每個季度都重新設計、採集數據，減少大量繁復的工作。

雲表是個平台，是個開發工具，意味著它能適應任何行業，滿足任何企業的個性化需求，適用范圍廣；

系統可以協同辦公，可以高度集成、智能化，能搭建真正的管理軟體，功能強大；

自己的系統自己開發，企業要發展，軟體也能隨時添修刪改，靈活度高，發展潛力深……

免代碼的開發工具，沒有門檻，無需基礎，很簡單就能學會，實在擔心學不會，雲表還為用戶開設了免費的培訓班，10個課程基本就能掌握了，初高中生來學習都完全沒問題。

用這個軟體來做報表，可以說是一勞永逸，無論是企業或是員工，都能在這一步步的功能搭建上逐漸把精力轉移到更有價值的工作上，做到高質量的管理和決策。

可以幫助員工減少工作量、增加工作效率，也難怪越來越多的人轉用雲表作為他們的報表軟體了。

官網注冊地址如下，不用謝我，請叫我雷鋒

https://www.iyunbiao.com/signup/A3MVVQ240

我知道的有python，微軟powerbi，tableau，qlik，R。

我自己比較熟悉微軟powerbi，和Excel結合緊密，容易上手。推薦。