javaminanio

A. 即時通訊IM系統開發

我於2014年開啟即時通訊的開發之路，歷經從服務端到客戶端，從第三方到自研，經歷過諸多的研發難題，都一一破解。現將經驗總結如下，希望對行業內從事IM開發的程序員有所幫助。

①P2P方式

P2P方式多用於區域網內聊天，這種方式在有種種限制和不便。一方面它只適合在線的點對點消息傳輸，對離線，群組等支持不夠。另一方面由於 NAT 的存在，使得不同區域網內機器互聯難度大大上升，在某些網路類型(對稱NAT)下無法建立連接。使用P2P方式的軟體在啟動後一般做兩件事情：

1、進行UDP廣播:發送自己信息和接受同區域網內其他端信息。

2、開啟TCP監聽:等待其他端進行連接。

②伺服器中轉方式

大部分的互聯網IM產品都採用伺服器中轉這種方式進行消息傳輸，相對於P2P的方式，具有有以下的優點:

1、支持更多P2P無法支持或支持不好的業務，如離線消息，群組，聊天室。

2、方便業務邏輯的拓展和新舊版本的兼容，當然它也有自己的問題，就是伺服器架構復雜，並發要求高。

通過以上的比較，建議我們在開發IM系統的時候使用伺服器中轉的方式。

IM的網路連接方式有基於TCP的長連接和基於HTTP短連接兩種:

①基於TCP的長連接

基於TCP長連接則能夠更好地支持大批量用戶，問題是客戶端和伺服器的實現比較復雜。也有一些改進，比如下行使用MQTT進行伺服器通知/消息的下發，上行使用HTTP短連接進行指令和消息的上傳。這種方式能夠保證下行消息/指令的及時性，但是在弱網路下上行慢的問題還是比較嚴重，早期的來往就是基於這種方式。

②基於HTTP短連接

常見於WEB IM系統(現在很多WEBIM都是基於WebSocket實現)，它的優點是實現簡單，方便開發上手，問題是流量大，伺服器負載較大，消息及時性無法很好地保證，對大規模的用戶量支持不夠，適合小型的IM系統。

IM常見的協議有：XMPP，MQTT，私有協議。各種協議優缺點情況如下：

①XMPP協議

優點：協議開源，可拓展性強，在各個端(有各種語言的實現，對於前期入門級的開發者是很好的選擇，方便進入IM開發的程序員快速上手。

缺點：XML表現力弱，有太多冗餘信息，流量大。

常見案例：Gtalk、新浪微博、Facebook。

②MQTT協議

優點：協議簡單，流量少。

缺點：不是一個專門為IM設計的協議，多使用於推送。

③私有協議

幾乎所有主流的IM APP都是使用私有協議。

優點：高效，節約流量(一般使用二進制協議)，安全性高，難以破解。

缺點：開發初期沒有現有樣列可以參考，對於參與IM開發的程序員的要求比較高。

常見案例：微信、釘釘。

根據以上的對比，我們得出結果，一個好的協議需要滿足高效、簡潔、節約流量、易於拓展等要求，同時又能夠和當前的開發團隊的技術堆棧匹配，不能選擇一個他們很難上手的。

這里再提一下，我當時開發IM系統的時候，上手用的是XMPP，在使用的過程中發現了很多問題，踩了很多坑。

①實時性原則

消息實時到達接收方，如果用戶在線，則消息實時到達，如果用戶不在線，則消息在用戶登錄後到達。由於網路波動，以及移動端操作系統對應用前後台切換的管理，如何實現用戶連接管理、消息實時推送，推送失敗的處理方式，客戶端重連機制，消息如何補齊等，都需要IM系統考慮。由於TCP開發略微復雜，早期的基於HTTP短輪詢、長輪詢的低效的技術方案，也無法達到實時性的要求。

②可靠性原則

是指我們經常聽到的「消息送達」，通常用消息的不丟失和不重復兩個技術指標來表示。可靠性是要確保消息被發送後，能夠被接收者收到。由於網路環境的復雜性，以及用戶在線的不確定性，消息的可靠性（不丟失、不重復）是IM系統的核心指標，也是IM系統實現中的難點之一。總體來說，IM系統的消息「可靠性」，通常就是指聊天消息投遞的可靠性（准確的說，這個「消息」是廣義的，因為還存用戶看不見的各種指令和通知，包括但不限於進群退群通知、好友添加通知等，為了方便描述，統稱「消息」）。

從消息發送者和接收者用戶行為來講，消息「可靠性」應該分為以下幾種情況：

1、發送失敗：對於這種情況要感知到，明確反饋給發送方。如果此消息沒有發送成功，發送方可以選擇重試或者稍後再試。

2、發送成功：如果接收方處在「在線」狀態，應該立即收到此消息。如果接收方處在「離線」狀態不能收到消息，一旦上線則立刻收到消息。

3、消息不能重復：簡言之就是發送的一條消息不能被重復收到多次。

③一致性原則

系統中要重視消息的時序問題，不能出現發送的消息順序顛倒的問題。通常出現時序的問題有以下的原因：

1、網路傳輸延遲導致時序不一致。不同用戶發送的消息到達伺服器的延時差異較大，給消息時序性帶來挑戰。早期開發過程中經常會遇到這種問題。

2、分布式系統的出現導致時序不一致。IM系統模塊眾多，接入層、消息邏輯層等、每層都分布式集群化，這些應用分布在不同的機器上，如何保證時序是個難點。

④擴展性原則

擴展性是IM系統後期要考慮的問題，包括功能的擴展，伺服器的擴展等，這次就先不展開闡述。

Mina和Netty都是java領域高性能和高可伸縮性網路應用程序的網路應用框架。

Mina是 Apache 組織的項目，它為開發高性能和高可用性的網路 應用程序提供的框架。當前的Mina版本支持基於 Java NIO 技術的 TCP/UDP 應用程序開發、串口通訊程序。目前正在使用 Mina的 軟體有：Apache Directory Project、AsyncWeb、AMQP（Advanced Message Queuing Protocol）、RED5 Server（Macromedia Flash Media RTMP）、ObjectRADIUS、Openfire等。

Netty是由JBOSS提供的一個java開源框架。Netty提供非同步的、 事件驅動的網路應用程序框架和工具，用以快速開發高性能、高可靠性的網路伺服器和客戶端程序。也就是說Netty是一個基於NIO的客戶端和伺服器端框架，使用Netty可以確保你快速和簡單的開發出一個網路應用。

雖然我使用過Mina，但是建議開發選型上使用Netty 。因為Netty有對google protocal buf的支持，有更完整的ioc容器支持(spring,guice,jbossmc和osgi)。Mina更新到2.0就不再更新了，而Netty一直在更新，目前最新發布的版本已經更新到4.1，從版本更新角度可以看出Netty的社區很活躍，修復問題一直在持續，這將對我們選擇它進行開發帶來很多便利。

單體Netty IM系統，可以支持10萬並發，如果機器性能良好的情況下可以超過10萬。

分布式的Netty IM系統，可以支持更高的並發數。各組件的功能如下：

①IM Server 連接器：主要用來負責維持和客戶端的TCP連接。

②緩存：負責用戶、用戶綁定關系、用戶群組關系的緩存。 緩存臨時數據、加快讀速度。可以做成集群方式。

③資料庫：用戶、群組、離線消息。可以做成集群方式。

④消息隊列：用戶狀態廣播、群組消息廣播。可以做成集群方式。

開發環境推薦使用netty-4.1.30這個版本，jdk使用1.8及以上版本。如下所示：

io.netty

netty-all

4.1.30.Final

①開發框架採用Netty + Spring(Spring4.x)。

②Spring採用Spring cloud。基於restful 短連接的分布式微服務架構，完成用戶在線管理、單點登錄系統。

③消息隊列採用rocketMQ 高速隊列，整流作用。

④資料庫採用MYSQL。

⑤協議JSON +自定義數據包採用Fastjson。

基於Netty的IM開源代碼在網上有很多，這里就不列舉了，可以自行去git上下載。我認為關鍵是把概念理清楚，技術堆棧選好，總體框架定好，接下來就是開發一個適合中小企業的IM系統了，但是要考慮到後期的擴展性，因為一個好的產品不能自己用，要讓更多的人使用。

B. java開發聊天功能用什麼技術比較好

開發聊天功能可以採用以下幾種技術：

• Socket編程：使用Java Socket編程可以實現基於TCP或UDP的網路通信，這虧畢是Java最基礎、最底層的網路編程技術。使用Socket編程可以實現實時通信、消息推送等功能，但需要自己實現消息協議、數據傳輸等細節。

• Java NIO：Java NIO（New IO）是Java 1.4之後引入的一種新IO API，它提供了基於事件驅動的非同步IO操作，可以大大提高網路通信效率。使用Java NIO可以實現高並發、高性能的網路通信，但需要掌握NIO的相關概念和使用方式。

• WebSockets：WebSockets是HTML5標准中新增的一種協議，可以實現基於瀏覽器的實時雙向通信。使用Java開發WebSockets可以實現跨平台、跨瀏覽器的聊天功能，但需要掌握WebSocket協議的相關概念和使用方式。

• 第三方庫：Java中有許多第三方庫可以用於實現聊天功能，如Netty、Apache MINA、Smack等。這些庫提供了更加簡銷悉芹單、易用的API，可以快速陸升搭建聊天功能，但需要熟悉相關庫的使用方法和特性。

具體選用哪種技術，需要根據具體需求、開發經驗和技術水平等因素進行綜合考慮。

C. 如何用mina的ProtocolDecoder來解析websocket的消息

MINA,Grizzly[grizzly-nio-framework],xSocket都是基於 java nio的 server framework.

這里的性能缺陷的焦點是指當一條channel上的SelectionKey.OP_READ ready時,1.是由select thread讀完數據之後再分發給應用程序的handler,2.還是直接就分發,由handler thread來負責讀數據和handle.

mina,xsocket是1. grizzly-nio-framework是2.

盡管讀channel buffer中bytes是很快的,但是如果我們放大,當連接channel達到上萬數量級,甚至更多,這種延遲響應的效果將會愈加明顯.

MINA:

for all selectedKeys

{

read data then fireMessageReceived.

}

xSocket:

for all selectedKeys

{

read data ,append it to readQueue then performOnData.

}

其中mina在fireMessageReceived時沒有使用threadpool來分發,所以需要應用程序在handler.messageReceived中再分發.而xsocket的performOnData默認是分發給threadpool[WorkerPool],WorkerPool雖然解決了線程池中的線程不能充到最大的問題[跟tomcat6的做法一樣],但是它的調度機制依然缺乏靈活性.

Grizzly:

for all selectedKeys

{

[NIOContext---filterChain.execute--->our filter.execute]<------run In DefaultThreadPool

}

grizzly的DefaultThreadPool幾乎重寫了java util concurrent threadpool,並使用自己的LinkedTransferQueue,但同樣缺乏靈活的池中線程的調度機制.

下面分別是MINA,xSocket,Grizzly的源碼分析:

Apache MINA (mina-2.0.0-M6源碼為例):

我們使用mina nio tcp最常用的樣例如下:

NioSocketAcceptor acceptor = new NioSocketAcceptor(/*NioProcessorPool's size*/);
DefaultIoFilterChainBuilder chain = acceptor.getFilterChain();

//chain.addLast("codec", new ProtocolCodecFilter(
//new TextLineCodecFactory()));
......
// Bind
acceptor.setHandler(/*our IoHandler*/);
acceptor.bind(new InetSocketAddress(port));

D. Java-JAVA中都有哪幾種分布式實現方式，各有什麼優缺點

常用的有EJB、rmi、Web Service，還有Hessian、NIO等，它們的優缺點比較比下：
1：EJB
優勢：可擴展性好，安全性強，支持分布式事務處理。
劣勢：不能跨語言；配置相對復雜，不同J2EE容器之間很難做無縫遷移。
2:rmi
優勢：面向對象的遠程服務模型；基於TCP協議上的服務，執行速度快。
劣勢：不能跨語言；每個遠程對象都要綁定埠，不易維護；不支持分布式事務JTA,RMI框架對於安全性、事務、可擴展性的支持非常有限。
3： Web Service
優勢：跨語言、跨平台，SOA思想的實現；安全性高；可以用來兼容legacy系統的功能
劣勢：性能相對差，不支持兩階段事務
4：Hessian
優勢：使用簡單，速度快；跨語言，跨平台；可以用來兼容legacy系統的功能。
劣勢：安全性的支持不夠強，不支持兩階段事務。
5：NIO(Mina/Netty)
優點：基於TCP通信，效率上高於HTTP的方式，非阻塞IO應對高並發綽綽有餘。根據具體的需要制定數據傳輸的格式，可擴展性強。
缺點：不能跨語言，無法穿透防火牆。

E. 寫微信小程序需要會什麼

1、微信官方為小程序提供了大量的介面api，開發小程序需要有基本的Javascript，HTML，CSS的基礎。
2、 小程序開發，常見使用「MINA」框架
Apache Mina Server 是一個網路通信應用框架，也就是說，它主要是對基於TCP/IP、UDP/IP協議棧的通信框架（當然，也可以提供JAVA 對象的序列化服務、虛擬機管道通信服務等），Mina 可以幫助我們快速開發高性能、高擴展性的網路通信應用，Mina 提供了事件驅動、非同步（Mina 的非同步IO 默認使用的是JAVA NIO 作為底層支持）操作的編程模型。
這個框架為微信小程序的運行提供了豐富的組件和API。要學會和掌握小程序的框架結構、數據綁定機制、模板、數據緩存、常用組件和API等相關知識。