thrift編程

Ⅰ 什麼是Thrift

• thrift是一個軟體框架，用來進行可擴展且跨語言的服務的開發。它結合了功能強大的軟體堆棧和代碼生成引擎，以構建在 C++, java, Go,Python, php, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 這些編程語言間無縫結合的、高效的服務。

  
  

• thrift最初由facebook開發用做系統內各語言之間的RPC通信 。
  2007年由facebook貢獻到apache基金 ，08年5月進入apache孵化器 。
  支持多種語言之間的RPC方式的通信：php語言client可以構造一個對象，調用相應的服務方法來調用java語言的服務 ，跨越語言的C/S RPC調用 。

  
  

• thrift允許定義一個簡單的定義文件中的數據類型和服務介面，以作為輸入文件，編譯器生成代碼用來方便地生成RPC客戶端和伺服器通信的無縫跨編程語言。

Ⅱ php rpc好用嗎,有什麼優缺點php rpc框架哪個好

什麼是RPC框架？ 如果用一句話概括RPC就是：遠程調用框架（Remote Procere Call）那什麼是遠程調用？通常我們調用一個php中的方法，比如這樣一個函數方法: localAdd(10, 20)，localAdd方法的具體實現要麼是用戶自己定義的，要麼是php庫函數中自帶的，也就說在localAdd方法的代碼實現在本地，它是一個本地調用！遠程調用意思就是：被調用方法的具體實現不在程序運行本地，而是在別的某個遠程地方。

遠程調用原理

比如 A (client) 調用 B (server) 提供的remoteAdd方法：

• 首先A與B之間建立一個TCP連接；

• 然後A把需要調用的方法名（這里是remoteAdd）以及方法參數（10， 20）序列化成位元組流發送出去；

• B接受A發送過來的位元組流，然後反序列化得到目標方法名，方法參數，接著執行相應的方法調用（可能是localAdd）並把結果30返回；

• A接受遠程調用結果,輸出30。

RPC框架就是把我剛才說的這幾點些細節給封裝起來，給用戶暴露簡單友好的API使用。

遠程調用的好處

解耦：當server需要對方法內實現修改時，client完全感知不到，不用做任何變更；這種方式在跨部門，跨公司合作的時候經常用到，並且方法的提供者我們通常稱為：服務的暴露。

RPC與Socket有什麼區別？

通過上面的簡單闡述，好像RPC與Socket 好像啊。都是調用遠程的方法，都是client/server模式，我之前也寫了一篇文章: 細說socket 那他們有啥區別呢?

RPC（遠程過程調用）採用客戶機/伺服器模式實現兩個進程之間相互通信。socket是RPC經常採用的通信手段之一，RPC是在Socket的基礎上實現的，它比socket需要更多的網路和系統資源。除了Socket，RPC還有其他的通信方法，比如：http、操作系統自帶的管道等技術來實現對於遠程程序的調用。微軟的Windows系統中，RPC就是採用命名管道進行通信。

RPC與REST有什麼區別？

通過了解RPC後，我們知道是RPC是client/server模式的，調用遠程的方法，REST也是我們熟悉的一套API調用協議方法，它也是基於client/server模式的，調用遠程的方法的，那他倆又有啥區別呢？

REST API 和 RPC 都是在 Server端 把一個個函數封裝成介面暴露出去，以供 Client端 調用，不過 REST API 是基於HTTP協議的，REST致力於通過http協議中的POST/GET/PUT/DELETE等方法和一個可讀性強的URL來提供一個http請求。而 RPC 則可以不基於 HTTP協議
因此，如果是後端兩種語言互相調用，用 RPC 可以獲得更好的性能（省去了 HTTP 報頭等一系列東西），應該也更容易配置。如果是前端通過 AJAX 調用後端，那麼用 REST API 的形式比較好（因為無論如何也避不開 HTTP 這道坎）。

php中流行的rpc框架有哪些

既然php是世界上最好的語言，那php中流行的RPC框架有哪些呢？

先列舉下： phprpc，yar, thrift, gRPC, swoole, hprose

因為時間和精力有限，不可能一個一個的去學習和使用，我選幾個世面上用的最多的幾個用下吧。因為RPC原理是一樣的，都是Client/Server模式，只是每個框架的使用方式不一樣而已。

Ⅲ thrift c++ 服務端的非同步怎麼實現

仰望明天

thrift服務端的c++語言實現
1.thrift 概念1
thrift是一個軟體框架，用來進行可擴展且跨語言的服務的開發。它結合了功能強大的軟體堆棧和代碼生成引擎，以構建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 這些編程語言間無縫結合的、高效的服務。
thrift最初由facebook開發，07年四月開放源碼，08年5月進入apache孵化器。
thrift允許你定義一個簡單的定義文件中的數據類型和服務介面。以作為輸入文件，編譯器生成代碼用來方便地生成RPC客戶端和伺服器通信的無縫跨編程語言。
2.生成c++語言的thrift服務端
利用thrift軟體框架進行開發要首先進行環境的搭建，安裝thrift運行庫。
基本流程如下：
1）定義數據類型和服務介面文件：test.thrift；
2）利用代碼生成引擎生成服務端框架，thrift --gen cpp test.thrift；
3）在./gen-cpp/test_server.skeleton.cpp文件中添加定製的服務；
4）編寫客戶端程序向服務端請求服務。
詳細過程可以參加註釋2給出的鏈接地址。
thrift定義了自己的數據類型，從而實現了跨語言平台之間的數據交換，關於thrift數據類型的詳細說明可以參加註釋3給出的鏈接地址。
3.php客戶端
基於c++語言實現的thrift服務端程序經常被用在網站的後台提供實時且高效的服務，通常客戶端程序是php語言的實現版本。只要根據數據類型和服務介面文件test.thrift生成php語言的介面文件即可用來調用。方法是thrift --gen php test.thrift，調用該命令後會在工作目錄下生成./gen-php目錄，裡面有php語言的介面文件。
注釋：

Ⅳ 2017年，Web 後端出現了哪些新的思想和技術

1. 網路交互的多樣性
1.1 Http1.1協議日漸式微,Http2和websocket,以及更多的自定義協議將會成為主流。
Web後端將不僅僅是一個web後端，而變成一個大後端，或者叫 中端+後端(這個概念阿里巴巴很早就有了)。隨著移動互聯網的發展，以及物聯網的興起(在這里我把mobike的單車看作是物聯網的一個終端)，用戶的接入方式由單純的瀏覽器，向著多種接入設備進行演進。 在這個概念之下，用戶的定義會更廣泛，站在後端的角度看來，連接上伺服器的不再是一個個的用戶，而是一個個的終端，並存在多個終端同享一個用戶的情況(多端登錄)。 因此在這個趨勢之下，整個後端的接入層(比如nginx之於web)將會走向更廣闊的天地，對於任意一個設備來說，他將同時利用多種協議和多種方式連接到不同的接入點來達成自身的功能。
1.2 網路協議與網路信息交互的樣式多樣性
從最早的webService,到後來的json-rpc，和thrift再到如今的 protobuf(grpc)等等，我們開始為不同的數據交互設計了不同的序列化協議和調用協議，然而受到環境(移動終端的弱網路狀態)，性能(網關服務,與網路調用)的影響,我們開始使用大量容錯性更強，數據量更小的數據傳輸方式，來滿足我們的需求。
在早先的web中，http+from表單的提交成為我們的標配，然而在今天，TCP都不一定成為必選項，UDP和UDP的改進協議都在被不同的公司進行嘗試，甚至於KCP都有可能成為大家考慮的方案之一。
2.數據多樣性開始成為設計的焦點。
2.1 在早先的web後端中，表設計和功能開發構成了日常工作的絕大部分，所有的後端人員都在試圖讓一切的用戶操作落入CRUD的抽象范疇里(比如 Restful)，然而CRUD怎麼會滿足我們的抽象需求呢。
自從memcached和redis在被大量引入後端開發之後，我們可以看到，後端人員在對數據的理解上有了大量的改變，我們不再單單把數據視為RDBMS裡面的一行，而是圍繞著業務本身對數據進行了分類。最明顯的是，狀態數據的引入，在開發中，我們將用戶的部分信息，視為一個用戶的狀態，在狀態數據的基礎上，讓用戶的行為變成狀態遷移的觸發，在表現上看我們讓用戶的信息存儲到redis和memcached 里就是最RDMBS不能有效滿足我們的抽象需求的一次改進。
2.2 從狂熱的Nosql到Nosql和RDBMS的共存，代表了後端開發人員對數據這一個方式的新理解，而傳統的行存儲到列存儲，到監控常用的基於時間序列的資料庫都開始進入了我們的視野。
幾年來，大量的開發者，開始將用戶產生的數據進行了更詳細的歸類，不再是rdbms一刀切的方式， 我們會詳細地劃分出用戶的狀態數據落入到Nosql，將用戶的操作數據落入到RDBMS(表述不一定全，但在類似於訂單支付之類的具有冪等性要求的操作中要求事務的完備等)，將用戶的行為統計落入時間序列資料庫， 將用戶的大量相關資源(如頭像圖片)將會落入到我們的對象存儲中。在後端開發的手冊里，數據格式的多樣性成為了必須考慮的問題。

3.圍繞著數據的收集,存儲，計算，索引查詢，分析 成為後端的常態
3.1 後端角色的含義，在人手不足的公司里，很難存在一個專注於後端業務開發的開發人員了，在大數據的浪潮下，後端開發人員開始兼職起了數據系統的開發工程師。 隨著互聯網大量技術的演進和發展，任何一個職業都很難找到一個明確的界限，因此圍繞著數據的收集，存儲，計算，分析，和索引查詢都會成為後端開發人員的必備技能。
3.2 數據收集
(1) 隨著分布式，集群化，多IDC的發展，不同於運維的系統性能收集，後端開發開始著重於收集與應用運營過程相關的各類指標和數據，
除了日常的業務開發，同時還會伴隨著應用調用過程的耗時，目標服務可用性等數據的收集，常見的如java的 metrics,zipkin等開源第三方的工具開始被廣泛借鑒和引用。
(2) 用戶行為和終端信息的上報收集，隨著大數據的開展，以及精細化運營的要求，後端逐漸開始接觸到用戶相關信息和終端運行狀態的信息上報，
收集上來的數據不僅用於用戶的畫像分析，同時也為客服的用戶追蹤，用戶的操作行為做出決策，通常表現在當用戶投訴某一筆業務的失敗時，便於開發人員的快速定位和排錯。
3.3 數據存儲
接著上面的數據收集，數據的傳輸和存儲成為了繞不開的功能，kafka的大規模運用，HDFS,HBase等工具也開始成為了後端開發日常的一部分。
3.4 數據計算
然而存儲的原始數據是沒有價值的，後端又開始了他們的數據清洗和數據處理的道路，storm,spark成為了後端的新秀，與用戶運營統計分析(俗稱跑策略跑演算法)不同，當前語境下的後端數據計算，更多是一個短耗時,小規模的計算，典型的則比如風控系統，和預警系統，針對用戶的行為和流量的多少，對惡意用戶進行甄別和快速干預。
3.5 數據索引查詢
(1) 隨著業務的擴充，任意一個app幾乎都內置了相應的搜索引擎，Lucene,solr也成為了後端程序員必備的技能之一，不管是精確搜索，還是模糊匹配，後端身上背負的業務也越來越多。
(2) 准實時數據的搜索也將成為常態，在近幾年的發展中，如何快速地在一個巨量的數據中，完成RDBMS中的 join,distinct統計等成為後端工程師不得不面對的問題

3.6 數據分析查詢
AI和深度學習已經拉開了序幕，圍繞著數據本身的挖掘，學習，也開始成為了產品側的需求，但理想歸理想，現實歸現實，後端的同學們在這個方向上仍然還是摸索狀態，但長遠來說跑不了了。

4.架構設計的更進一步

2017年裡，SOA的名詞正在淡出視野，微服務成了替代SOA的高頻詞，Serverless也開始走向了廣大後端的知識技能圖譜，不管是追新也好，滿足需求也罷，我也向諸位舉例一些常見的單詞，然而掛一漏萬請諸位擔待
4.1 CQRS(命令查詢職責分離模式)
將傳統CRUD的寫操作，進行非同步化,後端配合讀寫資料庫的分離。以及消息隊列的引入，將寫操作相關的一些耗時操作(驗證，走流程)等進行非同步化，常見的如電商中的訂單。
4.2 actor
Erlang的actor的興起，不管是golang Goroutine，還是scala/java的akka，都在深刻地影響著後端系統的架構設計。
4.3 CRDT和最終一致性
分布式系統的興起，也帶來了可用性和一致性的矛盾問題，協同兩個進程間的數據成為了每一個後端繞不過去的坎，為了達成最終一致性，各類方案如雨後春筍般冒出。
4.4 reactive
當android上的流行庫Rxjava，從前端走向後台的時候，也意味著後端也開始進入了響應式編程的時代，java的 vert.x就是其中的例子，那種request-response一招破萬法的時光不再有了。
5. 運維和devops對後端的要求
5.1 安全,穩定,高效,經濟
(1) 隨著業務走向穩定，以及互聯網的發展，網路服務的安全性開始成為了後端的核心之一，由於法律的不健全，對違法分子的追責難度大，違法成本低，網路安全攻擊將會在將來的一段時間內成為常態，這就對後端的程序特別是對外的介面設計提出了更高的要求。
(2) 多機房，異地容災，數據備份。健壯的後端一直是後端應用的要求之一。新的時間里，後端的可用性，穩定性依然是每一個後端都要面對的問題。
(3) 以前一個用戶只有一個電腦，瀏覽網站的時候，只在獲取數據的時候與站點有交互。現在隨著電子設備，智能設備的增多，一個用戶能夠接入網路的設備也在增多，同時長連接和並發數也會增多，因此高性能的接入網關開始成為了後端人員關注的焦點，比如圍繞著intel的dpdk各類應用也是紛至沓來。
(4) 經濟，利用雲服務的即買即用，用完即退的特點，使得在開展運營活動的時候，後端不用向運維徵求和購買大量的機器。 然而為了在運營活動的短時沖擊和突增流量的情況下後端應用能夠平穩地運行，對後端人員的部署和調度能力提出了更高的要求。

5.2 更規范的軟體開發流程
git+jenkins+ansible的開源組合，開始無法滿足開發和運維的需求，項目管理的集成，測試人員的介入，都要求後端的軟體工程工具從各自為陣的開源工具，走向一個大一統的系統，需要我們將 需求,BUG管理,迭代版本，開發，測試，灰度，藍綠部署流程都進行集成。
5.3 雲服務,容器化之爭
公有雲，私有雲，混合雲，以及容器等相關的雲計算技術，也在推動者後端的技術改革，後端面對的不再僅僅是一個物理機器，或者虛擬機，而是一個更復雜更多樣性的環境，對後端業務之外的技術和調度要求將越來越高。
相對於前端，後端實在是一個特別籠統的說法，正如上面提出的觀點，很多的技術其實並不屬於後端工程師，他們有的時候叫 運營開發工程師，有的叫大數據工程師，但為了相對於前端的劃分，因此我把他們的工作內容都劃到了後端裡面去，畢竟相對於技術研究,他們面對的都是一些技術應用的場合，很多的開源軟體只要達到了理解原理如何使用的水平就已經足夠應付日常工作了。

Ⅳ hbase wal 是同步的嗎

hbase wal 是同步的。

HBase的數據文件都存儲在HDFS上，格式主要有兩種：HFile:HBase中KeyValue數據的存儲格式，HFile是Hadoop的二進制文件，實際上StoreFile就是對HFile做了輕量級的包裝，即StoreFile底層就是HFile。

其中數據文件位置可為本地文件目錄，也可以分布式文件系統hdfs的路徑。當其為前者時，直接指定即可，也可以加前綴file:///而當其偉後者時，必須明確指明hdfs的路徑，例如hdfs://mymaster:9000/path。

訪問介面：

1. Native Java API，最常規和高效的訪問方式，適合Hadoop MapRece Job並行批處理HBase表數據。

2. HBase Shell，HBase的命令行工具，最簡單的介面，適合HBase管理使用。

3. Thrift Gateway，利用Thrift序列化技術，支持C++，PHP，Python等多種語言，適合其他異構系統在線訪問HBase表數據。

4. REST Gateway，支持REST 風格的Http API訪問HBase, 解除了語言限制。

5. Pig，可以使用Pig Latin流式編程語言來操作HBase中的數據，和Hive類似，本質最終也是編譯成MapRece Job來處理HBase表數據，適合做數據統計。