thrift编程

Ⅰ 什么是Thrift

• thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++, java, Go,Python, php, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效的服务。

  
  

• thrift最初由facebook开发用做系统内各语言之间的RPC通信 。
  2007年由facebook贡献到apache基金 ，08年5月进入apache孵化器 。
  支持多种语言之间的RPC方式的通信：php语言client可以构造一个对象，调用相应的服务方法来调用java语言的服务 ，跨越语言的C/S RPC调用 。

  
  

• thrift允许定义一个简单的定义文件中的数据类型和服务接口，以作为输入文件，编译器生成代码用来方便地生成RPC客户端和服务器通信的无缝跨编程语言。

Ⅱ php rpc好用吗,有什么优缺点php rpc框架哪个好

什么是RPC框架？ 如果用一句话概括RPC就是：远程调用框架（Remote Procere Call）那什么是远程调用？通常我们调用一个php中的方法，比如这样一个函数方法: localAdd(10, 20)，localAdd方法的具体实现要么是用户自己定义的，要么是php库函数中自带的，也就说在localAdd方法的代码实现在本地，它是一个本地调用！远程调用意思就是：被调用方法的具体实现不在程序运行本地，而是在别的某个远程地方。

远程调用原理

比如 A (client) 调用 B (server) 提供的remoteAdd方法：

• 首先A与B之间建立一个TCP连接；

• 然后A把需要调用的方法名（这里是remoteAdd）以及方法参数（10， 20）序列化成字节流发送出去；

• B接受A发送过来的字节流，然后反序列化得到目标方法名，方法参数，接着执行相应的方法调用（可能是localAdd）并把结果30返回；

• A接受远程调用结果,输出30。

RPC框架就是把我刚才说的这几点些细节给封装起来，给用户暴露简单友好的API使用。

远程调用的好处

解耦：当server需要对方法内实现修改时，client完全感知不到，不用做任何变更；这种方式在跨部门，跨公司合作的时候经常用到，并且方法的提供者我们通常称为：服务的暴露。

RPC与Socket有什么区别？

通过上面的简单阐述，好像RPC与Socket 好像啊。都是调用远程的方法，都是client/server模式，我之前也写了一篇文章: 细说socket 那他们有啥区别呢?

RPC（远程过程调用）采用客户机/服务器模式实现两个进程之间相互通信。socket是RPC经常采用的通信手段之一，RPC是在Socket的基础上实现的，它比socket需要更多的网络和系统资源。除了Socket，RPC还有其他的通信方法，比如：http、操作系统自带的管道等技术来实现对于远程程序的调用。微软的Windows系统中，RPC就是采用命名管道进行通信。

RPC与REST有什么区别？

通过了解RPC后，我们知道是RPC是client/server模式的，调用远程的方法，REST也是我们熟悉的一套API调用协议方法，它也是基于client/server模式的，调用远程的方法的，那他俩又有啥区别呢？

REST API 和 RPC 都是在 Server端 把一个个函数封装成接口暴露出去，以供 Client端 调用，不过 REST API 是基于HTTP协议的，REST致力于通过http协议中的POST/GET/PUT/DELETE等方法和一个可读性强的URL来提供一个http请求。而 RPC 则可以不基于 HTTP协议
因此，如果是后端两种语言互相调用，用 RPC 可以获得更好的性能（省去了 HTTP 报头等一系列东西），应该也更容易配置。如果是前端通过 AJAX 调用后端，那么用 REST API 的形式比较好（因为无论如何也避不开 HTTP 这道坎）。

php中流行的rpc框架有哪些

既然php是世界上最好的语言，那php中流行的RPC框架有哪些呢？

先列举下： phprpc，yar, thrift, gRPC, swoole, hprose

因为时间和精力有限，不可能一个一个的去学习和使用，我选几个世面上用的最多的几个用下吧。因为RPC原理是一样的，都是Client/Server模式，只是每个框架的使用方式不一样而已。

Ⅲ thrift c++ 服务端的异步怎么实现

仰望明天

thrift服务端的c++语言实现
1.thrift 概念1
thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效的服务。
thrift最初由facebook开发，07年四月开放源码，08年5月进入apache孵化器。
thrift允许你定义一个简单的定义文件中的数据类型和服务接口。以作为输入文件，编译器生成代码用来方便地生成RPC客户端和服务器通信的无缝跨编程语言。
2.生成c++语言的thrift服务端
利用thrift软件框架进行开发要首先进行环境的搭建，安装thrift运行库。
基本流程如下：
1）定义数据类型和服务接口文件：test.thrift；
2）利用代码生成引擎生成服务端框架，thrift --gen cpp test.thrift；
3）在./gen-cpp/test_server.skeleton.cpp文件中添加定制的服务；
4）编写客户端程序向服务端请求服务。
详细过程可以参加注释2给出的链接地址。
thrift定义了自己的数据类型，从而实现了跨语言平台之间的数据交换，关于thrift数据类型的详细说明可以参加注释3给出的链接地址。
3.php客户端
基于c++语言实现的thrift服务端程序经常被用在网站的后台提供实时且高效的服务，通常客户端程序是php语言的实现版本。只要根据数据类型和服务接口文件test.thrift生成php语言的接口文件即可用来调用。方法是thrift --gen php test.thrift，调用该命令后会在工作目录下生成./gen-php目录，里面有php语言的接口文件。
注释：

Ⅳ 2017年，Web 后端出现了哪些新的思想和技术

1. 网络交互的多样性
1.1 Http1.1协议日渐式微,Http2和websocket,以及更多的自定义协议将会成为主流。
Web后端将不仅仅是一个web后端，而变成一个大后端，或者叫 中端+后端(这个概念阿里巴巴很早就有了)。随着移动互联网的发展，以及物联网的兴起(在这里我把mobike的单车看作是物联网的一个终端)，用户的接入方式由单纯的浏览器，向着多种接入设备进行演进。 在这个概念之下，用户的定义会更广泛，站在后端的角度看来，连接上服务器的不再是一个个的用户，而是一个个的终端，并存在多个终端同享一个用户的情况(多端登录)。 因此在这个趋势之下，整个后端的接入层(比如nginx之于web)将会走向更广阔的天地，对于任意一个设备来说，他将同时利用多种协议和多种方式连接到不同的接入点来达成自身的功能。
1.2 网络协议与网络信息交互的样式多样性
从最早的webService,到后来的json-rpc，和thrift再到如今的 protobuf(grpc)等等，我们开始为不同的数据交互设计了不同的序列化协议和调用协议，然而受到环境(移动终端的弱网络状态)，性能(网关服务,与网络调用)的影响,我们开始使用大量容错性更强，数据量更小的数据传输方式，来满足我们的需求。
在早先的web中，http+from表单的提交成为我们的标配，然而在今天，TCP都不一定成为必选项，UDP和UDP的改进协议都在被不同的公司进行尝试，甚至于KCP都有可能成为大家考虑的方案之一。
2.数据多样性开始成为设计的焦点。
2.1 在早先的web后端中，表设计和功能开发构成了日常工作的绝大部分，所有的后端人员都在试图让一切的用户操作落入CRUD的抽象范畴里(比如 Restful)，然而CRUD怎么会满足我们的抽象需求呢。
自从memcached和redis在被大量引入后端开发之后，我们可以看到，后端人员在对数据的理解上有了大量的改变，我们不再单单把数据视为RDBMS里面的一行，而是围绕着业务本身对数据进行了分类。最明显的是，状态数据的引入，在开发中，我们将用户的部分信息，视为一个用户的状态，在状态数据的基础上，让用户的行为变成状态迁移的触发，在表现上看我们让用户的信息存储到redis和memcached 里就是最RDMBS不能有效满足我们的抽象需求的一次改进。
2.2 从狂热的Nosql到Nosql和RDBMS的共存，代表了后端开发人员对数据这一个方式的新理解，而传统的行存储到列存储，到监控常用的基于时间序列的数据库都开始进入了我们的视野。
几年来，大量的开发者，开始将用户产生的数据进行了更详细的归类，不再是rdbms一刀切的方式， 我们会详细地划分出用户的状态数据落入到Nosql，将用户的操作数据落入到RDBMS(表述不一定全，但在类似于订单支付之类的具有幂等性要求的操作中要求事务的完备等)，将用户的行为统计落入时间序列数据库， 将用户的大量相关资源(如头像图片)将会落入到我们的对象存储中。在后端开发的手册里，数据格式的多样性成为了必须考虑的问题。

3.围绕着数据的收集,存储，计算，索引查询，分析 成为后端的常态
3.1 后端角色的含义，在人手不足的公司里，很难存在一个专注于后端业务开发的开发人员了，在大数据的浪潮下，后端开发人员开始兼职起了数据系统的开发工程师。 随着互联网大量技术的演进和发展，任何一个职业都很难找到一个明确的界限，因此围绕着数据的收集，存储，计算，分析，和索引查询都会成为后端开发人员的必备技能。
3.2 数据收集
(1) 随着分布式，集群化，多IDC的发展，不同于运维的系统性能收集，后端开发开始着重于收集与应用运营过程相关的各类指标和数据，
除了日常的业务开发，同时还会伴随着应用调用过程的耗时，目标服务可用性等数据的收集，常见的如java的 metrics,zipkin等开源第三方的工具开始被广泛借鉴和引用。
(2) 用户行为和终端信息的上报收集，随着大数据的开展，以及精细化运营的要求，后端逐渐开始接触到用户相关信息和终端运行状态的信息上报，
收集上来的数据不仅用于用户的画像分析，同时也为客服的用户追踪，用户的操作行为做出决策，通常表现在当用户投诉某一笔业务的失败时，便于开发人员的快速定位和排错。
3.3 数据存储
接着上面的数据收集，数据的传输和存储成为了绕不开的功能，kafka的大规模运用，HDFS,HBase等工具也开始成为了后端开发日常的一部分。
3.4 数据计算
然而存储的原始数据是没有价值的，后端又开始了他们的数据清洗和数据处理的道路，storm,spark成为了后端的新秀，与用户运营统计分析(俗称跑策略跑算法)不同，当前语境下的后端数据计算，更多是一个短耗时,小规模的计算，典型的则比如风控系统，和预警系统，针对用户的行为和流量的多少，对恶意用户进行甄别和快速干预。
3.5 数据索引查询
(1) 随着业务的扩充，任意一个app几乎都内置了相应的搜索引擎，Lucene,solr也成为了后端程序员必备的技能之一，不管是精确搜索，还是模糊匹配，后端身上背负的业务也越来越多。
(2) 准实时数据的搜索也将成为常态，在近几年的发展中，如何快速地在一个巨量的数据中，完成RDBMS中的 join,distinct统计等成为后端工程师不得不面对的问题

3.6 数据分析查询
AI和深度学习已经拉开了序幕，围绕着数据本身的挖掘，学习，也开始成为了产品侧的需求，但理想归理想，现实归现实，后端的同学们在这个方向上仍然还是摸索状态，但长远来说跑不了了。

4.架构设计的更进一步

2017年里，SOA的名词正在淡出视野，微服务成了替代SOA的高频词，Serverless也开始走向了广大后端的知识技能图谱，不管是追新也好，满足需求也罢，我也向诸位举例一些常见的单词，然而挂一漏万请诸位担待
4.1 CQRS(命令查询职责分离模式)
将传统CRUD的写操作，进行异步化,后端配合读写数据库的分离。以及消息队列的引入，将写操作相关的一些耗时操作(验证，走流程)等进行异步化，常见的如电商中的订单。
4.2 actor
Erlang的actor的兴起，不管是golang Goroutine，还是scala/java的akka，都在深刻地影响着后端系统的架构设计。
4.3 CRDT和最终一致性
分布式系统的兴起，也带来了可用性和一致性的矛盾问题，协同两个进程间的数据成为了每一个后端绕不过去的坎，为了达成最终一致性，各类方案如雨后春笋般冒出。
4.4 reactive
当android上的流行库Rxjava，从前端走向后台的时候，也意味着后端也开始进入了响应式编程的时代，java的 vert.x就是其中的例子，那种request-response一招破万法的时光不再有了。
5. 运维和devops对后端的要求
5.1 安全,稳定,高效,经济
(1) 随着业务走向稳定，以及互联网的发展，网络服务的安全性开始成为了后端的核心之一，由于法律的不健全，对违法分子的追责难度大，违法成本低，网络安全攻击将会在将来的一段时间内成为常态，这就对后端的程序特别是对外的接口设计提出了更高的要求。
(2) 多机房，异地容灾，数据备份。健壮的后端一直是后端应用的要求之一。新的时间里，后端的可用性，稳定性依然是每一个后端都要面对的问题。
(3) 以前一个用户只有一个电脑，浏览网站的时候，只在获取数据的时候与站点有交互。现在随着电子设备，智能设备的增多，一个用户能够接入网络的设备也在增多，同时长连接和并发数也会增多，因此高性能的接入网关开始成为了后端人员关注的焦点，比如围绕着intel的dpdk各类应用也是纷至沓来。
(4) 经济，利用云服务的即买即用，用完即退的特点，使得在开展运营活动的时候，后端不用向运维征求和购买大量的机器。 然而为了在运营活动的短时冲击和突增流量的情况下后端应用能够平稳地运行，对后端人员的部署和调度能力提出了更高的要求。

5.2 更规范的软件开发流程
git+jenkins+ansible的开源组合，开始无法满足开发和运维的需求，项目管理的集成，测试人员的介入，都要求后端的软件工程工具从各自为阵的开源工具，走向一个大一统的系统，需要我们将 需求,BUG管理,迭代版本，开发，测试，灰度，蓝绿部署流程都进行集成。
5.3 云服务,容器化之争
公有云，私有云，混合云，以及容器等相关的云计算技术，也在推动者后端的技术改革，后端面对的不再仅仅是一个物理机器，或者虚拟机，而是一个更复杂更多样性的环境，对后端业务之外的技术和调度要求将越来越高。
相对于前端，后端实在是一个特别笼统的说法，正如上面提出的观点，很多的技术其实并不属于后端工程师，他们有的时候叫 运营开发工程师，有的叫大数据工程师，但为了相对于前端的划分，因此我把他们的工作内容都划到了后端里面去，毕竟相对于技术研究,他们面对的都是一些技术应用的场合，很多的开源软件只要达到了理解原理如何使用的水平就已经足够应付日常工作了。

Ⅳ hbase wal 是同步的吗

hbase wal 是同步的。

HBase的数据文件都存储在HDFS上，格式主要有两种：HFile:HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制文件，实际上StoreFile就是对HFile做了轻量级的包装，即StoreFile底层就是HFile。

其中数据文件位置可为本地文件目录，也可以分布式文件系统hdfs的路径。当其为前者时，直接指定即可，也可以加前缀file:///而当其伟后者时，必须明确指明hdfs的路径，例如hdfs://mymaster:9000/path。

访问接口：

1. Native Java API，最常规和高效的访问方式，适合Hadoop MapRece Job并行批处理HBase表数据。

2. HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用。

3. Thrift Gateway，利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据。

4. REST Gateway，支持REST 风格的Http API访问HBase, 解除了语言限制。

5. Pig，可以使用Pig Latin流式编程语言来操作HBase中的数据，和Hive类似，本质最终也是编译成MapRece Job来处理HBase表数据，适合做数据统计。