1. thrift的map和list怎么转成proto
Google放出来了Protocol buffers，一种用来部分替代xml的数据描述语言。Google就是Google，就算是推白菜出来，也一样能让人侧目。其实protocol buffers也不是什么新鲜的概念，且不说传统的ASN.1, ICE这些有点类似的东西，facebook一年前就推出了thrift，应该说定位是非常的接近的。也有谣传说是先有了protocol buffers在google内部流行，然后google的人跳槽到facebook，就出了thrift这个东西……呵呵，停止八卦，言归正传。 观察法看到的优缺点 Thrift: 支持的语言更广泛一些c++, java, python,ruby, csharp, haskell, ocmal, erlang, cocoa, php, squeak(真够变态的) protobuf 目前还是只支持c++, java, python, 其他语言有待开发. Thrift提供的功能更丰富一些: Thrift提供了简单的RPC构架(其实不简单了, block, nonblock的都有了…..) protobuf好像一心一意做好自己的事情，只提供了序列化和反序列化的功能。
2. thrift struct怎么实现继承的效果
Apache Thrift 是一个跨语言的服务框架,本质上为RPC;当我们开发的service需要开放出去的时候,就会遇到跨语言调用的问题,JAVA语言开发了一个UserService用来提供获取用户信息的服务,如果服务消费端有PHP/Python/C++等,我们不可能为所有的语言都适配出相应的调用方式,有时候我们会很无奈的使用Http来作为访问协议;但是如果服务消费端不能使用HTTP,而且更加倾向于 以操作本地API的方式 来使用服务,那么我们就需要Thrift来提供支持.
本文以UserService为例,描述一下使用thrift的方式,以及其原理..
一. service.thrift
struct User{
1:i64 id,
2:string name,
3:i64 timestamp,
4:bool vip
}
service UserService{
User getById(1:i64 id)
}
二. 生成API文件
首先下载和安装thrift客户端,比如在windows平台下,下载thrift.exe,不过此处需要提醒,不同的thrift客户端版本生成的API可能不兼容.本例使用thrift-0.9.0.exe;通过"--gen"指定生成API所适配的语言.本实例为生成java客户端API.
//windows平台下,将API文件输出在service目录下(此目录需要存在)
> thrift.exe --gen java -o service service.thrift
三. UserService实现类
public class UserServiceImpl implements UserService.Iface {
@Override
public User getById(long id){
System.out.println("invoke...id:" + id);
return new User();//for test
}
}
四.原理简析
1. User.java : thrift生成API的能力还是非常的有限,比如在struct中只能使用简单的数据类型(不支持Date,Collection<?>等),不过我们能从User中看出,它生成的类实现了"Serializable"接口和"TBase"接口.
其中Serializable接口表明这个类的实例是需要序列化之后在网络中传输的,为了不干扰JAVA本身的序列化和反序列化机制,它还重写了readObject和writeObject方法.不过这对thrift本身并没有帮助.
TBase接口是thrift序列化和反序列化时使用的,它的两个核心方法:read和write.在上述的thrift文件中,struct定义的每个属性都有一个序号,比如:1:id,那么thrift在序列化时,将会根据序号的顺序依次将属性的"名称 + 值"写入inputStream中,反序列化也是如此.(具体参见read和write的实现).
因为thrift的序列化和反序列化实例数据时,是根据"属性序号"进行,这可以保证数据在inputstream和outputstream中顺序是严格的.这一点也要求API开发者,如果更改了thrift文件中的struct定义,需要重新生成客户端API,否则服务将无法继续使用(可能报错,也可能数据错误).thrift序列化/反序列化的过程和JAVA自带的序列化机制不同,它将不会携带额外的class结构,此外thrift这种序列化机制更加适合网络传输,而且性能更加高效.
2. UserService.Client: 在生成的UserService中,有个Client静态类,这个类就是一个典型的代理类,此类已经实现了UserService的所有方法.开发者需要使用Client类中的API方法与Thrift server端交互,它将负责与Thrift server的Socket链接中,发送请求和接收响应.
3. rpc框架：thrift 和protobuf有什么区别
都是数据交换 , 整合多种语言 ,应用的解决方案。
性能都差不多.
相比较而言 , thrift 稍微强些. 支持的数据格式也多些.
支持的开发语言也比protobuf多些 .
目前只用过thrift. protobuf 倒没有尝试...都差不多.
4. thrift 可以定义泛型 吗
thrift中的数据类型 下面是thrift本身对类型的重定义，看一下： bool Boolean, one byte byte Signed byte i16 Signed 16-bit integer i32 Signed 32-bit integer i64 Signed 64-bit integer double 64-bit floating point value string String
5. thrift不是一种rpc框架吗，为什么看到有人也用它做序列化
Apache Thrift 跨语言服务框架,本质RPC;我发service需要放候,遇跨语言调用问题,JAVA语言发UserService用提供获取用户信息服务,服务消费端PHP/Python/C++等,我能所语言都适配相应调用式,候我奈使用Http作访问协议;服务消费端能使用HTTP,且更加倾向于 操作本API式 使用服务,我需要Thrift提供支持.
本文UserService例,描述使用thrift式,及其原理..
. service.thrift
struct User{
1:i64 id,
2:string name,
3:i64 timestamp,
4:bool vip
}
service UserService{
User getById(1:i64 id)
}
二. API文件
首先载安装thrift客户端,比windows平台,载thrift.exe,处需要提醒,同thrift客户端版本API能兼容.本例使用thrift-0.9.0.exe;通"--gen"指定API所适配语言.本实例java客户端API.
//windows平台,API文件输service目录(目录需要存)
> thrift.exe --gen java -o service service.thrift
三. UserService实现类
public class UserServiceImpl implements UserService.Iface {
@Override
public User getById(long id){
System.out.println("invoke...id:" + id);
return new User();//for test
}
}
四.原理简析
1. User.java : thriftAPI能力非限,比struct能使用简单数据类型(支持Date,Collection等),我能User看,类实现"Serializable"接口"TBase"接口.
其Serializable接口表明类实例需要序列化网络传输,干扰JAVA本身序列化反序列化机制,重写readObjectwriteObject.thrift本身并没帮助.
TBase接口thrift序列化反序列化使用,两核:readwrite.述thrift文件,struct定义每属性都序号,比:1:id,thrift序列化,根据序号顺序依属性"名称 + 值"写入inputStream,反序列化.(具体参见readwrite实现).
thrift序列化反序列化实例数据,根据"属性序号"进行,保证数据inputstreamoutputstream顺序严格.点要求API发者,更改thrift文件struct定义,需要重新客户端API,否则服务继续使用(能报错,能数据错误).thrift序列化/反序列化程JAVA自带序列化机制同,携带额外class结构,外thrift种序列化机制更加适合网络传输,且性能更加高效.
2. UserService.Client: UserService,Client静态类,类典型代理类,类已经实现UserService所.发者需要使用Client类API与Thrift server端交互,负责与Thrift serverSocket链接,发送请求接收响应.
6. 如何用thrift精准地表示日期类型
要编写Thrift定义文件，肯定要熟悉Thrift常见的数据类型：
1.基本类型（括号内为对应的Java类型）：
bool（boolean）: 布尔类型(TRUE or FALSE)
byte（byte）: 8位带符号整数
i16（short）: 16位带符号整数
i32（int）: 32位带符号整数
i64（long）: 64位带符号整数
double（double）: 64位浮点数
string（String）: 采用UTF-8编码的字符串
2.特殊类型（括号内为对应的Java类型）：
binary（ByteBuffer）：未经过编码的字节流
3.Structs（结构）：
struct定义了一个很普通的OOP对象，但是没有继承特性。
struct UserProfile {
1: i32 uid,
2: string name,
3: string blurb
}
如果变量有默认值，可以直接写在定义文件里:
struct UserProfile {
1: i32 uid = 1,
2: string name = "User1",
3: string blurb
}
4.容器，除了上面提到的基本数据类型，Thrift还支持以下容器类型：
list(java.util.ArrayList)：
set(java.util.HashSet)：
map（java.util.HashMap）：
用法如下：
struct Node {
1: i32 id,
2: string name,
3: list<i32> subNodeList,
4: map<i32,string> subNodeMap,
5: set<i32> subNodeSet
}
包含定义的其他Object:
struct SubNode {
1: i32 uid,
2: string name,
3: i32 pid
}
struct Node {
1: i32 uid,
2: string name,
3: list<subNode> subNodes
}
5.Services服务，也就是对外展现的接口：
service UserStorage {
void store(1: UserProfile user),
UserProfile retrieve(1: i32 uid)
}
7. 用thrift 或 gRPC 之类的框架做 app 和服务器的通信合适吗
完全可以的。
thrift是Facebook开源出来的项目，现在交给了Apache来管理。thrift是用来针对不同语言系统之间数据调用的。thrift支持c,c++,Erlang,java,python,ruby,php等语言。thrift允许定义一个简单的定义文件中的数据类型和服务接口，这个文件就是IDL（Interface Definition Language），以作为输入文件，编译器生成代码。简单的说就是thrift定义了统一的文件(对象或者结构体，服务接口)，使用thrift的编译器能够生成对应语言的代码文件。thrft之所以是跨语言的原意就是他通过语言无关的自定义语言来生成语言相关的代码。
8. thrift和google protobuffer各有什么优劣
Google放出来了Protocol buffers，一种用来部分替代xml的数据描述语言。Google就是Google，就算是推白菜出来，也一样能让人侧目。其实protocol buffers也不是什么新鲜的概念，且不说传统的ASN.1, ICE这些有点类似的东西，facebook一年前就推出了thrift，应该说定位是非常的接近的。也有谣传说是先有了protocol buffers在google内部流行，然后google的人跳槽到facebook，就出了thrift这个东西……呵呵，停止八卦，言归正传。 观察法看到的优缺点 Thrift: 支持的语言更广泛一些c++, java, python,ruby, csharp, haskell, ocmal, erlang, cocoa, php, squeak(真够变态的) protobuf 目前还是只支持c++, java, python, 其他语言有待开发. Thrift提供的功能更丰富一些: Thrift提供了简单的RPC构架(其实不简单了, block, nonblock的都有了…..) protobuf好像一心一意做好自己的事情，只提供了序列化和反序列化的功能。 Thrift支持多种协议格式. Thrift的代码实现，有专门的TProtocol和TTransport抽象，相互配合，可以实现多种协议，方便集成各种传输方式。至少目前Thrift就能使用json作为序列化协议。 protobuf好像只安心一种协议，并下决心把这个格式做好。输入输出也是标准的stream. 认真的说也不完全这样，protobuf为了调试方便，也提供了Text_Fromat功能，这个也算一个nonbinary格式支持，这样看来完全新协议还是有可能的。 Thrift还提供了不少语言的C mole(性能啊，都是性能啊) protobuf全部pure language实现, 反正现在已经都5到10倍速度了，不在乎了….. thrift目前不支持Windows平台，至少c++语言的runtime library和generated code是不不能在windows平台上使用的。(这真有点让人难以接受啊，现代科技这么发达，还有怪兽boost，支持windows有这么难吗?) protobuf没有这个问题，提供了visual studio的项目文件，可以很顺利的在windows平台下编译。(题外话: 如果不知道googletest怎么在windows平台上使用，可以参考protobuf的测试用例)。 The Thrift C++ runtime library does not currently work on Windows. This means that you’ll be able to compile ThriftIDL files to C++/Java/Python/etc., but you won’t be able to compile and run the generated C++ code under Windows. thrift wiki protobuf侧重点是语言表达，同时在存储效率上也下了不少功夫。用protobuf来直接读写数据结构相当的方便。 thrift侧重点是构建夸语言的可伸缩的服务，特点就是支持的语言多，同时提供了完整的rpc service framework，可以很方便的直接构建服务，不需要做太多其他的工作。 数据类型相对固定的情况下，不论是thrift还是protobuf都会比直接处理xml要方便很多。不管是dom还是类sax，总没有直接出数据结构访问来的方便啊。
9. 采用thrift与其他webservice哪个更好一点
web服务和wcf的比较网上一大堆，客户端连服务端，用wcf更好，因为可以抽象为soa，并且你可以采用esb的方式，我们的mes产品就是如此！如果是小项目就直连库吧，不过这样不安全，所有数据库的东西全部暴露，并且用web服务做不了像服务推送的东西，或者是说不好做，但是用wcf就不同了，其他两者差不多，都是soap协议的东西吧
10. python使用thrift调用hbase拿到数据怎么处理
Row Key
Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。
列族 (column family)
hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history ， courses:math 都属于 courses 这个列族。
时间戳
HBase中通过row和columns确定的为一个存贮单元称为cell。每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个 cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。
为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。
对Hbase而言，表结构设计会对系统的性能以及开销上造成很大的区别;