高频交易源码优化

A. 什么是高频交易系统

什么是高频交易系统？高频交易系统是通过编程实现的一种智能化的电脑程序交易系统，它排除了人工交易的非理性影响，能够以较高的频率和固定交易规则进行交易。高频交易系统目前主要包括三个大方面，首先，交易指令要完全由电脑系统发送，中间不通过人工操作，系统基本要求是对市场数据的响应延时要小，高频交易系统一般使用超高速的复杂计算机系统下单，在执行层面上，交易频率会比较高，有可能会大量、频繁地向交易所报单，高频交易系统要能够用最快的速度对信号进行拆解、计算和输出；高频交易系统由专用软件硬件组成，交易指令会直接发送到交易所，系统运行时处理的信号源是交易所播报的实时行情，使用的是和交易所直连的数据通道，平均每次持仓时间极短，可以支持大量发送和取消委托订单，收盘时基本能够保持平仓即不持仓过夜，符合以上条件的系统是高频交易系统。

B. 怎么才能做高频交易

你好，高频交易实现方法主要是先想好交易策略，然后把策略转化为程序化，然后通过后期的测试做成一套完整的自动化交易系统。

C. 为什么高频交易在期货中深受异议

高频交易，说白了就是说这种每一次交易的间隔时间都极其简短，通常为十多分钟乃至几秒。最开始出现于上新世纪90时代末，现阶段早已发展趋势成外汇交易市场的关键能量。但近些年高频交易备受异议，金融机构、外汇交易商及其某些权威专家刚开始斥责高频交易的缺点，而另某些适用人员则全力支持高频交易的发展趋势，那么高频交易为什么在期货中这般的填满异议呢?
高频交易的益处
先而言说高频交易在商品期货中各种各样益处，最先，高频交易应用繁杂的优化算法交易，另外借助快速的程序流程行情软件和有关硬件配置设备来超过在短暂性的市场起伏中盈利的实际效果。这类交易方式针对投资者而言优点极大，由于在短短几秒钟到几彼此之间中能够灵巧地捕获期货的起伏进而超过相对稳定的盈利，基础理论上每天以内能够开展千万次的高频交易，那么得到的盈利将是永无止尽的。
次之，高频交易解决信息的速率贴近光速，现阶段纽约到伦敦光速65毫秒，纳斯达克更快交易速率接近0.001ms到1ms当中，而人们的更快反应时间也就1000ms，即1秒。因而，这般高效快捷的响应速度巨大地为期货市场引入充裕的流通性，减少交易价差，进而深化减少点差成本费，全面提高市场效率。
高频交易的弊端
通常情况下，高频交易必须根据程序交易，而且以便超过竞争能力必须更加技术专业的硬件配置设备，能够说，高频交易到最终拼的全是“谁的网络速度快谁利害”，而这却给外汇市场中的个人投资者产生了不合理的市场竞争自然环境。由于个人投资者并不是具有技术专业的硬件配置设备和复杂的优化算法交易，高频交易就是说运用个人投资者交易很慢的缺点，每天以内达到千万次的交易是个人投资者如何都没法理解的，搅乱了全部期货市场，个人投资者非常容易蒙受损失，特别是短线投资人。
除开速率上的危害外，高频交易技术性的不平稳巨大地加重了期货的性的震荡，因为高频交易必须精准的程序化交易优化算法交易，假如交易编号中出现1个小小的出错，那么其产生的结果将会是损害所有资产，另外很多的高频交易将会会导致交易软件承担，导致市场部分快速垮台。
高频交易的产生的不良影响还不仅在此，其真实受异议的地区取决于其管控空白页。高频交易非常容易被居心叵测的人来控制价钱，通常会抛出去不容易实行的订单信息，导致要求的错觉，诱惑投资人或有关组织提交订单，欠缺公平公正和相容性。不但对个人投资者还是外汇交易商又或者大中型金融机构，高频交易既抵触了个人投资者的参加，又持续危害者各大组织的权益，好像是一头老鼠过街的过街老鼠。
高频交易将出路在哪里
现如今，高频交易早已变成市场上没法忽略的能量，在为市场造就高额成交量的同时却一直游离于管控以外。2014年，英国股票交易联合会、联邦调查局、商品期货和交易联合会和美国司法部竞相刚开始下手调研高频交易行业的内线交易个人行为。2019年7月，对冲基金文艺复兴时期高新科技运用繁杂的计算机算法，相互配合很多网络服务器及其原子钟，可以保持在几十亿分之一秒内同歩实行交易命令，致力于清除高频交易。
而2019年瑞信投资分析师应用了瑞信特有的ExPRT交易统计数据。在10-12%的美国股票成交量统计数据适用下，获得了纯非高频交易者(包含买家、买家、零售业和组织投资者)实行每单交易中心需时间的互联网大数据。根据统计数据，市场的全部参加者不太可能所有获得公平看待。针对这些投资风险较低，而且对交易交易量时间非常重视的投资人而言，假如他不想要担负持仓的风险性，那他务必在别的层面作出某些妥协。
不难看出，适用与不兼容高频交易的多方常有分别有效的大道理和统计数据，异议也许还将再次争执下来。

D. 什么是高频交易系统

1、高频交易系统概述

高频交易是指从那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易。

比如，某种证券买入价和卖出价差价的微小变化，或者某只股票在不同交易所之间的微小价差。

这种交易的速度如此之快，以至于有些交易机构将自己的“服务器群组”(server farms) 安置到了离交易所的计算机很近的地方，以缩短交易指令到达交易所的距离。

2、高频交易系统特点

（1）交易指令完全由电脑发送，对市场数据的响应延时在微秒级，有的甚至是纳秒级；

（2）系统由专用的软、硬件组成；

（3）系统的硬件需要放在离交易所主机很近的位置上，所谓 co-location。

3、高频交易的两大核心要素

（1）一是产生高频交易信号的交易策略;

（2）二是优化交易执行过程的算法。

(4)高频交易源码优化扩展阅读

1、高频交易系统的特点

高频系统是一种非常有特点的计算机应用。在输入和输出层面，数据比较简单。

输入用的都是市场行情数据，用的是Tick级别，甚至是更细颗粒度，比如用order book上数据。

输出就是报单到交易所，执行层面上频率会比较高，有可能会大量、频繁地向交易所报单。系统运行时处理的信号源是交易所播报的实时行情，要求用最快的速度对信号进行拆解、计算和输出，对于系统的实时计算能力的要求也比较高。

同时，一般高频交易系统从逻辑的层面上来说是比较简单的。

2、编程语言的选择

目前，高频交易系统最主流的是C/C++语言。

这是一种优点及其很显着的语言。相比依赖虚拟机的JAVA和Python而言，C/C++是一种非常接近底层硬件的开发语言，对硬件操控的控制度、灵活度都超过其他语言，在性能上的把控力会更强。

但是，其语法相当复杂，比较难学，没有受过系统编程训练的开发者，掌握起来比较困难。

同时，使用C/C++编程也可以获得及其优越的性能，这对于高频交易系统来说，就非常重要了！并且，国内大多数的交易所提供的都是C++级别的类库，只有用C++进行开发，才能方便进行系统对接。

E. 23分析高频交易订单流

点过程基础
假设你蹲在一个交通站台后面，看着人来人往。你觉得乘客的到达似乎存在某种数学规律， 于是你把每个人到达的时刻记录了下来。有什么办法可以对这些人到达的时刻进行建模？你渐渐进入了沉思状态。也许提炼这些点形成的集合所具有的特征是一个好办法。你想到乘客到来的速率肯定是一个重要特征，如果是在一个偏僻的小公交站，可能半天也看不到一个人 ； 到了市中心的大车站，人潮涌动可能让你难以计数。不同人到来的间隔是另外一个有意思的特征，乘客不是从工厂出来的产品，肯定不会乖乖地等间隔的到来，那么不同乘客到来的间隔有什么规律呢？要回答这些问题，必须要借助概率的语言，更确切地说，是点过程。

泊松过程
泊松过程有以下几个性质：
不相交的时间段上到来的数量是相互独立的；两个点几乎肯定不会同时到达；在某个给定的时间段到达的数量服从泊松分布，分布均值正比于时间段的长度。
从数学层面来描述具有这样性质的过程，首先我们从第二个性质开始 ， 我们用 N(a,b] 表示 a < t <= b 这段时间发生的事件数。
对于一个趋近于0的 Δt , 我们声明 , 对任意t
P(N(t, t + Δt]=1)=λΔt
由于 λ 的含义是单位时间内事件的数量 ， 所以可以定义为事件发生的强度。
由于两个点不会同时到达 , 在小段时间里发生两次的概率约等于0
P(N(t, t + Δt >= 2) → 0
那么对于任意时间段 (a,b] , 我们可以先将其划分为多个小时间段 ， 然后由不同时间段的 独立性， 用二项分布来计算概率分布 ， 再用泊松分布近似：

可以看到 N(a,b] 近似服从参数为 λ(b-a) 的泊松分布。
现在我们来看一看两个事件的间隔服从什么分布 , 间隔为t0 意味着这t 0 时间段没有事件发生， 那么可以很容易的进行计算：

我们可以利用间隔服从指数分布的性质，模拟服从泊松过程的事件,第k个事件的时刻就是第 k-1 个事件时刻加参数为λ 的指数分布的随机变量：
举个例子， 我们可以模拟一个 λ 为 0.5 的泊松过程 ， 总共模拟 50 个事件， 可以画出事件与时间的关系：

还可以画出累积事件与时间的关系 ， 按照我们的估算 ， 发生 50 个 λ 为 0.5 的事件大约要用 100 的时间，我们可以从图中进行验证。

** Hawkes过程**
在泊松过程中，强度保持恒定，事件的发生遵循“无记忆性”的原则，在现实世界中，很多情况 都不符合这样的假定,例如犯罪行为往往具有空间上的聚集性，这是由于罪犯在得手后倾向于在附近继续作案；而在高频交易中趋势交易者会跟踪大订单,使得市场在短时间涌入大量订单。在这些系统中，事件发生的速率都是不均匀的。如何描述这种空间上的聚集性，或者说是正反馈的机制呢？我们需要对模型进行扩展，不再把 λ 固定为一个确定的值，而是让他成为一个关于时间的函数，即 λ(t) 。
比较精确的定义是当 Δt 趋近为 0 时：
P(N(t, t + Δt]=1)=λ(t)Δt
其余的假设相似 ， 在小间隔内发生2次或以上事件的概率趋近为0 。
λ(t) 的定义则为：

的 λ0(t) 代表的是背景的强度 ， 而 v(t - ti) 则代表发生在 t 时刻之前的事件对时刻 t 产生的正向影响 ， v 函数就是核函数 ， 简单来说 ， ti离t 越近 ， 对t时刻造成的影响就应更大。
先使用一个比较简单的核函数：指数函数来看一看 Hawkes 过程究竟有什么特性：可以定义

模拟了 100 个事件，可以把事件和对应的强度画在一张图上

可以通过数值验算一下我们的结果是否合理：

强度的实际平均值为 Nt / t大约为 100/150 ,而我们可以推导理论的平均值：

图片里的 λ0 是我们定义的 μ ， 而图片里的 μ 代表我们要算来和实际对比的强度的平均值 E[λ(t)],注意从第一排到第二排的变换是根据 λ(t) 的定义。
可以计算出理论值
E[λ(t)] = μ / (1 - (α/β)) = 2/3
与实际的较为接近,说明模拟是正确的。

指数核Hawkes过程模拟优化
对指数核函数的 Hawkes 过程进行模拟 ， 当我们把 事件个数调大时，比如从 100 调到 1000 时，可以发现程序运行的时间大大增加了， 这是由于在算时刻对应的强度时需要调用前面所有的事件时刻，所以复杂度是 O(N^2).

Hawkes 过程参数估计

因为后面的函数 nlminb 所做的是使函数的值最小化 ， 上面的似然函数中我们输入的是负的似然函数。

经过优化得到的参数非常接近我们的真实参数(0.5,0.3,1.2) , 这说明极大似然估计非常有效。
Hawkes 过程的核函数可以指定多种形式 ， 除了指数核函数以外 ， 还可以使用幂律核函数 ，甚至不指定核函数的具体形式， 使用非参数的方法求取核函数 。

订单流数据表示
在金融市场上做交易时 ， 可以看到一个委托单簿，上面陈列着买价和卖价以及它们对应的量 ， 举个例子，比特币市场的订单簿：

action_itme 的含义是订单类型 ， 其中 “M” 代表对 order book 的改变 ， 换句话说就是限价单；而 “T” 代表的是 trade ,也可以说是市价单。 ask price 和 ask vol 分别代表最优卖价和量 ， bid price 和 bid vol 分别代表最优买价和量 。 price 和 vol 分别代表订单对应的价格和量。 time 是以 1970 年开始计算的秒数。

时间的精度 ， 达到了10的负7次方 ， 也就是达到了微秒级。

用函数将其转化为 R 语言中的时间格式 ， 发现首个数据的时间是下午 5 点。

由于美国标普 500 的交易时间是上午 8 点半到下午 3 点 ， 我们用一个二分搜索把交易时间内 的数据提取出来，并命名为 trade
订单间隔分析

75 分位数和均值大约 0.02s , 这可以说明标普 500 期货的交易非常频繁，流动性非常好。

上面是订单间隔的分布图，由于大于 0.01s 的间隔较少，我们选取小于 0.01s 的间隔进行可视化，可以观察到分布是高度有偏的，绝大多数间隔都非常小。

用指数分布去拟合小于 0.04 的订单间隔，发现实际数据衰减的速度远远高于对应最优参数模拟指数分布衰减的速度。由于指数分布的衰减速度是非常快的，这更说明小间隔的比例有多么大，可以说这是实实在在的“高频”交易。
高频交易中有一类交易者叫做做市商，它们在市场中挂买单和卖单，如果都成交了就可以赚取 其中的价差。它们一般下限价单，为市场提供流动性，当然它们也会有一些自己的策略，例如在市场上出现市价单时做市商一般会调整自己的订单，所以他们会马上下跟踪的限价单，我们从统计来看一看市场有没有这样的现象。

我们选取的是 1s 和 0.01s ， 如果是平稳的那么 0.01s 对应的分位数应该是 1s 的百分之一左右。但是实际上在越高的分位数上这个规律就越不成立 ，在 99.99 分位和 99.999 分位上甚至超过了十分之一。
这说明事件的到来有高度聚集的特征，不能简单地用泊松过程来刻画 。
流动性研究
流动性的含义是当你想交易时，你是否有能力快速地进行大规模交易。它由三个要素组成，速度，深度和宽度。
深度主要与订单量有关，两方的订单量越多，能够承受的买压或卖压就更大，流动性就更好
而宽度主要与价格有关，在市场中我们可以看到一些交易量小的标的，它的 bid 和 ask 的距离非常之大，这样如果我们用市价单一买一卖，会有较大的损失，而对于一些交易量大的标的，bid 和 ask 的距离可能非常小，可以放心下市价单进行即时交易。
由于我们的数据里只有最优买价和最优卖价，没法对深度进行分析，我们只能通过分析 bid 和 ask 的距离（这个距离被称作 spread）来分析一下宽度。

可以看到绝大多数时候 spread 都是 25（1 个 tick） ，说明标普 500 期货 的流动性非常之好。
限价单相对价格分析
当在准备下限价单时，我们有很多选择，可以当一个保守的人，下一个离最优价格很远的单子，也可以下离最优价格很近的单子，这样很大概率能够快速成交。
我们把相对价格定义为
bid_relative_price = (best bid - 下单价格) / tick
ask_relative_price = (下单价格 - best ask) / tick
这样可以做一个统计，来看一看限价单相对价格的统计分布。

从图中我们可以看到 ， 买单和卖单的相对价格在0之前分布基本相同

指数核 hawkes 过程拟合
形象地来看，限价单组建起了买方和卖方的堡垒，而市价单则对对手的堡垒发起冲击。 那么作为进攻部队，市价单对买方卖方力量的博弈是非常关键的。

把时间相同的订单进行合并,并把所有时间减去初始值

拟合得到的 beta 的值非常大，说明前面事件对后面事件的影响衰减得非常快。注意 1/beta 被定义为 Hawkes 过程的记忆时间 ， 超过这个时间的后续事件基本不受这个事件的影响 。 这里我们可以看到影响周期小于一毫秒 ， 说明频率确实非常快。
正反馈强度分析
索罗斯在他的“金融炼金术”中提出了一种叫做 reflexity（自反性）的理论 ， 这个理论说的是投资者和交易者的认知偏差会改变标的的基本面。例如一支股票持续上涨，会使得投资者对提高对它基本面的认知 ，又反过来推动股价的进一步上升， 从而形成正反馈。
但是如何量化地对正反馈进行分析一直是一个问题。在 Hawkes 过程中，根据 lambda 的表达式我们可以把事件发生的强度分为两部分 ， 一部分是背景的强度 ， 一部分则是由前面事件激发而得到的强度，这部分“衍生”的强度的平均值可以被认为是正反馈的强度。
例如在指数核中，我们可以通过积分计算出正反馈机制的比例是 alpha / beta , 下面我们把一天的时间按照30分钟的间隔分为13段 ， 看看每一段的背景强度和 reflexity 分别是多少。

然后我们可以开始尝试建模，将量的因素考虑进去：

订单数量的幂指数
前面我们假设订单量的影响是线性的，可真实是这样的吗，我们尝试在订单数量上加入一个幂指数，那么强度的表达式变为

从参数我们可以看到k的值大约是 0.5 ， 说明订单的影响大约是数量的根号，并不是线性增长的。 这是非常有趣的一个现象 ， 说明订单量的冲击是边际递减的。

F. 以C++为核心语言的高频交易系统是如何做到低延迟的

我认为并不是c++的效率是决定因素。

---

结语

首先你要考虑的是，你的速度要求有多高，或者你的交易策略真的需要这么高的速度吗?第二个是输入输出比率，不管你的算法是否真的能赚到足够的钱来支持你做所有层次的优化。

G. 大数据三大核心技术：拿数据、算数据、卖数据！

大数据的由来

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

1

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

大数据的应用领域

大数据无处不在，大数据应用于各个行业，包括金融、 汽车 、餐饮、电信、能源、体能和 娱乐 等在内的 社会 各行各业都已经融入了大数据的印迹。

制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。

金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

汽车 行业，利用大数据和物联网技术的无人驾驶 汽车 ，在不远的未来将走入我们的日常生活。

互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。

电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。

能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。

物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。

城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。

体育 娱乐 ，大数据可以帮助我们训练球队，决定投拍哪种 题财的 影视作品，以及预测比赛结果。

安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。

个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。

大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了 社会 生产和生活，未来必将产生重大而深远的影响。

大数据方面核心技术有哪些？

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。

数据采集与预处理

对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。

Flume NG

Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费(收集)数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。

NDC

Logstash

Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

Sqoop

Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapRece 作业(极其容错的分布式并行计算)来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。

流式计算

流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。

Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology(包括topology的发布、任务指派、事件处理时重新指派任务等)。supervisor进程等待nimbus分配任务后生成并监控worker(jvm进程)执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出(或被kill掉)，supervisor会尝试重新生成新的worker进程。

Zookeeper

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。

数据存储

Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。

HBase

HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

Phoenix

Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。

Yarn

Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。

Mesos

Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。

Redis

Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。

Atlas

Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。

Ku

Ku是围绕Hadoop生态圈建立的存储引擎，Ku拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Ku不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Ku的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。

在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显着减少磁盘上的存储。

数据清洗

MapRece作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map(映射)”和”Rece(归约)”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。

随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。

Oozie

Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成(因为有些大作业可能会执行很久(几个小时甚至几天))。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。

Azkaban

Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等;Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。

流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面(开发、运维)的投入，帮助用户专注于解决产品本身的流计算需求

数据查询分析

Hive

Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapRece。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapRece jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapRece程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapRece 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。

Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->rece->map->shuffle->rece…的模型。如果一个Query会被编译成多轮MapRece，则会有更多的写中间结果。由于MapRece执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。

Impala

Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapRece批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成)，可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapRece任务，相比Hive没了MapRece启动时间。

Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->rece模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。

Spark

Spark拥有Hadoop MapRece所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

Nutch

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。

Solr

Solr用Java编写、运行在Servlet容器(如Apache Tomcat或Jetty)的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引;也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

Elasticsearch

Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用;深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。

数据可视化

对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数等。

在上面的每一个阶段，保障数据的安全是不可忽视的问题。

基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。

控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。

简单说有三大核心技术：拿数据，算数据，卖数据。