导航:首页 > 源码编译 > 京东进口源码

京东进口源码

发布时间:2023-07-07 10:13:07

⑴ 京东hotkey源码解析

京东hotkey是一个经过京东大促验证的hotkey防御中间件,大概原理是通过上报key访问数到统计服务器集群,统计服务器集群将hotkey通知到客户端,让hotkey能缓存到本地内存中,做到毫秒级的Scale-Out。处理方式有点像美团cat实时收集数据进行统计,只不过美团cat没有反向通知逻辑而已。非常贴近工作实践,值得一看。

首先看一下缓存入口Cache的get方法,JdHotKeyStore.getValue是获取hotkey的方法,并且会进行访问次数的统计上报,如果获取到hotkey不为空,则直接返回,否则从redis获取并调用JdHotKeyStore.smartSet判断是否有hotkey,有则设置值,最后返回。

JdHotKeyStore.getValue会先调用inRule校验此key是否有对应规则,如果没有对应规则则不处理,然后调用getValueSimple从本地内存中获取hotkey的存储对象ValueModel,如果没有获取到,则调用HotKeyPusher.push开始计数;如果获取到,会调用isNearExpire判断是否快过期了,如果是也计数,然后取出ValueModel里的value是否有设置对应值,有才返回。最后调用KeyHandlerFactory.getCounter().collect进行对应规则的计数。下面来一步步分析此流程。

inRule会去KeyRule缓存中获取对应的规则,经过层层调用会到KeyRuleHolder的findByKey方法,然后继续调用其findRule方法选择对应的KeyRule,如果没有KeyRule就直接返回了,否则会拿到它的ration(hotkey缓存时间),拿到对应ration的本地缓存。实际上这里为了方法的通用性,用了get来代替contain的判断。

findRule的逻辑比较特别,作者已经留下了注释,优先全匹配->prefix匹配-> * 通配,这样做是为了更精确选择对应的规则。比如配置了sku_的前缀规则,但是茅台sku的流量突升,需要针对茅台sku的本地缓存再长一点时间让系统平稳渡过高峰期,那就配置一个sku_moutai_sku_id的全匹配规则,这样不会干扰到其他sku的缓存规则。

那么KEY_RULES的规则是怎么来的呢?这就要说到etcd了,其实可以把etcd当做zookeeper,也有对配置crud,然后通知客户端的功能。这里是做了定时拉取+监听变化的双重保证,这里跟携程apollo的处理非常像:不要把鸡蛋放在一个篮子,兜底功能真的很重要。每5秒定时从etcd拉取规则,开启监听器有变化就去etcd拉取规则。fetchRuleFromEtcd从ectd的rule_path获取rules,然后转化成ruleList继续调用notifyRuleChange进行本地处理。

notifyRuleChange会往EventBus发送KeyRuleInfoChangeEvent的通知,进而进入KeyRuleHolder的putRules方法,这里可以看到维护了KEY_RULES和RULE_CACHE_MAP。

回到原有流程,getValueSimple方法的链路比较长,主要是通过key的规则,获取到对应的ration,然后从对应ration的本地缓存中获取ValueModel。

接下来是HotKeyPusher.push,如果是remove则在etcd创建一个节点然后再删除,达到集群删除的效果。如果是探测并且key在规则内,则调用KeyHandlerFactory.getCollector().collect进行统计。

KeyHandlerFactory.getCollector().collect方法交替使用两个map,对count进行累加,这样清理map的时候就不需要停顿了,交替使用是避免停顿的有效方式。

接回上文,还有一个 KeyHandlerFactory.getCounter().collect收集的是规则的访问次数,也是取到对应的规则,然后对规则的访问总数、热次数进行累加。

两个指标的收集已经分析完毕,那怎么发送到worker呢?来到PushSchelerStarter,这里会启动对两个指标的定时线程池,分别会定时调用NettyKeyPusher的send和sendCount方法。

NettyKeyPusher的send和sendCount方法都是为统计数据选择对应的worker然后进行请求,chooseChannel就是根据key哈希到其中一个worker上,然后发送请求即可。

最后当worker统计到hotkey时,client需要接收worker推送过来的hotkey进行存储,可以看到NettyClientHandler会向EventBus发送ReceiveNewKeyEvent事件,ReceiveNewKeyListener收到此事件后将调用receiveNewKeyListener.newKey,将hotkey放到本地缓存,client端的处理流程就结束了。

由上文可知,client与worker的交互只有推送统计数据到worker,worker接收处理,最后推送hotkey到client。因此worker端只需要分析两个部分:统计数据汇总、推送hotkey。
首先看到HotKey的处理逻辑是在HotKeyFilter中,首先会对totalReceiveKeyCount进行累加,然后调用publishMsg,如果统计信息超时1秒或者在白名单中就不处理,否则继续调用keyProcer.push。

keyProcer.push将未过时的统计信息丢进queue中。

worker端会开启指定数量的KeyConsumer,不断消费queue中的统计数据。根据统计数据的类型调用KeyListener的removeKey和newKey。

KeyListener的removeKey和newKey方法对Cache中的滑动窗口SlidingWindow进行删除或者累加,删除或者达到一定访问数就会推送到根据appname选出所有client进行推送。

京东的hotkey处理是通过计数来动态判断是否为hotkey,然后缓存再本地内存中,做到毫秒级的scale out。那还有没有其他解决方案?下面是我的观点:
1.如果面对一些缓存key很少的场景,比如活动页信息(同时进行的活动页不可能超过1000),完全就可以直接将缓存放在本地内存中,到了刷新时间就从redis拉取最新缓存即可,不需要动态计算hotkey。也就是常见的多级缓存。
2.同样是动态判断hotkey,但会将hotkey迁移到专门的、更多节点、更高性能的hotkey redis集群中,集群中每个节点都有同一个hotkey缓存,这样就可以做到请求的分散,避免流量都流向同一个redis节点,判断是hotkey就去hotkey集群中取,不需要存在本地内存中了,维护起来会比较简单。

⑵ 【实践】仿京东商城小程序(附源码)

  最近学习使用小程序开发开发了一款仿京东商城小程序效果如下:

  仿京东商城小程序基本实现首页搜索、商品分类列表、购物车等功能,项目结构如下:

  购物车功能示例,在pages下创建shoppingCart.wxml文件:

  样式shoppingCart.wxss:

  购物车实现的功能主要有选择商品,加减商品数量、全选、反选、结算等,实现逻辑如下:

⑶ 仿京东购物网站源码

http://down.admin5.com/php/75394.html 这个仿的版本比较老
http://down.admin5.com/moban/108742.html 这个比较新,但只是一个模板,如果要使用的话,还要下载那个系统,你可以参考下

⑷ 京东品质溯源怎么查

点开京东扫一扫,然后对准条形码就可以了呢全程溯源,一码到底
2020年11月,国家卫健委发布了《关于进一步做好冷链食品追溯管理工作的通知》,要求明确主体责任,生产经营企业应当及时、准确记录每批次重点冷链食品的检验检疫信息、核酸检测结果、业经消毒的证明、货物来源去向和数量、位置等关键数据。2021年春节,北京市市场监督管理局、北京市商务局更是拓展了北京市冷链食品追溯平台追溯食品品种范围,从进口冷藏冷冻肉类、水产品扩大到全部储存温度在0℃以下(含0℃)的进口冷链食品。
京东基于京东云的防伪溯源技术能力,推出京东冷链溯源服务,并率先在北京落地。区块链技术具有去中心化、公开透明、不可篡改、可溯源的特点,当区块链应用在冷链产品追溯中,可以让用户快速掌握商品生产链各环节的信息,更放心地购买冷链商品。通过京东云一物一码的区块链溯源,冷链食品生产流通全过程信息都能上链,从生产到运输的全部冷链流转过程都实现了可查询、可追溯。消费者在京东平台购买进口冷链商品,可通过追溯码查询产品的来源国家、生产日期、批次号、流通路径以及商品的核酸检测报告、消毒证明等全方位健康安全信息。

阅读全文

与京东进口源码相关的资料

热点内容
dvd光盘存储汉子算法 浏览:757
苹果邮件无法连接服务器地址 浏览:962
phpffmpeg转码 浏览:671
长沙好玩的解压项目 浏览:144
专属学情分析报告是什么app 浏览:564
php工程部署 浏览:833
android全屏透明 浏览:736
阿里云服务器已开通怎么办 浏览:803
光遇为什么登录时服务器已满 浏览:302
PDF分析 浏览:484
h3c光纤全工半全工设置命令 浏览:143
公司法pdf下载 浏览:381
linuxmarkdown 浏览:350
华为手机怎么多选文件夹 浏览:683
如何取消命令方块指令 浏览:349
风翼app为什么进不去了 浏览:778
im4java压缩图片 浏览:362
数据查询网站源码 浏览:150
伊克塞尔文档怎么进行加密 浏览:892
app转账是什么 浏览:163