发布网友 发布时间:2022-04-21 09:01
共1个回答
热心网友 时间:2023-10-04 18:04
楼主你好,这种大系统对硬件设备,软件技术要求都是非常严格。每年的618,双11,对于京东、阿里的技术大咖来说,很紧张状态。这种活动每秒钟处理的订单量都是千万级的。这种大系统都是由各个子系统之间相互配合完成的。
硬件设备就不用多说了,采购最好的。重点说一下软件部分。对于这种大系统。用的技术很多。也是业界都在用的技术,比如大数据实时数据处理、大数据实时计算、几乎准实时查询检索等等。
大数据实时数据处理用的技术主要是Flume+Kafka+SparkStreaming、Flume+Kafka+Storm、Flink等。这些技术每个技术细节就不详细讲述了。它们都是处理海量数据使用的开源框架,对于京东或者阿里很有可能优化了源码,开发出适合他们公司需要的场景框架。但是核心技术差异不大。
大数据实时计算技术基本上都是用Kafka、SparkStreaming、SparkSQL、SparkGrapnX等中的一个或者多个去完成。
大数据准实时查询检索用的技术就很多,这里介绍两种,一种是交互式查询,创建二级索引(Hbase+Solr),另外一种ElasticSearch全文检索框架。
大系统用到的技术都差不多,关键看架构师怎么设计架构好业务场景,设计不好就会出现最早的购票系统12306。设计好了就像现在的京东商城、天猫商城处理那么大数据量还能运行正常。
技术在快速发展,未来各个行业都会有这种千万级秒处理的大平台。需要大家不断的给自己充电学习。大家一起加油!
谢谢大家!如有疑问,可以私信我。