您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息
免费发信息
三六零分类信息网 > 西宁分类信息网,免费分类信息发布

专业技能|大数据技术架构

2020/5/10 1:15:45发布154次查看

大数据技术架构图告诉你:1)搭建什么样的技术架构支持业务:2)该使用什么技术平台。
它从上往下分为4层,依次是:服务层、计算层、存储层和采集层。
1.服务层:是说给用户使用的东东,一般就是一个数据portal,如tableau;还有数个数据接口。
2.计算层:是说数据的离线分析用hive,近实时分析用spark streaming,还有一些聚类、分类等算法用sk learn等,经过这些计算、统计、分析之后,数据就会更加有血有肉,这一层可以认为数据的核心层,也关乎数据价值的有无和大小。
3.存储层:是说全量源数据、细节数据以及经过清洗的数据,存储在hdfs中,这一层相当于经过了粗略的一些萃取工艺,把一些“垃圾”摒弃掉了。
4.采集层:是说业务数据存储在mysql中,各种行为数据、各种补充的业务数据、各种技术类的数据都存储在日志文件中,这一层是数据的原材料,尽量多的采集用户的所有行为就对了。

西宁分类信息网,免费分类信息发布

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录