当页导航

运营商网络数据分析综合平台传统数据库如何切换到Hadoop?

运营商网络数据分析综合平台传统数据库如何切换到Hadoop?

活动简介

传统运营商的数据处理,一般利用关系型数据库,比如oracle写一些存储过程的脚本,然后将这些脚本配置到etl中,进行调度。后来hadoop出现后,大数据兴起了,运营商的数据处理方式逐渐切换成利用hadoop生态的一些框架进行处理。在这一方面,已有先行者克服诸多困难为我们提供了案例。如某省移动网络数据,由于存放在不同的数据库而难于管理导致难以产生价值,为了打破这个局面,勇于尝试利用基于hadoop的一些开源框架,进行数据处理管理。首先数据的存储从之前的NFS转变成hadoop的hdfs(分布式文件系统),之前容易出错的存储过程,现在可以利用hive的sql进行数据的清洗,归并,离线查询。

在切换过程中,会遇到以下问题:

 1.之前没有接触过hadoop的话,要从0 开始摸索

  2.因为传统数据库的调优都是有先例可以参考,但是hadoop的底层计算调优,每个参数的含义都得去尝试

  3.如何在切换hadoop生态的同时不影响现有的脚本运行机制

本次活动,就让我们从技术、业务等方面探讨数据处理引入hadoop生态的必要性。

探讨时间:4月19日——4月25日

备注:如果您提出的问题不详细或者灌水,管理员有权对问题进行删除

活动规则及奖励

1、所有提出的具体问题均可百分百得到嘉宾的详细回复;

2、活动结束之后,嘉宾会评选出最佳提问者,单独获得微信红包奖励或者等额的社区金币奖励。 名额:10位;

3、积极参与交流解答,分享自己的经验的人员,回复的内容得到点赞最多的1位,单独奖励VR眼镜一副。

上述评选时间为2017年4月25日18:00.