行业新闻

大数据开发工程另外一个比较重要的工作就是设置调度任务

标签:行业新闻
作者:Admin
时间:2019/8/12 15:27:19

第五步是数据开发。

此时主导的是大数据开发工程师。首先要和数据建模工程师沟通好技术口径明确好我们计算的指标都来自于那些业务系统,他们通过数据同步的工具将数据同步到ODS层,然后就是一层一层的通过SQL计算到DW*层,一层一层的汇总,最后形成可为应用直接服务的数据填充到ADS层。

另外大数据开发工程另外一个比较重要的工作就是设置调度任务,简单来讲就是什么时候计算提前写好的计算脚本如T-1每天凌晨处理上一天的数据。随着业务的增长,运营会对实时数据的需求越来越大,还有一些实时计算任务的配置也是由大数据开发工程师完成。

第六步是后端开发。

此时由后端开发工程师主导,后端开发工程师基于产品经理的功能定义输出相应的接口给前端开发工程师调用,由于ADS层是由数据开发工程师已经将数据注入常规的关系型数据库(如MYSQL等),此时后端开发工程师更多的是和产品经理沟通产品的功能、性能方面的问题,以便给使用者更好的用户体验。

第七步是前端开发。

此时主导的是前端开发工程师。原型出来后产品经理会让UI设计师基于产品功能的重点设计UI,UI设计师经过反复的设计,UI最终定型后,会给我们的前端开发工程师提供切图,前端开发工程师基于UI的切图做前端页面的开发。

第八步是联调。

此时数据开发工程师、前端开发工程师、后端开发工程师都要参与进来。一般来说需要大数据开发工程师基于历史的数据执行计算任务,数据开发工程师承担数据准确性的校验,前后端解决用户操作的相关BUG保证不出现低级的问题。

第九步是测试。

此时由测试工程师来主导。测试工程师在完成原型评审后就要开始写测试用例,那些是开发人员自己要自测通过才能交上来测试的,那些是自己要再次验证的都在测试用例写清楚。此时有经验的产品经理会向运营人员要历史的统计数据来核对数据,不过运营人员的数据不一定准确,只是拿来参考。

最终测试没问题后,产品经理可以协调运营人员试用,试用中发现的一些问题再回炉重新修改,此时整个研发过程就结束了。

第十步是上线。

运维工程师会配合我们的前后端开发工程师更新最新的版本到服务器,此时产品经理要找到该指标的负责人长期跟进指标的准确性。重要的指标还要每过一个周期内部再次验证,从而保证数据的准确性。

数据中台内部迭代计划

每月制定月度计划,设定月度目标

每个月我们会组织和每条产品线的运营、产品同事做一个常规沟通,主要沟通他们目前使用数据中台遇到的一些问题,他们下个月的计划是什么。

基于运营的反馈,我们会制定下个月的迭代计划。产品经理基于运营的反馈定义下个月要做的内容和优先级,架构师和项目经理基于需求的工作量排开发计划,这个开发计划是精确到每两周一个迭代完成月度目标。



正道诚信 真知灼见