在数仓及中台研发过程中,研发人员经常需要在不同任务中维护相同或类似代码,不仅费时费力,并且代码迭代后也面临不同业务单元逻辑性不一致的问题,对运维管理形成挑战。
【资料图】
一般来说,研发人员往往通过代码模板来解决这一问题。具体而言,在核心数据处理逻辑相同的情况下,研发人员通过代码模版传入不同的任务参数,解决核心数据处理逻辑复用的问题,使得后续任务可以批量化,满足实时调用需求。
目前,任务模板已是火山引擎DataLeap研发治理能力之一,主要用于管理常用的任务逻辑,以此降低常用代码的运维成本。在产品功能上,DataLeap任务模板支持丰富的引擎能力,包括LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell任务,满足离线实时任务的不同需求。此外,DataLeap还支持历史版本管理,即保存或更新模板后,记录各个版本更新情况,方便查看代码设置及参数。
在使用层面上,研发人员只需要三步骤即可完成任务模板创建,便捷复用核心数据处理逻辑。
第一步:选中支持的任务类型
·在模板列表右侧的“+”(更多)按钮中,新建子目录或新建任务模板。
·在新建任务模板窗口中,输入以下参数,并新建模板。
第二步:代码编写参数设置
·在任务模板的代码开发编辑界面,通过 DDL 和 DML 编写通用 SQL。
·表名、字段名分别可以用参数表示,以下以 LAS Flink SQL的逻辑处理,保存为test02模板。
第三步:在任务开发中引用
研发人员可以通过以下2种方式引用test02模板:
·方法1:在模板列表中,选择模板并点击后即可快速引用。
·方法2:在代码编辑界面右上角选择任务模板,选择模板后,按需选择是否最新版本的模板,在对参数设置之后,预览代码最终生成效果(如图)。
火山引擎DataLeap任务模板能力可应用于以下场景:
·场景1:将预先设计好的离线、实时任务模板保存后,即可在多个任务中引用此类型模板,快速实现代码复用。
·场景2:将shell任务代码制作为前置判断条件,在数据分析前的触发检测运行条件是否满足。
除了任务模板之外,作为大数据研发治理套件,火山引擎DataLeap还可以提供数据集成、开发、运维、治理、资产、安全等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型。(作者:陆海)
关键词:
火山引擎DataLeap引入任务模板,助力数据研发提效
2023-04-25中国消费“马车”跑起来 世界目光看过来-环球快报
2023-04-25国网新源河南天池抽水蓄能电站2号机组投产发电 看点
2023-04-25天天快资讯:一季度重庆市级重点项目完成投资1029.8亿元
2023-04-24全球观热点:北京青海金融大厦28.66亿碳中和ABS债券更新至“已反馈”
2023-04-24现场集中签约项目108个 协议总投资2757亿元_全球热点评
2023-04-24“避堵”攻略来了!广东交警:五一假期将出现三波道路出行高峰
2023-04-24环球头条:记者 : 斯旺西将与普雷斯顿竞购埃弗顿前锋坎农
2023-04-24标普信评:房地产行业月报显示复苏冷暖不均 报资讯
2023-04-24东北证券: 关于向专业投资者公开发行公司债券获得中国证监会注册批复的公告
2023-04-24火山引擎DataLeap引入任务模板,助力数据研发提效
2023-04-25中国消费“马车”跑起来 世界目光看过来-环球快报
2023-04-25国网新源河南天池抽水蓄能电站2号机组投产发电 看点
2023-04-25天天快资讯:一季度重庆市级重点项目完成投资1029.8亿元
2023-04-24全球观热点:北京青海金融大厦28.66亿碳中和ABS债券更新至“已反馈”
2023-04-24现场集中签约项目108个 协议总投资2757亿元_全球热点评
2023-04-24“避堵”攻略来了!广东交警:五一假期将出现三波道路出行高峰
2023-04-24环球头条:记者 : 斯旺西将与普雷斯顿竞购埃弗顿前锋坎农
2023-04-24标普信评:房地产行业月报显示复苏冷暖不均 报资讯
2023-04-24东北证券: 关于向专业投资者公开发行公司债券获得中国证监会注册批复的公告
2023-04-24Copyright 2015-2022 海峡超市网版权所有 备案号:皖ICP备2022009963号-10 联系邮箱:396 029 142 @qq.com