睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

在线免费试用 DEMO体验 视频介绍

睿治 智能数据治理平台

IDC蝉联数据治理解决方案市场第一

One Data:如何进行数据指标体系的治理

时间:2022-07-04来源:別跟自己過不去浏览数:529

One Data致力于解决的问题是啥呢?它主要期望建成一个指标一个算法,从算法定义、数据研发到数据服务,可管理追溯从而规避重复建设。

想必做数据的同学对One Data都有所耳闻。但One Data 体系具体包含了内容、有怎样的应用,不知道大家是否了解?今天我们详细分享一下One Data体系中关于 数据治理(指标体系可参考历史文章《从余额宝角度看指标体系的搭建》)相关的内容。

01One Data整体概述

首先,我们看看One Data的整体概况。

(1)关于定位

One Data是阿里系进行数据指标规范定义的规则、工作流及 元数据管理系统(关于元数据可以 参考历史文章)。这里主要囊括了三部分内容:

数据指标规范定义:即数据指标体系规范治理,这部分是我们今天分享的核心内容。

数据模型设计开发:其实就是数仓数据模型设计(可 参考历史文章),咱们今天不展开了,后面合并在数仓实践的文章中详细阐述

数据研发:即所有指标下挂物理表关联信息回流+算法服务化接口对接外部系统,今天暂时不详细展开

从下面阿里的整体架构图中,能清楚看到One Data体系的定位与作用。

(2)关于目标

One Data致力于解决的问题是啥呢?它主要期望建成一个指标一个算法,从算法定义、数据研发到数据服务,可管理追溯从而规避重复建设。

指标规范定义:一个指标只有一个英文字段、一个中文字段、一个算法定义,避免不同部门口中的指标逻辑不同一问题。

研发流程:数据研发物理表结构创建发布的引用字段全部依托指标规范定义的结果

数据服务:一个主题下的同主键逻辑表,仅提供规范定义的唯一一个数据指标

通过提供标准的(standard)、服务化的(service)、安全的(safe)、共享的(shared)数据,以消除业务和技术之痛。

02数据指标体系治理

上面我们提到了One Data主要的内容包括数据指标体系、数据建模等。下面,我们看一下指标体系治理的整体概况。

(1)指标体系及示例

指标体系的整体架构如下:

在这里,阿里将一个最终的数据指标(派生指标)层层拆解,比如拆解出修饰词、维度等等,通过这种方式将指标规范化、体系化。不然,一堆指标在一起,只能是指标字典,而不是指标体系。

派生指标由原子指标、时间周期修饰词、若干其他修饰词组合得到。

原子指标、修饰类型及修饰词,直接归属在业务过程下,其中修饰词继承修饰类型的数据域。

派生指标可以选择多个修饰词,修饰词之间的关系为‘或’或者‘且’的关系,具体由具体的派生指标语义决定。

派生指标唯一归属一个原子指标,继承原子指标的数据域、与修饰词的数据域无关。

原子指标有确定的英文字段名、数据类型和算法说明;派生指标要继承原子指标的英文名、数据类型和算法要求。

(2)指标命名规范

名所用术语尽量使用英文简写,其次是英文,当指标英文名太长时,可考虑用汉语拼音首字母命名。如中国质造,用zgzc。在OneData工具中,维护了常用的名词术语,以用来进行命名。

派生指标英文名:原子指标英文名+时间周期修饰词(=3位,例如,_1d)+序号 (=4位,例如,_001)。派生指标中文名:时间周期修饰词+[其他修饰词]+原子指标。

我们拿一个指标「最近1天SEO来源的海外搜索UV」举例,看中英文指标名称的命名规范。

修饰词只有时间周期才会有英文名,且长度为2位,加上“_”为三位,例如_1d。阿里常用的时间周期修饰词列表如下:

原子指标必须挂靠在某个业务过程下。中文英文名:动作+度量。

在OneData 工具中,英文名与中文名都会由OneData 工具自动生成。

派生指标为了控制英文名称过长,在英文名的理解和规范上做了取舍,所有修饰词的含义都纳入了序号中。序号是根据原子指标+派生指标自增的。

(3)相关名词解释

关于指标体系的相关名词,可参考下表解释:

03指标体系规范细则

下面针对指标体系的规范细则详细展开说明。派生指标可以分为三类:事务型指标、存量型指标和复合型指标。按照其特性不同,有些必须新建原子指标,有些可以在其他类型原子指标基础上增加修饰词形成派生指标。

事务型指标是指对业务活动进行衡量的指标。例如,新发商品数,重发商品数,新增注册会员数,订单支付金额,这类指标需维护原子指标及修饰词,在此基础上创建派生指标。

存量型指标是指对实体对象(如商品、会员),某些状态的统计。例如,商品总数,注册会员总数,这类指标维护原子指标及修饰词,在此基础上创建派生指标,对应的时间周期一般为“历史截止到当前某个时间”。

复合型指标是在事务性指标和存量型指标基础上复合而成的,例如,浏览UV-下单买家数转化率,有些需要创建新原子指标,有些则可以在事务性或存量型原子指标基础上、增加修饰词得到派生指标。

(1)比率型

比率型需创建原子指标。例如,CTR,浏览UV-下单买家数转化率,满意率等。举例:“最近1天店铺首页CTR”。

原子指标为“CTR”,

时间周期为“最近1天”,

修饰类型为“页面类型”

修饰词为“店铺首页

(2)比例型

比例型需创建原子指标。例如,百分比、占比。举例:“最近1天无线支付金额占比”

原子指标为“支付金额占比”,

修饰类型为“终端类型”,

修饰词为“无线。

(3)变化量型

变化量型不创建原子指标,增加修饰词,在此基础上创建派生指标。举例:“最近1天订单支付金额上1天变化量”,

原子指标为“订单支付金额”,

时间周期为“最近1天”,

修饰类型为“统计方法”,

修饰词为“上1天变化量”。

(4)变化率型

变化率型创建原子指标。举例:“最近7天海外买家支付金额上7天变化率”,

原子指标为”支付金额变化率”,

修饰类型为“买家地域”,

修饰词为“海外买家”。

(5)统计型

统计型(均值、分位数等)不创建原子指标,增加修饰词,在此基础上创建派生指标;在修饰类型“统计方法”下增加修饰词:人均、日均、行业平均、商品平均、90分位数、70分位数等。举例:自然月日均UV,

原子指标为UV,

修饰词为“统计方法”,

修饰词为“日均”。

(6)排名型

创建原子指标,一般为top_xxx_xxx,有时会同时选择rank和top_xxx_xxx 组合使用。

创建派生指标时选择对应的修饰如下:

统计方法(例如:降序,升序);

排名名次(例如:TOP10);

排名范围(例如:行业、省份、一级来源等);

根据什么排序(例如:搜索次数,浏览PV)

(7)对象集合型

创建原子指标,一般为xxx串;创建派生指标时选择对应的修饰如下:

统计方法(例如:降序,升序);

排名名次(例如:TOP10);

排名范围(例如:行业,区域)


示例如下:

关于指标体系的细节规范,就先介绍这些。

04产品化设计与操作

最后,我们详细看一下阿里如何对指标体系治理进行的产品化设计。

(1)整体结构

整体菜单结构如下:

(2)权限体系

不得不说,阿里对于数据权限的控制是非常严格和严谨的。

权限分配流程如下:

权限范围如下:

角色权限如下:

(3)规范定义

查找:搜索+分类检索+筛选项+排序方式选择+状态再次筛选

一般情况,均通过页面右上角新建按钮进行新建。修饰词,提交审核,系统自动通过。

维度属性,支持批量导入:

维度可进行下挂子维度管理,如:商品有所属类目,类目为父维度,商品为子维度;可以查看一个维度的父子维度信息。

关于One Data中指标体系治理相关的内容,我们就分享这些。文章中也提到了,One Data其实不止包括数据指标治理,也有数据建模的内容,这块相关的实践我们后面再详细分享。

(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用

上一篇: DataOps 标准体系能力框架及实践...

下一篇: 银行业云原生技术发展实践及展望...

  • 相关主题
  • 相关大数据问答
  • 相关大数据知识
数据可视化展示系统 主数据 MDM 数据治理 油田智能化 数字化产品创新 万亿级大数据监控平台 智慧系统 数据仓库建设方案 推荐数据分析软件 宏观数据的主要分析内容包括 分光计实验数据处理 数据质量管理系统 特点 分布式计算 数据统筹管理 餐饮选址大数据分析 淘宝大数据分析软件

1 企业在数字化转型建设过程中如何做到业务与AI的融合?

2 什么是大数据思维?它主要包括哪些内容?

3 什么是中台?

4 国内DCMM和国外DMM两个成熟度评估模型的差别在什么地方?有哪些共同之处?

5 国产数据分析BI工具怎么选?

1 数据集成的三种方法

2 主数据管理系统功能介绍

3 数字治理的原则和目标

4 漏斗数据分析模型的关键流程

5 低代码开发平台是什么?有哪些BI低代码开发平台?

数字化转型
推荐文章
基于数字底座的数字化管理平台建设实践与思考
基于数字底座的数字化管理平台建设实践与思考

2023-07-19

新阶段工业互联网演进及数字化转型新路径探索
新阶段工业互联网演进及数字化转型新路径探索

2023-07-14

2023年数字化转型指数报告
2023年数字化转型指数报告

2023-07-12

数据资产目录构建方法与步骤
数据资产目录构建方法与步骤

2023-07-12

数据资产管理在管理理念、组织形态、管理方式、技术架构、管理手段等7方面的发展趋势
数据资产管理在管理理念、组织形态、管理方式、技术架构、管理手段等7方面的发展趋势

2023-07-06

最近文章

场景驱动:面向新质生产力的数据要素市场化配置新机制

我国数据要素市场治理的模式、现状与对策

国家数据局再发声,加快数据产权、交易等制度建设

数据中台在军工制造企业数字化转型过程中的作用和思考

一图看懂数据仓库、数据平台、数据中台、数据湖的内涵和区别!

customer

在线咨询

装修网客厅装修墙面锦州装修价格日式酒吧装修别墅最新装修沈阳装修公司的排名房 装修鲁班装饰工艺展示标卓装饰昌平区的装饰公司中能云装装修怎么样90平米三室两厅简装图生日房间装饰靠谱的家装公司北京家装比较好的公司儿童戏剧教室装修116平方房子装修简装大概花多少钱140平简装多少钱简装好卖还是毛坯好卖烧烤店装修风格简装壁挂装饰木架各式装饰家装装修简装合同长沙哪个装修好只装修个卫生间公装图纸厨房简欧装修装潢装饰公司大全长沙性价比高的装修公司2020年装修价格会涨吗香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声汪小菲曝离婚始末卫健委通报少年有偿捐血浆16次猝死单亲妈妈陷入热恋 14岁儿子报警雅江山火三名扑火人员牺牲系谣言手机成瘾是影响睡眠质量重要因素男子被猫抓伤后确诊“猫抓病”中国拥有亿元资产的家庭达13.3万户高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了男孩8年未见母亲被告知被遗忘张家界的山上“长”满了韩国人?倪萍分享减重40斤方法许家印被限制高消费网友洛杉矶偶遇贾玲何赛飞追着代拍打小米汽车超级工厂正式揭幕男子被流浪猫绊倒 投喂者赔24万沉迷短剧的人就像掉进了杀猪盘特朗普无法缴纳4.54亿美元罚金周杰伦一审败诉网易杨倩无缘巴黎奥运专访95后高颜值猪保姆德国打算提及普京时仅用姓名西双版纳热带植物园回应蜉蝣大爆发七年后宇文玥被薅头发捞上岸房客欠租失踪 房东直发愁“重生之我在北大当嫡校长”校方回应护栏损坏小学生课间坠楼当地回应沈阳致3死车祸车主疑毒驾事业单位女子向同事水杯投不明物质路边卖淀粉肠阿姨主动出示声明书黑马情侣提车了奥巴马现身唐宁街 黑色着装引猜测老人退休金被冒领16年 金额超20万张立群任西安交通大学校长王树国卸任西安交大校长 师生送别西藏招商引资投资者子女可当地高考胖东来员工每周单休无小长假兔狲“狲大娘”因病死亡外国人感慨凌晨的中国很安全恒大被罚41.75亿到底怎么缴考生莫言也上北大硕士复试名单了专家建议不必谈骨泥色变“开封王婆”爆火:促成四五十对测试车高速逃费 小米:已补缴天水麻辣烫把捣辣椒大爷累坏了

装修网 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化