现在需要做一套数据标准标准包括表名标准、字段名标准、数据内容标准数据标准存储在mysql中用于规范数据湖中的数据1 表名有命名规则、长度等标准2 字段名有命名规则、数据类型、长度等标准3 数据内容有格式、有效性等标准数据湖中数据为半结构化单独创建新的库来存储现有标准请帮我设计具体的方案
方案如下:
- 表名标准:
- 表名必须使用英文小写,可以使用下划线(_)分隔单词
- 表名长度不超过50个字符
- 字段名标准:
- 字段名必须使用英文小写,可以使用下划线(_)分隔单词
- 字段名长度不超过50个字符
- 字段类型必须符合mysql数据类型标准,如int、varchar、datetime等
- 字段长度必须符合实际需求,不能过长也不能过短
- 数据内容标准:
- 数据内容必须符合业务逻辑,不允许出现无效数据
- 数据格式必须符合标准,例如日期格式为yyyy-MM-dd,手机号格式为11位数字等
数据标准存储在mysql中,可以新建一个数据库,命名为“data_standard”,其中包含以下表格:
- 表名标准表(table_name_standard):包括表名、长度等字段
- 字段名标准表(column_name_standard):包括字段名、数据类型、长度等字段
- 数据内容标准表(data_content_standard):包括数据格式、有效性等字段
在数据湖中,使用标准库的数据表时,必须遵守以上标准。如果数据不符合标准,则需要进行数据清洗、转换等处理,使其符合标准后再存储到标准库中
原文地址: https://www.cveoy.top/t/topic/fJ0g 著作权归作者所有。请勿转载和采集!