开发组件/工具/平台 需求 1)对批处理ETL(airflow上的)进行数据质量的监测/监控/检查, 2)以及对数据库/表数据质量进行监测。 3)同时收集使用改工具的日志信息和数据。 参考项目(只需要参考项目里的小部分功能即可): 1)https://docs.getmontecarlo.com/ 2)https://www.soda.io/ 3)阿里DataWorks(数据质量部分的部分功能) https://help.aliyun.com/document_detail/73660.html 4)https://juejin.cn/post/6976236619988729886
Success story sharing