开发组件/工具/平台
需求
1)对批处理ETL(airflow上的)进行数据质量的监测/监控/检查,
2)以及对数据库/表数据质量进行监测。
3)同时收集使用改工具的日志信息和数据。
参考项目(只需要参考项目里的小部分功能即可):
1)https://docs.getmontecarlo.com/
2)https://www.soda.io/
3)阿里DataWorks(数据质量部分的部分功能)
https://help.aliyun.com/document_detail/73660.html
4)https://juejin.cn/post/6976236619988729886
Success story sharing