数据采集
数据采集是数据仓库建设中最基础的工作,负责将散落在各个数据孤岛的数据整合到统一数据仓库平台中。数据采集不只需要能够从多种不同类型的数据系统采集数据,还要考虑数据采集的效率,通过全量和增量采集相结合的手段完成采集工作。在采集的过程中,还不能对在线系统产生影响。
|
数据生产链路监控
就像工业流水线一样,数据仓库的数据加工过程是一个数据生产的有向无环图。如何让数据有序的按照数据模型设计的逻辑一步一步被加工出来,保障数据上下游依赖的正确性,在发现问题时能够提醒开发人员及时处理,是一个艰苦而细致的工作,也是数据仓库建设过程中最主要的工作。
|
数据质量管理
数据质量是数据仓库的生命线,是数据仓库建设中的重中之重。在数据生产的整个链条中,需要能够根据数据特征制定不同的数据质量监控规则,随时监控数据的产出质量,并制定出相应的控制手段,保障不让有质量问题的数据影响业务的决策。
|
数据采集
数据采集是数据仓库建设中最基础的工作,负责将散落在各个数据孤岛的数据整合到统一数据仓库平台中。数据采集不只需要能够从多种不同类型的数据系统采集数据,还要考虑数据采集的效率,通过全量和增量采集相结合的手段完成采集工作。在采集的过程中,还不能对在线系统产生影响。
|
数据生产链路监控
就像工业流水线一样,数据仓库的数据加工过程是一个数据生产的有向无环图。如何让数据有序的按照数据模型设计的逻辑一步一步被加工出来,保障数据上下游依赖的正确性,在发现问题时能够提醒开发人员及时处理,是一个艰苦而细致的工作,也是数据仓库建设过程中最主要的工作。
|
数据质量管理
数据质量是数据仓库的生命线,是数据仓库建设中的重中之重。在数据生产的整个链条中,需要能够根据数据特征制定不同的数据质量监控规则,随时监控数据的产出质量,并制定出相应的控制手段,保障不让有质量问题的数据影响业务的决策。
|