在数据仓库中，全量表和增量表是两种常见的数据更新方式。全量表记录更新周期内的全量数据，无论数据是否有变化都需要记录；而增量表只记录更新周期内新增的数据，即在原表中数据的基础上新增本周期内产生的新数据1。
全量表更新技巧
-
全量覆盖：
- 每次更新时，将最新的全量数据覆盖到表中。
- 适用于数据量较小、更新频率较低的场景。
-
分区表：
- 使用分区表来存储全量数据，每个分区包含特定时间段的数据。
- 通过分区来提高查询效率和数据管理的灵活性。
-
批量处理：
- 将数据分批次进行处理和更新，以减少单次更新的数据量和对系统的影响。
-
并行处理：
- 利用并行处理技术，提高数据更新的效率和速度。
增量表更新技巧
-
时间戳增量：
- 记录每次读数完成时的最大时间戳，后续读数时只获取源头表中新增的数据，将其增量写入到目标表7。
- 适用于源表只增不删不改，且有时间戳标记新增的数据的场景7。
-
触发器增量：
- 为抽取的表建立触发器，当源表中的数据发生变化时，触发器将变化的数据写入临时表，然后从临时表中抽取数据7。
- 适用于所有场景，但需要在源表上建立触发器，成本较高7。
-
全表对比（MD5）：
- 为源头表建立一个结构类似的MD5临时表，每次抽数时对源头表和MD5临时表进行MD5校验码比对，从而决定源头表中的数据是新增、修改还是删除，同时更新MD5校验码7。
- 适用于所有场景，但需要额外的计算和存储开销。
-
切片增量更新：
- 按照时间将数据切成片，每次更新时只更新某一片或某几片数据4。
- 先把目标时间范围内的数据删除（如果存在），然后再把目标范围内的最新数据插入进去4。
全量改增量的数据验证
在将全量表改造为增量表时，需要进行全面的数据验证，以确保数据的一致性和准确性。
-
数据探查：
- 对已有的全量表进行数据探查，从不同维度对数据进行预估，并与实际值进行对比6。
-
时间维度比较：
- 检查时间维度上的数据波动性和一致性6。
-
空间维度比较：
- 比较上下游数据、系统内其他数据、异构数据和同构数据等6。
-
数据映射关系检查：
- 仔细检查字段的对应关系，确保数据映射的正确性6。
-
数据缺失检查：
- 检查数据是否存在缺失，并分析原因进行解决6。
通过以上技巧和验证方法，可以有效地进行全量表和增量表的数据更新，并确保数据的一致性和准确性。
