项目背景
随着永达业务的发展，，，，指标体系日益庞大，，，数据量攀升，，为了更好地满足用户及时获取数据、、、快速访问以及高并发访问数据的需求，，也为了统一规划数据中台、、、、保障系统稳定运行，，，数字神经底层数据库需要迁移升级。。。
项目痛点
1. 派生指标跑批计算耗时久，，部分指标计算无法顺利执行。。。。
2. 数仓存在大量冗余数据，，，，占用存储空间。。。。
3. SAP HANA扩展费用高昂，，，升级困难。。。
4. 指标数据查询效率响应慢，，，，无法高效支撑运营管理。。。。
解决方案
数字神经是永达集团用于辅助经营分析与支持战略决策的重要系统，，它承载着永达集团的指标分析体系，，，不仅可以多维度进行指标展示，，，而且可以进行指标的分解与追溯，，任务下达与跟踪，，，实现PDCA管理闭环流程。。它帮助永达集团构建了公司可视化的战略管理地图，，，，提高了公司经营层决策效率。。。。 因此，，，，对数字神经底层依赖的数据仓库进行升级。。。
1. 统一数据存储-开源CK升级为ByteHouse，，提升指标数据查询的性能。。
2. 调度工具升级-数据调度从开源工具Kettle及调度升级为DataLeap，，，便于数据库管理员定期监控数据调度情况，，排查数据问题。。。
3. 提升计算效率-经数字神经所使用的模型和存储过程迁移至Dataleap和BH，，，提升计算能力，，，，缩短跑批时间。。。
4. 统一任务调度-后台计算指标开发接口给Dataleap统一调度
项目亮点
1.避免冗余数据：重跑指标历史数据时，，，，使用Bytehouse的insert语义进行模型指标和系统指标的数据删除，，，，避免dimp中数据冗余。。
2.使用dataleap实现统一调度，，按照数据的依赖关系和优先级调度，，，避免冲突。。
3.整体调度效率提升：跑批时间缩短一半,原先12点左右完成跑批完成，，现在6点前能顺利完成。。。
400 6220 270
