天海工业大数据平台,基于hive/sparksql/kafka等大数据计算引擎,结合tdengine时序数据库,汲取安元科技多项目实践过程经验, 为客户提供物联网以及其他数据的数据开发,数据治理以及数据分析等全球领先、安全、稳定高效的工业大数据云服务。
为用户提供增量,全量的多数据源之间的相互数据同步,实现数据的相互打通,特别是与安元工业互联网平台有比较深的订制,内置多种同步数据同步方案
通过构建Kafka流数据平台,为天海电子集团数据采集分析提供低延迟保障,同时提供统一的技术和业务元数据存储库,将数据转换为通用的数据格式
基于tdengine时序分布式数据库,支撑高速的物联网数据写入,同时通过范围查询,聚合查询,联表查询等查询与计算服务,对外提供物联网的分析能力
根据天海集团物联网相关设备的基本情况,提供了mqtt服务直接接入数据,以及消费天海集团的kafka数据,实现物联网设备端数据提供至tdengine时序分布式数据库,为数据应用提供查询和计算服务
基于hive数据仓库以及维度建模理论,为用户提供快速的业务模型建设能力,可以根据业务,设计好数据总线,支持scd2的维度缓慢变化,以及事务事实表,周期快照事实表,累积快照事实表。通过数据质量,帮助用户识别质量问题,顺着血缘关系找到问题源头,辅助用户决策修复数据
根据天海集团信息管理,满足未来展现的性能要求,我们选择以HDFS、Hive数据库共同承担对结构化的数据的存储和计算。以HDFS建立传统数据仓库来实现对用于结构化数据和元数据的集中存储,通过Hive建立数据离线计算、存储、查询和分析存储在HDFS中的数据
备案号:豫ICP备2023001062号 版权所有:天海汽车电子集团股份有限公司