凯发K8国际

北京凯发K8国际交通科技有限公司官方网站
北京凯发K8国际交通科技有限公司官方网站

TCC路网指挥控制―大数据处理技术在成都地铁COCC项目中的应用

成都地铁COCC项目是由成都地铁运营有限公司主导,由凯发K8国际深度参与建设的一个线网级综合监控运营平台。该平台监控范围涉及地铁运营的所有主要业务指标,包括:行车、客运、设备、能耗等。

在面大数据量的实时处理任务时,传统的单机程序已很难保证数据处理的及时性和准确性。我们采用了在大数据处理领域常用的处理方法,采用分布式的架构来对ACC客运数据进行实时的流式处理。

当系统处理效率下降时,只需简单地通过修改启动参数、增加集群节点数等方式,来使系统处理能力得到线性提升。同时,因为我们的数据处理任务是运行在Storm集群之上,当集群中任何一个节点出现故障宕机时,未处理完的数据会自动转到其它节点继续处理,而不会导致数据丢失或延迟。

2.jpg

Storm采用类似“管道”的方式来处理数据,这种方式也被称为“流式数据处理”。如上图所示,每一个拓扑任务,都像一个大树,树根是拓扑的源头,它负责从Kafka接收数据,并进行一些预处理,然后向下游节点分发。下游节点接收到上游分发的数据后,继续对数据进行处理,处理完成后,将处理存入数据库。

  • 联系热线:(010) 8372 0108
  • 公司地址:
    北京市丰台区智成北街 3 号院京投硅谷大厦 5层/6 层
底部关注二维码
友情链接: 京投公司 京投科技 京投科技香港
Copyright @ 2019 . All rights reserved.
Copyright @ 2019. All rights reserved.北京凯发K8国际交通科技有限公司版权所有. 京ICP备11002488号-2