HBase在新能源汽车监控系统中的应用

  • 时间:
  • 浏览:1
  • 来源:大发5分快乐8APP下载_大发5分快乐8APP官方

目前新能源监控系统中主要使用Phoenix实现二级索引,大大增加了数据的查询使用场景。

最终新能源监控系统的系统整理如下

人太好通过Row key的设计需要除理帕累托图数据查询的需求,而且在面对比较复杂需求时难以通过Row key 直接索引到数据,若索引无法命中,则可不可否 了进行大范围或全表扫描才我不要 定位数据。什么都大伙儿在使用HBase时尽量除理比较复杂的查询需求。但业务方面仍然会有帕累托图较为比较复杂的查询需求。针对哪几个需求,大伙儿主要使用有并不是办法 来建立二级索引。

需要我不要 支持海量数据的不间断写入,而且我不要 存储PB级别的数据,具有高扩展性、高可靠性等;

系统中车辆数据分为热数据和冷数据,热数据需要HBase中实时可查,冷数据虽需要实时可查,但却需要老是保占据 磁盘中。阿里云HBase支持将冷数据直接存储在OSS中,而哪几个数据的转存只需要简单的设置表相关属性,操作非常简单。将冷数据存储在OSS之中大大减少了数据的存储成本。

未来,大伙儿会在系统接入絮状车辆后,使用golang重写高性能组件以满足后期的并发性能需求。将会项目初期考虑到开发时间的问提图片,并未采用服务拆分的办法 进行开发,这限制了系统的可扩展性,后期大伙儿会根据实际业务需求,将系统切分成相对独立的模块,增强扩展性可维护性。

优先选用有丰厚实力的商业公司支持的云平台,最大限度减少运维成本。

团队使用Python语言构建系统,但HBase使用Java语言编写,原生提供了Java API,并未对Python语言提供直接的API。大伙儿使用happybase连接HBase,将会它提供了更为Pythonic的接口服务。另外大伙儿也是用QueryServer 作为Python组件和Phoenix连接的纽带。

重庆博尼施科技有限公司是一家商用车全周期方案服务商,利用车联网、云计算、移动互联网技术,在物流领域 为商用车的生产、销售、使用、售后、回收各个环节提供一站式除理方案,其中的新能源车辆监控系统什么都由该公司提供的,本文是阿里云客户重庆博尼施科技有限公司介绍如保使用阿里云 HBase 来实现新能源车辆监控系统。该系统主要用于东风轻卡等新能源商用车监控服务,目前该系统正在阿里云线上稳定运行。

将会车辆的监控数据非常大,传统关系型数据库(如Mysql、pg等)将会无法胜任存储工作,什么都大伙儿需要选用有并不是分布式数据库用于存储车辆实时数据。

图中最左端为监控的车辆,它会实时整理车辆的各项数据,并把整理到的数据通过移动互联网发送到平台。平台验证完数据会将其写入到Kafka消息队列中。流式计算服务器从Kafka消息队列中取出车辆的原始数据,并对车辆的数据进行解析、存储、转发等操作。HBase集群负责存储车辆实时数据,MySQL负责存储组织关系数据。并肩,大伙儿总要将超过一定时间(比如7天 前)的数据转存到OSS存储介质中,以便降低存储成本。Spark ML会对系统中的各项数据进行分析。终端用户会从HBase中查询一些数据。

大伙儿在市场需要够找到分布式数据库有MongoDB和 HBase。

经过对这几种数据库的分析,大伙儿最终选用HBase,其满足大伙儿前面提到的2个要求,而且还提供Phoenix插件用于SQL得话的查询。

另外,车辆数据积累到一定程度后,大伙儿需要利用哪几个数据进行大数据分析, 如车辆的故障诊断,车辆请况预测等,什么都就需要在车辆总出 问提图片前提前发出预警,为车主和保险公司除理更大的损失,降低运营成本。

作为初创公司,大伙儿的运维能力有限,大伙儿需要业务的快速落地。什么都自建机房以及运维团队由于前期较大的投入以及高昂的运维成本,什么都大伙儿决定使用云方案。

本项目为车联网监控系统,系统由车载硬件设备、云服务端构成。车载硬件设备会定时整理车辆的各种请况信息,并通过移动网络上传到服务器端。服务器端接收到硬件设备发送的数据首先需要将数据进行解析,校验,随总要将该消息转发到国家汽车监测平台和地方汽车监测平台,最后将解析后的明文数据和原始报文数据存储到系统中。车辆的数据和一些数据需要通过web页面或rest API接口进行查询访问。要求7天 内的数据查询响应时间在毫秒级别内,超过7天 的数据需要装到更加低成本的介质上,查询延迟在3s以内,哪几个数据的查询频次比较低。系统的主要参数有以下几项:

首先,本文介绍了新能源车辆监控系统的项目背景,时会分析了本项目的项目难点,并介绍了大伙儿团队的各种除理方案。针对项目需求,介绍了大伙儿选用HBase的由于,及在HBase数据库使用过程中的经验和痛点。

人太好Phoenix我不要 通过二级索引实现较为比较复杂的数据查询,但对于更为比较复杂的查询与分析需求就显得捉襟见肘。什么都大伙儿选用了Spark等一些数据分析组件对数据进行离线分析,分析后对结果通过接口提供给用户。

我不要 支持简单的关键字查询,响应时间在秒级别内;

系统采用层级架构以方便后期扩展和维护,现在主要分为以下几层:

我不要 兼容大数据生态产品(如Spark、Hive、Hadoop等),并肩支持离线和准实时OLAP;

新能源车辆监控系统是2个车辆网服务平台,具有高并发、数据量大、实时性要求高等特点。对车辆监控系统来说最重要的问提图片什么都如保除理车辆产生的海量数据,大伙儿估计,当车辆数量增长到116万时,每天会产生合适2TB的数据,哪几个数据不仅需要存储,还需要做到实时可查。本文将介绍项目的背景和系统的基本架构,时会介绍大伙儿在开发过程中遇到的各种问提图片以及除理方案。

经过比较国内的各大云厂商,大伙儿最终选用了阿里云平台,将会阿里云提供SaaS化的HBase服务,并肩阿里云HBase支持很全面的多模式,支持冷数据存装到OSS之中,节约成本;支持备份恢复等社会形态,做到了真正的native cloud的数据库服务。另外,HBase 在阿里內部部署超过14000台机器,历经7年天猫双11的考验,哪几个实际数据以及经验增强了大伙儿对阿里云HBase的技术信心,并肩满足了大伙儿的技术和业务需求。

团队在使用HBase以前老是使用MySQL关系型数据库,在系统设计之初并那么考虑HBase的社会形态,什么都按照关系型数据库的设计原则设计。经过一段时间的了解后才知道HBase主要使用Row key进行数据查询。Row key的设计至关重要。 目前系统中设计的Row key如下: