鹅厂分布式大气监测系统:以 Serverless 为核心的云端能力如何打造

Serverless 2020-11-09 15:42:12
系统 分布式 分布 大气 监测


前述

本系列前序文章,已经对硬件层进行了详细的说明,讲解了设备性能、开发、灌装等环节的过程。本篇将对数据上云后的相关流程,进行说明。

由于项目平台持续建设中,当前已开源信息为二期版本,所以本篇内容均基于此版本能力进行说明。此版本架构进一步优化了数据鉴权及数据库保护。

本文将分为两个部分:

  • 架构组成:技术角度,拆解设计逻辑
  • 模块实现:功能角度,讲解实现逻辑

【注1】二期版本首页效果

v2_yuntu_index.png

【注2】在建三期版本首页效果

v3_yuntu_index.png

【注3】在建三期版本中,加入了 日志服务对象存储、小程序功能。提供灵活的日志存储与高速检索能力、 低成本的数据库备份+恢复+迁移同步能力、移动端交互及其它能力。

架构组成

二期架构图

v2_架构图.png

注:浅蓝色标明的是相对一期的架构变更重点。

部署维度

  • 终端:部署在监测点的设备。相关设计在本系列前文中已说明。
  • 云端:部署在云上的平台。相关设计将在本文说明。

功能维度

以平台设计的基本组成部分,进行的逻辑拆分。并依架构层的设计需求,配套选型的具体产品。

具体功能与选型说明:

  • 监测节点:由软硬两部分组成。基于腾讯物联网终端操作系统 TencentOS tiny开发固件,将 兼容腾讯云的硬件设备 与 腾讯云IoT explorer进行了协议级的对接。
  • 本地网关:此部分以通信协议转换为主,不解析具体数据,仅需按前文指引配置即可。
  • 物联网接入层:基于腾讯云IoT explorer产品,提供了解密、接入、转发的相关功能。在获取数据后,进行了基于http协议的转推动作,传递给下游 API 网关
  • 中间件层:基于API 网关提供了衔接及负载均衡等能力,基于鉴权、流控等能力,衔接云函数,提供可靠的数据输入输出服务。
  • 逻辑层:基于云函数,实现了接收数据入库(数据固化)、定时统计汇总(数据分析)、输出应用数据(数据输出,支撑展示)的能力。
  • 存储层:基于云数据库 TencentDB for MySQL,进行监测数据、汇总数据、平台配置的存储。
  • 展示层:基于腾讯云图,提供了地图展示、数据展示、折线图展示等能力。并配置提供联动处理,提高了响应速度,减少了资源文件的重复传输。

模块实现

整体系统,以数据为核心,进行了相关设计,所以本部分有两个组成部分:

  • 数据结构:讲解各环节的核心数据结构与关联模式。
  • 模块说明:讲解各功能模块的实现与对应源码。

数据结构

IoT explorer(物联网开发平台)推送数据结构

以API网关推送进来,由云函数在环境变量 event 中提取到的原始数据。

其中主要的部分:

  • 非'body' 部分,为api网关相关信息
  • 'body' = IoT explorer 原始数据
  • 'body' = 终端节点上报的原始数据,经base64编码
{
"body": "{\"payload\":\"eyJtZXRob2QiOiJyZXBvcnQiLCJjbGllbnRUb2tlbiI6IjIwMjAtMDgtMThUMTE6MTc6NDkuNDAzWiIsInBhcmFtcyI6eyJQTTFfQ0YxIjo1LCJQTTJkNV9DRjEiOjYsIlBNMTBfQ0YxIjo3LCJQTTEiOjUsIlBNMmQ1Ijo2LCJQTTEwIjo3LCJwYXJ0aWNsZXNfMGQzIjo3OTIsInBhcnRpY2xlc18wZDUiOjI1NCwicGFydGljbGVzXzEiOjE1LCJwYXJ0aWNsZXNfMmQ1IjozLCJwYXJ0aWNsZXNfNSI6MywicGFydGljbGVzXzEwIjowLCJ2ZXJzaW9uIjoxNTEsIkVycm9yIjowfX0=\", \"seq\":18639, \"timestamp\":1597749469,\"topic\":\"$thing/up/property/?????/?????\", \"devicename\":\"?????\", \"productid\":\"?????\"}",
"headerParameters": {},
"headers": {
"accept-encoding": "gzip",
"content-length": "511",
"content-type": "application/json",
"endpoint-timeout": "15",
"host": "service-???-???.gz.apigw.tencentcs.com",
"user-agent": "Go-http-client/1.1",
"x-anonymous-consumer": "true",
"x-api-requestid": "???03a993936ae191f44651???",
"x-b3-traceid": "???03a993936ae191f44651???",
"x-qualifier": "$LATEST"
},
"httpMethod": "POST",
"path": "/??????",
"pathParameters": {},
"queryString": {},
"queryStringParameters": {},
"requestContext": {
"httpMethod": "POST",
"identity": {},
"path": "/??????",
"serviceId": "service-?????",
"sourceIp": "?.?.?.?",
"stage": "release"
}
}

'body' 解base64编码后:

{
"clientToken": "2020-08-18T11:17:49.403Z",
"method": "report",
"params": {
"Error": 0,
"PM1": 5,
"PM10": 7,
"PM10_CF1": 7,
"PM1_CF1": 5,
"PM2d5": 6,
"PM2d5_CF1": 6,
"particles_0d3": 792,
"particles_0d5": 254,
"particles_1": 15,
"particles_10": 0,
"particles_2d5": 3,
"particles_5": 3,
"version": 151
}
}

数据库表单结构

数据库详细格式,请参考 github-sql

各表用途:

  • config:系统配置表
  • space:地点表。记录节点部署地点。
  • client:节点表。记录节点信息及最新关键信息,关联space表。
  • base_data:日志表。记录每次上报的信息,关联space、client表。
  • aggregate_data:汇总信息表。记录按小时、天等时段汇总的数据信息。
  • temp_base_data:临时日志表。上报设备名如不在节点表内,则存入此表,主要用于调测。

API接口数据结构

模块说明

数据入库

  • 模块功能:接收IoT explorer推送数据,匹配并转换后,入数据库
  • 使用产品:API 网关、无服务器云函数
  • 关联源码:github-upload
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.2 无服务器云函数/4.2.3 云API网关” 章节

终端在线更新

  • 模块功能:按3分钟触发,更新终端信息,用于快速查询与展示
  • 使用产品:云函数
  • 关联源码:github-client_active_new
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.2 无服务器云函数/4.2.3 云API网关” 章节,但改为“定时触发”模式

数据统计

  • 模块功能:按小时及天触发,统计监测数据,用于快速查询与展示
  • 使用产品:云函数
  • 关联源码:github-aggregate
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.2 无服务器云函数/4.2.3 云API网关” 章节,但改为“定时触发”模式

数据接口-终端汇总信息表

  • 模块功能:通过API网关提供数据查询能力,响应云图调用,提供终端汇总信息表
  • 使用产品:API 网关云函数
  • 关联源码:github-client_info
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.2 无服务器云函数/4.2.3 云API网关” 章节

数据接口-终端单点信息表

  • 模块功能:通过API网关提供数据查询能力,响应云图调用,提供终端单点信息表
  • 使用产品:API 网关云函数
  • 关联源码:github-client_data
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.2 无服务器云函数/4.2.3 云API网关” 章节

数据展示

  • 模块功能:提供WEB端展示能力,含地图绘点、列表展示、折线展示等
  • 使用产品:腾讯云图
  • 关联源码:无,当前为手工配置
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.4 腾讯云图” 章节,但数据源选择时,改为使用“API”。其中“首页”地图使用“数据接口-终端汇总信息表”接口、“单点数据页”使用“数据接口-终端单点信息表”接口。具体调用的接口URL,请对应API网关提供的服务链接。

二期成本分析

v2_成本分析.png

上图表数为每节点每15秒上报一次的计算结果。

硬件部分由于厂商与采购量的差异,价格不同。此处以云服务成本计算,如果10000节点规模,每节点每分钟上报一次,单节点云服务年成本:

  • 二期架构 3.335元
    (数据库/年+云图/年)/10000+(API网关+云函数)/4=(468+48)/10000+(9+2.1)/4

  • 三期架构 1.09元
    (消息队列/年+数据库/年*2+云图/年)/10000+(云函数+日志服务+对象存储)/4=(3228+468*2+48)/10000+(2.1+2.24+0.02)/4

二期无对象存储及日志服务模块,但在当前在建三期中已使用数月,故有实际数据可列入统计。

后续计划

完成三期建设,计划内容涉及:

  • 交互优化(done): 启用space表,展示地点。
  • 交互建设(doing): 增加小程序能力,提供移动端查询能力,及告警推送能力。
  • 容灾优化1(done): 增加对象存储,提供低成本数据备份、恢复、异步迁移同步能力。
  • 容灾优化2(todo): 增加消息队列 CKafka,应对网络异常、数据库异常情况下的数据堆积与丢失风险。
  • 容灾优化3(doing): 增加日志服务,用于数据对账,应对多环节数据处理中,可能出现的数据丢失或错乱情况。

三期架构图预告

v3_架构图.png

注:浅蓝色说明的是相对二期的架构变更重点。

三期版本部分完成效果

WEB端展示

v3_yuntu_index.png

v3_yuntu_site.png

小程序端Demo

v3_yuntu_mapp.png

One More Thing

立即体验腾讯云 Serverless Demo,领取 Serverless 新用户礼包 serverless/start

欢迎访问:Serverless 中文网

版权声明
本文为[Serverless]所创,转载请带上原文链接,感谢
https://www.cnblogs.com/serverlesscloud/p/13948864.html

  1. [front end -- JavaScript] knowledge point (IV) -- memory leakage in the project (I)
  2. This mechanism in JS
  3. Vue 3.0 source code learning 1 --- rendering process of components
  4. Learning the realization of canvas and simple drawing
  5. gin里获取http请求过来的参数
  6. vue3的新特性
  7. Get the parameters from HTTP request in gin
  8. New features of vue3
  9. vue-cli 引入腾讯地图(最新 api,rocketmq原理面试
  10. Vue 学习笔记(3,免费Java高级工程师学习资源
  11. Vue 学习笔记(2,Java编程视频教程
  12. Vue cli introduces Tencent maps (the latest API, rocketmq)
  13. Vue learning notes (3, free Java senior engineer learning resources)
  14. Vue learning notes (2, Java programming video tutorial)
  15. 【Vue】—props属性
  16. 【Vue】—创建组件
  17. [Vue] - props attribute
  18. [Vue] - create component
  19. 浅谈vue响应式原理及发布订阅模式和观察者模式
  20. On Vue responsive principle, publish subscribe mode and observer mode
  21. 浅谈vue响应式原理及发布订阅模式和观察者模式
  22. On Vue responsive principle, publish subscribe mode and observer mode
  23. Xiaobai can understand it. It only takes 4 steps to solve the problem of Vue keep alive cache component
  24. Publish, subscribe and observer of design patterns
  25. Summary of common content added in ES6 + (II)
  26. No.8 Vue element admin learning (III) vuex learning and login method analysis
  27. Write a mini webpack project construction tool
  28. Shopping cart (front-end static page preparation)
  29. Introduction to the fluent platform
  30. Webpack5 cache
  31. The difference between drop-down box select option and datalist
  32. CSS review (III)
  33. Node.js学习笔记【七】
  34. Node.js learning notes [VII]
  35. Vue Router根据后台数据加载不同的组件(思考->实现->不止于实现)
  36. Vue router loads different components according to background data (thinking - & gt; Implementation - & gt; (more than implementation)
  37. 【JQuery框架,Java编程教程视频下载
  38. [jQuery framework, Java programming tutorial video download
  39. Vue Router根据后台数据加载不同的组件(思考->实现->不止于实现)
  40. Vue router loads different components according to background data (thinking - & gt; Implementation - & gt; (more than implementation)
  41. 【Vue,阿里P8大佬亲自教你
  42. 【Vue基础知识总结 5,字节跳动算法工程师面试经验
  43. [Vue, Ali P8 teaches you personally
  44. [Vue basic knowledge summary 5. Interview experience of byte beating Algorithm Engineer
  45. 【问题记录】- 谷歌浏览器 Html生成PDF
  46. [problem record] - PDF generated by Google browser HTML
  47. 【问题记录】- 谷歌浏览器 Html生成PDF
  48. [problem record] - PDF generated by Google browser HTML
  49. 【JavaScript】查漏补缺 —数组中reduce()方法
  50. [JavaScript] leak checking and defect filling - reduce() method in array
  51. 【重识 HTML (3),350道Java面试真题分享
  52. 【重识 HTML (2),Java并发编程必会的多线程你竟然还不会
  53. 【重识 HTML (1),二本Java小菜鸟4面字节跳动被秒成渣渣
  54. [re recognize HTML (3) and share 350 real Java interview questions
  55. [re recognize HTML (2). Multithreading is a must for Java Concurrent Programming. How dare you not
  56. [re recognize HTML (1), two Java rookies' 4-sided bytes beat and become slag in seconds
  57. 【重识 HTML ,nginx面试题阿里
  58. 【重识 HTML (4),ELK原来这么简单
  59. [re recognize HTML, nginx interview questions]
  60. [re recognize HTML (4). Elk is so simple