杭州云远科技有限公司logo

  • 微博
  • 微信
  • QQ好友
  • QQ空间
  • 百度
详细内容

浅析小程序云原生数据库设计与应用-杭州网络公司为你呈现

时间:2020-07-16     作者:杭州网络公司【转载】   来自:微信公开课

1
背景


从软件工程的角度来看,软件开发经历了如下三个阶段:传统开发->敏捷迭代->Serverless传统的开发模式和敏捷迭代开发模式除了需要开发者编写核心的业务逻辑外,都不可避免地需要对后端的基础设施进行管控和优化。比如,一个应用的逻辑可以很简单,可一旦涉及到应用的发布部署,就需要开发者花费大量精力进行服务器、数据库、网络等基础设施的申请和搭建,还要考虑这些后端基础设施的稳定性、可用性和监控指标。这一切耗时耗力又与产品的核心功能无关,对于需要快速开发和试错的产品,传统的模式开发速度慢、部署和运维成本较高。

1.png
随着Serverless概念的火热,越来越多的开发开始转向Serverless发展。“Serverless”并不是指后端没有服务器,而是将后端服务器及相关运维操作变得对上层应用开发者不可见和透明。用户无需关心后端的基础设施,直接通过云API一键接入云函数、云数据库和云存储来获取算力、数据库、存储等基础的后端能力。这种随用随取的开发模式,不但可以让开发者能更专注于自身的业务逻辑,还具有低成本、开发速度快以及免运维等诸多优势。


小程序需求 + Serverless理念 = 小程序云开发


小程序云开发以微信作为小程序前端运行的依托,同时又通过接入云函数、云数据库和云存储,来达到对后端基础设施的开箱即用。这些特性可以在很大程度上解放小程序开发者的生产力,降低开发的成本和难度。

2
数据库设计


云数据库作为小程序云开发的重要组件之一,应具备以下特性/能力:

  • 安全性:对于数据库而言,数据安全是第一位的;

  • 易用性开箱即用,用完即走,简单上手,免运维;

  • 低成本按量收费,精细化成本控制;

  • 高性能:Nosql,支持高并发读写;

  • 灵活性:(no-schema) 无固定的数据库表模式,当业务量扩展时可以非常方便的弹性伸缩。

围绕这5个主要需求,云开发数据库从架构设计等方面进行了相应的改造及优化,下面简单介绍一下:


2.png


最上面是小程序的接入客户端,中间部分是接入层,底层是数据库的存储层,当然,还有周边的管控、告警、备份、元数据管理等模块。

开发者通过云开发提供的SDK,可以在小程序中一键获取云数据库的登录态,然后将数据读写请求发送给接入层。接入层收到用户的读写请求后,由 keeper 和 agent 这两个无状态的模块对接入的读写请求进行相关处理。其中 keeper 主要负载请求的鉴权、认证缓存,以及读写请求数的统计,是云数据库权限校验,负载均衡和计费功能实现的核心模块。agent 模块主要有以下几个功能:1)维护接入层到底层数据库实例的连接池,通过复用已建立的连接来减少请求鉴权和连接创建的耗时;2)统计请求的并发数,对读写请求的QPS进行平滑处理,避免短时间的毛刺影响数据库性能和可用性;3)在热迁移切换数据库实例时,将请求挂起,切换后再将请求恢复,来实现热迁移过程对用户的全程无感知。

最后,读写请求通过了接入层,再接下来会到达存储层进行数据库实例的读写。首先,为了保证数据库的高可用,每个数据库实例都是跨机房的三副本存储,节点(机房)故障都可以自动恢复;其次,数据安全性方面,数据库副本之间通过 raft-like 的副本集协议来保证它们数据的最终一致性,数据库备份也支持用户将数据回档到任意时刻;最后,我们也充分利用云数据库的日志、监控、拨测等模块收集的信息,设计了自动化运维平台,对常见数据库异常(比如磁盘只读等)进行秒级探测和自动处理,尽可能保证用户业务平稳运行。


当然,围绕小程序云开发数据库,我们做了一系列优化,包括且不限于:全链路免鉴权、连接数控制、按量付费、跨机房容灾、自动FailOver、弹性扩缩容、数据库热迁移、智能DBA、查询优化等等。鉴于篇幅原因,就不在这里展开。
3
应用


鉴于我们对于数据库API提供了非常简单易用的封装,云开发数据库的使用方式非常简单。可以从小程序端或者云函数端访问。


    // 应用 - 小程序端const db = wx.cloud.database()
    db.collection('goods')  .where({    category: 'food'  }}  .limit(100)  .get()
      // 应用 - 云函数端const cloud = require('wx-server-sdk')cloud.init({  env: cloud.DYNAMIC_CURRENT_ENV})const db = cloud.database()
      db.collection('goods')  .where({    category: 'food'  }}  .limit(100)  .get()


      下面从一些实际的例子看一下在不同场景下云开发数据库的应用。


      3.png3.1
      电商类型小程序


      直接使用基础的数据库读写能力来查询商品列表:


      4.jpg
        const db = wx.cloud.database()
        db.collection('goods')  .where({    category: 'food'  }}  .limit(100)  .get()
        使用云数据库的聚合搜索能力对商品列表进行排序,模拟用户按"价格"、"评价"等不同纬度进行排序筛选:


        5.jpg


          const db = wx.cloud.database()
          // 先根据评分降序排名,评分相同的,再根据价格升序排名db.collection('goods')  .aggregation()  .sort({    rank: -1,    price: 1  })  .end()
          对于一个订单而言,多个用户同时购买时,可以使用到云数据库的事务能力。将查询商品数量和下单放在一个事务里,保证操作的原子性。
            const cloud = require('wx-server-sdk')cloud.init({  env: cloud.DYNAMIC_CURRENT_ENV})const db = cloud.database()
            db.runTransaction(async t => {  const doc = t.collection('goods').doc('apple')  const { data: price } = await doc.get()  if (apple.amount === 0) {    throw new Error('没有足够的苹果!')  }  await doc.update({    amount: apple.amount - 1  })})3.2


            O2O类型小程序


            利用云数据库提供的地理位置搜索能力来满足O2O类应用的"寻找附近的商家"之类的场景:
            7.png
              const _ = db.command
              // 找出距离给定位置 1 公里到 5 公里范围内的记录db.collection('restaurants')  .where({    location: _.geoNear({      geometry: db.Geo.Point(113.323809, 23.097732),      minDistance: 1000,      maxDistance: 5000    })  })  .get()


              6.png
              3.3
              社交类型小程序


              使用云数据提供的实时推送功能来轻而易举地实现一个多人实时聊天室
              9.png
                const db = wx.cloud.database()
                db.collection('messages')  .where({    roomId: 1234  })  .watch({    onSnapShot(docs) {      console.log(docs)    }  })



                4
                总结


                小程序云开发可以大大解放小程序开发者的生产力,降低开发的成本和难度。其中云数据库扮演了举足轻重的角色。云数据库针对小程序云开发的5大需求:安全性、易用性、低成本、高性能、灵活性,从数据库架构设计等方面做了诸多改造和优化,使得运输局可以更加贴合小程序的使用场景。


                面向未来,在管控层我们也将提供更加细粒度的监控,更智能的DBA和更高效的弹性伸缩能力;在数据库内核层,我们将封装更多的底层存储引擎能力暴露给API层,并深度结合小程序的使用场景来进行定制化开发,进一步提升事务的性能等等。


                我们相信,云开发数据库将在Serverless理念的指导下不断完善自己,并帮助广大开发者共同发展。



                关于小程序云开发数据库能力,你还有哪些疑问或建议?欢迎来到 #云开发社区 交流反馈,云开发技术运营专员将与大家深度互动。


                image.png

                阅读原文

                新闻中心
                更多
                • 付款后!微信支付里解锁 4 个隐藏服务-

                  付款后!微信支付里解锁 4 个隐藏服务-

                  盲猜,99%的人可能都没有体验过,微信支付后的这些便捷服务。来看看,你使用过几个?AA制,无压力每位买单人都有不好意思AA的时刻,进则分毛必争,退则今天请客,i

                • 今日开始,钱包余额必“增”-杭州微信小程

                  今日开始,钱包余额必“增”-杭州微信小程

                  昨天,你们说:这不,来了!今天起,2023年度个税综合所得汇算清缴已经开始,可以直接前往个税APP办理年度汇算了。只要拥有国家职业资格证书,就可以抵扣个税。在微

                • 最新财报:增!-杭州网站建设为你呈现

                  最新财报:增!-杭州网站建设为你呈现

                  3月20日,腾讯公布了2023年全年业绩财报,微信及WeChat的合并月活跃账户数13.43亿。视频号视频号的总用户使用时长翻番,得益于推荐算法优化下日活跃账户

                • [语音] 60"--杭州网络公司为你呈现

                  [语音] 60"--杭州网络公司为你呈现

                  这个画面见过吗?这是最早的微信语音界面,距今已经13年了。从文字到声音,从眼睛到耳朵,当微信里有了语音,意味着沟通有了更多可能,也让交流的体验更立体。到现在,微

                • 来啦!港港港港港港港港港人-杭州APP开

                  来啦!港港港港港港港港港人-杭州APP开

                  我来到你的城市,走过你来时的路,他们说,最佳的关系正是“双向奔赴”。——港人北上逛,说走就走这是港人北上的众多首发到站之一,深业上城。深业上城这片或白或红或黄的

                • 同学,来微信上班吗?-杭州抖音短视频直播

                  同学,来微信上班吗?-杭州抖音短视频直播

                  淡淡的人,还在微信里等工作。勇敢的人,已经来微信工作了。腾讯WXG2924实习生招聘加入我们从成为WXG的实习生开始面向人群毕业时间在2024年9月至2025年

                • @外国朋友&老年朋友,更方便了!-杭州微

                  @外国朋友&老年朋友,更方便了!-杭州微

                  谁还不太会用手机支付?刚到中国的外国朋友;不太懂手机操作的老人朋友。这两类人怎么用得更方便?过去一段时间,微信支付持续开展体验优化,不少改动现在告诉你。外国朋友

                • 加强行业自律 打造健康生态倡议书-杭州网

                  加强行业自律 打造健康生态倡议书-杭州网

                  近一段时间以来,接连出现个别MCN机构为博取流量炮制虚假内容、传播网络谣言、恶意欺骗网民的问题,造成恶劣影响,遭到各方谴责。中国网络视听节目服务协会网络视听专业

                • 关于打击“制造虚假信息、恶意摆拍”的治理

                  关于打击“制造虚假信息、恶意摆拍”的治理

                  近日,警方通报“在巴黎拾到小学生秦朗作业本”视频系编造,公安机关已依法对相关人员作出行政处罚。平台鼓励真诚创作,严厉打击编造散播虚假信息、通过恶意摆拍制造或蹭炒

                • 关于开展“清朗·优化营商网络环境—整治涉

                  关于开展“清朗·优化营商网络环境—整治涉

                  为落实“清朗·优化营商网络环境—整治涉企侵权信息乱象”专项行动的有关要求,切实维护企业和企业家网络合法权益,微信进一步加大对蓄意造谣抹黑企业家,编造、传播虚假不

                杭州云远科技有限公司是一家专门致力于为企业提供全方位网站建设服务。年轻的我们带着梦想和对网络的热情走在互联网道路的前沿,一路走来,我们的努力和真诚得到了更多客户的认可。在未来的发在未来的发...

                浙公网安备:33010602011153

                seo seo