​无需测试环境!如何利用测试脚手架隔离微服务,实现功能自动化

news/2024/4/24 4:28:59/

想在不建立完整测试环境的情况下测试微服务?

想在将变更推送到主线分支之前完成测试?

这是我们在进行项目交付时经常遇到的难题。最近,当我们开始一个新的项目,为客户构建一个新的聚合平台时,我们希望将尽可能多的测试和自动化转移到流程的合并前执行。

我们知道,我们需要一种方法来对我们的服务执行深度功能测试,并使我们的团队能够独立运行。这就是促使我们开发用于微服务隔离和测试的测试脚手架(Test Scaffolding)的原因。

挑战

在部署到集成环境之前,我们需要独立于其他服务对微服务的变更进行测试。这样,当我们将变更部署到上层环境时,就可以专注于测试集成和事务流,而不是单个服务的功能行为。

虽然我们可以将测试中的服务指向其依赖的测试环境,但这可能会导致两个问题。

  • 首先,环境用户之间的数据混合会导致意想不到的行为。

  • 其次,由于服务之间的连锁调用,可能会出现延迟问题和测试缓慢。我们很快意识到,我们需要在合并前隔离服务的能力,以实现集中和完全隔离的功能测试自动化。

方法

我们决定通过引入一个名为测试脚手架Test Scaffolding的概念来隔离服务。

测试脚手架的工作是模拟微服务可能需要与之交互的所有外部服务。测试脚手架的作用与建筑脚手架的作用类似,随着微服务交互的增加,会将其添加到脚手架中。每个服务都有自己的脚手架,与服务预合并(the service pre-merge)一起构建和部署。

这样就为我们的微服务提供了它所期望的依赖关系,并通过测试对输入和输出进行细粒度控制。

这种方法对于独立构建服务并向我们的工程团队提供持续的早期反馈也至关重要。

微服务基础知识


我们将在下面的示例中使用 AWS 术语,但这些概念应适用于所有平台。

开始之前,我们必须对如何定义与测试脚手架交互的功能测试范围有一个共同的理解:

  • 测试仅限于特定微服务的边界。

  • 测试已部署服务的交互属于我们的行程测试(journey tests)。

  • 在项目中,我们将微服务的边界定义为服务CloudFormation Template(CFT)所定义的组件。

微服务中最常见的组件通常是API Gateway、Lambdas、Dynamo 和 SNS 或 SQS 的组合,我们可以用这样的图来表示:

图片

在这个例子中,假设我们需要测试微服务A,微服务A在给定的数据流中与微服务B和C通信。由于这些服务的目的非常集中,因此它们必须联系其他服务来验证外部信息。

图片

微服务A与微服务B 、C对话

我们不想让B和C的实例来测试A,所以我们需要隔离一些交互:

图片

挑战:将A与B和C隔离


这正是测试脚手架的作用。它取代了服务B和C的位置,在测试中提供了大量关于如何设置和管理输入和输出的控制。

 

图片


 

有几点需要注意:

  • 每个服务只有一个测试脚手架。我们可以根据需要在单个测试脚手架中添加多种不同类型的交互--即使它们代表不同服务的不同端点。

  • 微服务和测试脚手架都由各自的 CloudFormation 模板(CFT)定义,但存储在同一个项目 repo 中。

使用案例示例:

既然我们已经定义了微服务的边界,那就来讨论几个用例吧。

在第一个示例中,服务接受 API 请求,处理请求,然后通过 SNS 主题发送输出。我们在项目中使用这种模式将信息发送到不同的聚合器服务,这些聚合器服务会将数据映射成正确的格式,然后发布到多个第三方服务。

我们要确保输入值得到正确处理,并输出到 SNS 主题。与 SNS 交互非常棘手,因为它需要订阅才能捕获响应。这很难在自动测试中即时完成,因此我们添加了一个 Lambda 来处理对 SNS 主题的订阅,并添加了 DynamoDB 来保留响应,以便对测试脚手架进行验证。
 

图片

这样,测试就可以向服务发送请求,让服务处理请求,然后从脚手架 DynamoDB 中提取发送到 SNS 主题的结果,以确定结果是否符合我们的预期。

第二个示例与第一个示例类似。在这里,我们的微服务从 SNS 主题获取事件,并调用服务进行额外的状态验证,例如产品是否处于活动状态。然后,该状态将发布到映射的外部服务。

在这种情况下,我们的测试脚手架将包含 SNS 主题、API 网关、Lambda 和 Dynamo。测试会将我们希望服务从测试脚手架 API 调用中接收的数据填充到 Dynamo 中,并触发 SNS 主题流以启动测试。在处理过程中,微服务会将其状态调用发送到测试脚手架中的 API 网关,并获取测试在此暂存的响应。我们在微服务的 DynamoDB 中验证流程的最终输出。

图片

如示例所示,使用测试脚手架可以让我们高度灵活地匹配服务的交互要求,从而可以完全隔离地测试每个服务。

脚手架设置、部署和执行

那么,我们是如何配置这些服务从而确保它们在正确的区域内运行的呢?

为了取得成功,我们在云组建模板中进行了参数化。测试脚手架和被测微服务都有各自的 CFT 来管理必要的资源。在微服务 CFT 中,我们利用模板参数化和条件语句来控制测试脚手架的使用,具体取决于服务的部署方式。这些参数通过 CI/CD 管道传入。在我们的预合并部署中,这可以让微服务寻找测试脚手架,而在集成环境中,我们可以让该服务寻找适当的已部署服务。

下面是根据输入参数有条件使用测试脚手架的微服务 CFT 片段:


Conditions:    
condIsProd: !Equals [ !Ref paramEnvironment, prod ]    
condNotFeatureBranch: !Equals [!Ref paramFeatureBranch, ""]    
condIsLocal: !Equals [ !Ref paramEnvironment, local ]    
condIsLocalOrBranch: !Or [ !Not [ Condition: condNotFeatureBranch ], Condition: condIsLocal ]    Resources:    resLambdaConvertPicture:    
Type: AWS::Serverless::Function    
Properties:    
Handler: ConvertPicture.handler    
FunctionName: !Sub "${paramEnvironment}${paramFeatureBranch}_${paramServiceName}_ConvertPicture"    
CodeUri: dist/ConvertPicture.js    
Policies:    
- SNSPublishMessagePolicy:    
TopicName: !If    
- condIsLocalOrBranch    
- !Sub "${paramEnvironment}${paramFeatureBranch}_${paramServiceName}-ts_catalog_pictureUploaded"    
- !Sub "${paramEnvironment}${paramFeatureBranch}_catalog_PictureUploaded"    
- DynamoDBCrudPolicy:    
TableName: !Ref resDynamoMenuJobsTable

测试脚手架作为分支部署的一部分与微服务同时部署。下图显示了脚手架代码必须遵守与其他服务相同的部署标准。部署完成后,我们将运行功能测试。

图片

带有测试脚手架的分支部署CI/CD管道图。

只有当使用脚手架的隔离服务测试通过后,才有可能并入主线分支。测试脚手架不会部署到我们的集成环境中。一旦主线中出现变更,我们就会使用计划作业来清理任何可能尚未手动拆除的隔离环境(服务和脚手架)。这一点很重要,因为给定账户的可用资源数量是有上限的。

测试,更上一层楼

测试脚手架允许我们的团队在合并到主线分支并部署到集成环境之前,使用与服务开发完全相同的技术(CFT 和本地 AWS 资源)独立开发和测试微服务功能。通过脚手架控制输入和输出,我们可以围绕关键流程建立更深入的测试集,并有效地确保高质量。

由于测试脚手架允许我们创建的不仅仅是基本的创建、读取更新和删除测试,我们还能构建与业务用例相关联的深度功能流。这些深入的功能测试让我们对微服务在合并到主线并部署到环境中之前的变化充满信心。此外,将大部分自动化保持在这一级别(以及单元测试)可最大限度地减少行程测试(journey test)(即:"端到端测试")的使用,并支持测试金字塔所有级别的健康自动化套件。

一些亮点:

  • 每次推送到版本库时都会执行测试。

  • 测试速度快!针对我们的一项主要服务进行的几百个测试中,运行时间最长的一组测试不到10分钟。

  • 测试对即将进行的合并进行把关。如果测试不通过,你的提交就无法合并,也不会影响其他团队在其他服务上的工作。

  • 测试定义并控制自己的所有数据,使其具有完全的确定性和密封性。

经验教训

在我们学习实施和利用测试脚手架的最佳方法时,需要不断地尝试和犯错。我们既要确定如何将其纳入项目,又要确定将其作为管道的一部分进行构建和部署的最佳方式。以下是一些关键经验:

KISS-("Keep It Simple, Stupid")我们倾向于将测试脚手架中的行为复杂化,从而不需要重复依赖逻辑来生成适当的响应。

清理- 当变更提交到主线时,服务和测试脚手架的测试版本就会被遗留下来。因此,我们建立了清理工作,以便从AWS开发账户中删除不再处于活动开发阶段或已数天未更新的工件。事实上,一切都由云形成堆栈定义,这使得根据需要重新部署变更变得非常容易。

契约演进(Contract evolution) - 测试脚手架中使用的请求和响应与实际服务契约保持一致至关重要。否则,就无法测试应该测试的内容。团队间的沟通和合同测试仍然至关重要。

与任何新流程一样,测试脚手架的开发和部署也需要时间和精力,但它最终成为了我们整体微服务开发方法中的一个强大工具和重要资产。


http://www.ppmy.cn/news/1073492.html

相关文章

2023河南萌新联赛(八)(F题 小前前)

题目描述 给定一个长度为n的数组a,并给出q次询问,每次询问给出三个数,分别是l,r,x。 在a数组中l到r这个区间里找到 连续子序列 的相或 ( | ) 的值再或 ( | ) 上x,让其值最大,并输出这个值 数组下标从1开…

makefile学习(1)

makefile的基本规则 target:prerequisitescommandtarget:目标文件,可以是Objcet File,也可以是执行文件,还可以是一个标签(Label); prerequisites:需要生成target这个文件所要用到的…

精准运营,智能决策!解锁天翼物联水利水务感知云

面向智慧水利/水务数字化转型需求,天翼物联基于感知云平台创新能力,提供涵盖水利水务泛协议接入、感知云水利/水务平台、水利/水务感知数据治理、数据看板在内的水利水务感知云服务,构建水利水务感知神经系统新型数字化底座,实现智…

【Navicat Premium 16】使用Navicat将excel的数据进行单表的导入,详细操作

业务场景:经常与数据打交道嘛,有的时候会需要将excel的数据导入到数据库中,后面发现对于单表的数据导入,使用Navicat还是非常方便的,仅仅需要将字段关系映射好就可以了 一、开始操作 前提条件:已经成功连接…

NRF52832一主多从ble_app_multilink_central

下载官方SDK后打开路径:nRF5SDK153059ac345\nRF5_SDK_15.3.0_59ac345\examples\ble_central\ble_app_multilink_central\pca10040\s132\arm5_no_packs 下的工程文件,确定把log开启 编译后下载完程序(要下载协议栈,这里用6.1.1的)&#xff0c…

华为OD机试 - 编码能力提升计划(Java JS Python)

题目描述 为了提升软件编码能力,小王制定了刷题计划,他选了题库中的n道题,编号从0到n-1,并计划在m天内按照题目编号顺序刷完所有的题目(注意,小王不能用多天完成同一题)。 在小王刷题计划中,小王需要用tme[i]的时间完成编号 i 的题目。 此外,小王还可以查看答案,可…

华为鲲鹏服务器

1.简介 鲲鹏通用计算平台提供基于鲲鹏处理器的TaiShan服务器、鲲鹏主板及开发套件。硬件厂商可以基于鲲鹏主板发展自有品牌的产品和解决方案;软件厂商基于openEuler开源OS以及配套的数据库、中间件等平台软件发展应用软件和服务;鲲鹏开发套件可帮助开发…

SPSS--s04典型相关分析

典型相关基本原理 典型相关分析是主成分分析和因子分析的进一步发展 ,是研究两组变量间的相互依赖关系 ,把两组变量之间的相互关系变为研究两个新的变量之间的相关,而且又不抛弃原来变量的信息 ,这两个新的变量分别由第一组变量和第二组变量的线性组合构成 ,并且两组变量的个数…

C++------map和set的使用

文章目录 关联式容器键值对树型结构的关联式容器set的介绍map的介绍 关联式容器 什么是关联式容器&#xff1f;它与序列式容器有什么区别&#xff1f; 关联式容器也是用来存储数据的&#xff0c;与序列式容器不同的是&#xff0c;其里面存储的是<key&#xff0c;value>结…

java八股文面试[数据库]——B树和B+树的区别

B树是一种树状数据结构&#xff0c;它能够存储数据、对其进行排序并允许以O(logn)的时间复杂度进行查找、顺序读取、插入和删除等操作。 1、B树的特性 B树中允许一个结点中包含多个key&#xff0c;可以是3个、4个、5个甚至更多&#xff0c;并不确定&#xff0c;需要看具体的实…

grafana用lark发告警python3接口

1.先在lark群聊里面创建机器人&#xff0c;并获取机器人链接。 2.后台运行下面python3脚本。 3.在grafana添加告警通道&#xff0c;设置告警。 # !/usr/bin/env python # _*_ coding: utf-8 _*_from flask import Flask, request,jsonify #import smtplib #from email.mime.te…

控制goroutine 的并发执行数量

goroutine的数量上限是1048575吗&#xff1f; 正常项目&#xff0c;协程数量超过十万就需要引起重视。如果有上百万goroutine&#xff0c;一般是有问题的。 但并不是说协程数量的上限是100多w 1048575的来自类似如下的demo代码: package mainimport ( "fmt" "ma…

会员管理系统实战开发教程06-会员充值

我们上篇讲解了会员开卡的操作&#xff0c;有了会员卡之后日常就是给会员进行充值&#xff0c;充值的逻辑是对余额进行累加&#xff0c;而且要记录充值的情况。 1 创建充值记录表 打开控制台&#xff0c;点击号创建数据源 输入数据源名称充值记录 点击编辑添加字段 先添加…

音视频 ffmpeg命令参数说明

主要参数&#xff1a; -i 设定输入流 -f 设定输出格式(format) -ss 开始时间 -t 时间长度 音频参数&#xff1a; -aframes 设置要输出的音频帧数 -b:a 音频码率 -ar 设定采样率 -ac 设定声音的Channel数 -acodec 设定声音编解码器&#xff0c;如果用copy表示原始编解码数据必须…

MySQL存储引擎MyISAM和InnoDB特点全解

&#x1f3c6;作者简介&#xff0c;黑夜开发者&#xff0c;CSDN领军人物&#xff0c;全栈领域优质创作者✌&#xff0c;CSDN博客专家&#xff0c;阿里云社区专家博主&#xff0c;2023年6月CSDN上海赛道top4。 &#x1f3c6;数年电商行业从业经验&#xff0c;历任核心研发工程师…

软件机器人助力统计局高效处理数据统计任务

统计局是负责收集、整理和发布当地经济和社会发展信息的重要机构。然而&#xff0c;由于业务体系复杂、数据量庞大等原因&#xff0c;统计局在日常工作中面临着一系列挑战。博为小帮软件机器人可以帮助统计局提升工作效率。 首先&#xff0c;统计局的业务体系非常复杂&#xff…

8月30日,每日信息差

1、年内已有8只公募基金募集失败。其中4只偏股混合型、1只增强指数型、2只FOF和1只偏债混合型。此外&#xff0c;市场调整导致发行市场遇冷&#xff0c;截至目前&#xff0c;年内还有127只公募基金延长募集期&#xff08;财联社&#xff09; 2、浙江出台加氢站发展规划&#x…

Linux特殊指令

目录 1.dd命令 2.mkfs格式化 3.df命令 4.mount实现硬盘的挂载 5.unshare 1.dd命令 dd命令可以用来读取转换并输出数据。 示例一&#xff1a; if表示infile&#xff0c;of表示outfile。这里的/dev/zero是一个特殊文件&#xff0c;会不断产生空白数据。 bs表示复制一块的大…

记一次oracle linux8.7升级内核启动问题

oracle linux 8.7安装内核5.15.0-100.96.32.el8uek.x86_64后无法启动&#xff0c; 启动过程中出现 integrity: Unable to open file: /etc/keys/x509_imader (-2) 提示 后来解决方法&#xff1a; 先重启通过原来的内核引导项进入系统&#xff0c;然后重装新内核。 使用一条命…

前端JavaScript将数据转换成JSON字符串以及将JSON字符串转换成对象的两个API

在前端 JavaScript 中&#xff0c;你可以使用 JSON.stringify() 方法将 JavaScript 数据转换成 JSON 字符串&#xff0c;以及使用 JSON.parse() 方法将 JSON 字符串转换成 JavaScript 对象。下面是这两个 API 的详细说明和示例&#xff1a; JSON.stringify()&#xff1a; 用于…