# 帮助文档
# 目的
为了验证产品实现是否规范,确保产品和instance的一致性,特此推出SPEC测试工具,用于验证产品实现是否符合instance描述。工具使用中遇到的任何问题,请在开发者平台工单系统中进行反馈。
# 功能
- 工具会根据instance自动生成测试用例集,对定义的各种properties和actions进行遍历检查。
- 支持固件rpc耗时测试
- 支持设备调试
# 使用步骤
# 准备工作
- 准备小米IoT开发者平台 (opens new window)账号(以下简称为开发者账号)和被测设备
- 将被测设备绑定到开发者账号上(请不要使用共享的设备进行测试,否则会导致notify测试失败)
- 确保设备属于该开发者所在的企业组,否则没有测试权限
- 确保设备为在线状态
# 登录系统
- 访问AIoT认证测试平台 (opens new window)下载使用,并使用开发者账号登录
# 工具入口
- 根据设备联网方式(Wifi、BLE Mesh),可选择对应的功能测试、耗时测试、设备调试模块进行测试:
(以Wifi为例)
# 功能测试
# 生成测试集
- 选择设备测试环境和待测设备后,会自动生成测试用例集
- 选择默认测试用例集,点击开始测试,进入测试用例列表页面
- 勾选测试部分用例,可拖拽并选择部分用例进行测试
# 调整测试集(可选)
- 有些产品属性存在互斥的情况,例如:空调制热模式下,没有干燥开关。如果测试干燥开关属性时,上一条用例设置成了空调制热模式,必然会导致该测试失败,因此需要在该用例前面加一条属性设备,将空调模式设置为制冷(点击“插入前置条件”列表的“上方插入”按钮)。
# 存档测试集(可选)
- 为方便以后测试,可以将修改后的测试集存档
- 下次测试时,就可以选择存档的测试集进行测试
# 开始测试
- 点击”开始“按钮进入测试页面
- 测试页面会实时显示测试进度信息,右下角按钮支持关闭实时日志滚动
- 若中途点击面包屑离开页面,可在首页下方【进行任务】中点击“进度查看”重新进入。若点击“终止”按钮,将强行终止本次测试任务
# 测试完成
- 测试完成后可选择是否上传测试报告
- 若点击上传报告且上传成功,可在左侧菜单【测试结果】中查看,点击“通过/失败”按钮会进入测试报告页面,可查看测试用例通过情况(支持下载报告功能)
- 若点击关闭,也可在首页下方的【历史任务】中上传报告(上传后同样在左侧菜单【测试结果】中查看),若仅需查看测试日志可点击”查看日志“按钮
- 【测试报告】/【测试日志详情】页面点击每个用例的“查看详情”按钮,可以查看测试步骤及结果
- 【测试报告】页面点击右上角“下载”按钮,可以将测试报告下载到本地
# 耗时测试
# 适用范围
- 支持耗时统计的模组&SDK版本
模组型号 | 芯片平台 | 支持固件耗时的最低版本 |
---|---|---|
ESP-WROOM-32D/ESP32-WROOM-32U | ESP32 | 2.0.8 |
ESP-WROOM-02D/ESPWROOM-02U | ESP8266 | 2.0.5 |
MHCWB2P | MTK7697 | 2.0.3 |
MHCWB4P-B&MHCWB4P-IB | 8720c | 2.0.1 |
MHCWB6P-IB | esp32-c3 | 所有版本支持 |
OT-Client SDK(Linux) | NA | 4.0.7 |
OT-Client SDK(Android) | NA | 4.2.1 |
# 生成测试集
选择设备测试环境、待测设备后会自动生成测试用例集;耗时测试可获取功能测试下自定义的用例集
开始测试,选择用例等操作和功能测试一致,可参考功能测试相关步骤
# 设备调试
- 选择设备测试环境、待测设备后,点击“开始测试”按钮进入设备调试。针对每个用例可单独进行测试,点击”读缓存“、“写入”、“读设备”等按钮进行对应操作;点击用例前面的“+”符号可查看相关操作响应日志