1 | 概念发展 | 很少或没有 | 算法文档草稿;算法论文提交 | 很少或没有 | 限于选定的少数人 | 很少或没有 |
2 | 还要进行较大的修改 | 研究级 | 第一版算法文档C-ATBD;复审的算法文章 | 最低程度 | 向专业人员提供有限的数据 | 有限或正在进行中 |
3 | 还要进行中等程度修改 | 研究级,符合国际标准 | 公开的算法文档;经同行评议发表的算法论文 | 在选定的区域/时间进行了不确定性评估 | 数据和源代码存档并可以获取;使用需要注意 | 应用评估为正效果 |
4 | 需要进行一些修改 | 有元数据;稳定;允许数据集来源追踪和重现;符合国际标准 | 公开的算法文档;业务算法描述草稿;同行评审的算法出版物;关于产品的论文提交 | 多个研究者在广泛分布的地区和时间进行了不确定估计;对差异有所了解 | 数据和源代码存档并可公开获取;提供不确定估计;存在的问题公开 | 可在实际应用中使用;应用评估为正效果 |
5 | 需要进行最小的修改;稳定、便携、可重复 | 元数据完整;稳定;允许数据集来源追踪和重现;符合国际标准 | 公开的算法文档;业务算法描述修改版;关于算法和产品的经同行评审的出版物 | 不同研究者在大多数环境条件下获得一致的不确定性评估结果 | 数据和不确定性估计存档并可公开获取;存在的问题公开;定期更新 | 可被其他研究者使用;应用评估为正效果 |
6 | 不需要代码修改;稳定、可重复;便携、高效 | 元数据完整、动态更新;稳定;允许数据集来源追踪和重现;符合国际标准 | 公开的算法文档和业务算法描述文档;多个关于算法和产品的经同行评审的出版物 | 设计观测策略,通过独立交叉检验、开放检查和连续调查揭示系统误差;误差定量化 | 可公开获取长期存档数据;常规更新 | 在公开发表的应用中使用;可被行业应用;应用评估为正效果 |