人工智能数据集标准化与共享机制的探索( 二 )


按照上述结构和组成发布数据集元数据 , 可提高数据集可读性和易读性 , 从而为高质量金融行业人工智能标准数据集的搭建以及数据验证、评价提供基础保障 。
人工智能标准数据集共享机制作为金融科技家族中的重要一员 , 人工智能技术的创新发展和应用离不开“开源”这个核心要素 。 人工智能产业生态链上游对基础软硬件及算力的需求 , 促进了人工智能基础设施服务能力的开放共享;中游核心技术的开源开放 , 促进了算法的迭代更新;下游通过数据共享的实践及业务机制的互联互通 , 将技术、应用与场景深度融合 , 合力打造人工智能产业生态链的可持续发展 。 在搭建人工智能测试数据集的过程中 , 也将秉持并实践“开放合作 , 共建共享”的理念 。 金融行业人工智能测试数据集的共享机制 , 可分为数据集开放式共享和数据集开放式评价两部分 。
1.数据集开放式共享
建立基于元数据的金融行业人工智能测试数据集的开放式共享机制 , 一方面是为了给金融机构提供高质量、易获取的数据集;另一方面也是为了促进金融应用细分领域下的行业标准数据基线的形成 , 进而指导金融机构更好地对标人工智能应用效果 。
首先 , 应明确数据集共享生命周期的定义及组成 , 并完善数据共享各阶段的管理机制 , 包括但不限于各阶段的参与人、角色、职责、权力等 , 以确保数据上传、授权、存储、下载、更新、验证及销毁等各环节的流畅运转 。
其次 , 应建立数据开放式共享协议 , 明确数据共享的授权分类 , 管理数据活动范围 , 保护数据所有者的相关权利 。 数据开放式共享协议的建立可参考知识共享协议(CreativeCommonsLicense , 以下简称CC协议)或开放数据库协议(OpenDatabaseLicence , 以下简称ODbl协议) 。 CC协议适用对象是创作内容和数据(包括不限于照片、文本、数据等) , 规定了知识共享的适用范围 , 知识共享授权的6种组合(包括是否允许商业使用、是否要求署名等) , 且该协议已经完成了中国大陆地区的本地化 , 标志着该协议在中国大陆法律框架体系下的效力 。 ODbl协议适用对象是数据库 , 提供3种类型的开放数据共用授权许可 。 该协议是国际通用的许可协议 , 但还未完成中国大陆地区的本地化工作 。
最后 , 应考虑数据共享的公正性与透明性 , 以充分调动共享机制参与者的积极性 , 最大程度地保障各方利益 。 在这方面可考虑将联盟链作为数据共享机制的载体 , 将数据集部署上链实现数据集的多节点存储备份 , 并利用区块链特性 , 实现数据流转记录的可追溯 , 增强数据共享机制的透明度 , 减少数据所有者对数据存储安全性与公正性的顾虑 。
2.数据集开放式评价
金融行业人工智能测试数据集的开放共享不仅是简单的数据分享及数据获取 , 更应是数据流通与数据评价的开放共享 , 以数据为驱动引导人工智能模型的优化 , 充分释放数据的潜在价值 , 加速人工智能技术在金融行业的落地与推广 。
数据集优劣的评价可以从两个层面入手:一方面 , 从数据本身出发通过分析数据的完整性、一致性、准确性、可用性等 , 评价数据集在数据质量上的好坏;另一方面 , 从数据集的应用与表现出发 , 测试通用开源人工智能模型(如Facenet、East等)在数据集上的应用效果反应数据质量的好坏(如对比准确率、召回率、R2值等人工智能模型评估指标) , 分析数据集的特征表现 , 具体参考可见表1 。
表1数据集评价项参考
人工智能数据集标准化与共享机制的探索