字段|租赁大数据看板建设过程中数据清洗及程度思考( 三 )

业务发展：
可以采用部分采纳或者删除字段缺失数据的方式，最好同时配合每个字段的缺失率情况，对于业务价值高的数据，数据本身的完善程度和数据分析结果一样重要，需要从源头上解决此问题。
只是看看：
如果只是想客观看看市场行情，或者该字段并不是太重要的数据，只是走势有参考作用，则可以考虑删除对应的数据，以免造成困扰，避免空值导致计算结果偏差或报错。
四、错误数据错误数据也是一个常见的问题，除了bug导致的错误数据外，主要出自非系统统计的，人工填写的数据上，由于缺乏有效的限制手段、审核手段，导致个别数据可能出现异常离谱的问题，从而影响到看板数据的正常统计。
例如租赁记录中，就有出租面积为20000万平方米，租金才500块的记录存在，在全局而言由于正确数据足够多，这笔订单影响微乎其微，但是如果只看这一个楼盘、商圈，那就对当地的平均租金、户型平均面积等统计都会造成重大影响，然后做排行榜的时候，这个楼盘、商圈就会突出重围排名特别靠前。

数据错误的前提是，首先知道什么是正确的，错误是相对于正确的定义而言的：
1. 符合格式规范的数据例子：要求填写阿拉伯数字
正确：123456
错误：拾贰万叁仟肆佰伍拾陆、123,456
2. 符合大家共识的合理范围例子：房屋租金，单位为元/月
正确：2000
错误：-911、999999999
3. 看似不合理，但是可以通过其他内容佐证的数据一个城市平均租赁的房屋的面积都是几十平方米，但是突然有条租赁记录是2000平方米，不过价格为10万元/月，业主、承租人、位置等信息都完整，我们觉得就有可能是正确的，大概率是租了个厂房一栋楼。但是几百平米以上的房子只要几百块甚至不要钱，很明显就不合理了。
4. 可以溯源，事实如此的数据分析师就是这笔订单的当事人，合同、现场照片甚至视频监控一应俱全……
对于错误数据，若无法有其他有效证据佐证的数据，就要结合分析场景进行处理，以免干扰分析结果。
1）根据错误类型进行划分

格式类错误：例如数字写成了中文字，数字中有小写逗号，年月日yyyy.mm.dd写成yyyy年m月d日，或者其他不按规范填写的内容，当有大量的数据为同样类型的错误时，可以考虑通过编写代码/脚本或者导出使用Excel等工具搜索替换，从而进行批量修正。
范围类错误：应结合其他字段数据，参考缺失字段的填充方式进行数据重设。

2）根据字段意义进行划分

核心字段：即做业绩报表用的，那就得溯源、考证、根据实际情况进行修正，无法修正时，结合其他字段进行数据重设，重设为一个合理范围内的数值。
非核心字段：先统计一下错误数据的比例，如果比例不高，如低于1%，可以考虑直接删除或不采纳对应数据，影响小效率高。如果数据占比高，再根据错误类型决定具体修正方案。

五、清洗结果分析通过对数据进行清洗后，需要统计清洗前后的数据，看清洗是否达到了目的。

1）数据损失评估
例如清洗前有关联的原始数据有10万，清洗后数据剩下了9.5万条，损失了5%的数据，如果数据分析的目的是做市场分析而不是财务报表，那么这个损失程度我们会认为在可接受范围内。
如果清洗完发现剩下不到5万条数据，就需要去思考这个清洗是否有效，是否导致重要数据被漏掉了。
2）数据失真评估