字段|租赁大数据看板建设过程中数据清洗及程度思考( 二 )

例如某系统中支持用户自定义域名复用的逻辑，如果一个用户注销了账号，那么其他人就可以使用此域名，如果要分析系统一共有多少个子域名时，如果单纯统计子域名记录的数量，就会有问题，此时应该先进行子域名去重，再统计数量才对。订单位数设计较短、没有设置随机值时，也很可能出现订单号重复的问题，还有员工工号重复等问题。

但既然是“唯一”的标志，那就应该挑出重复项，并按业务需求看是否需要修复原始数据，或决定重复项的取舍方案：

只保存最新产生的一条
最保存最早产生的一条
保存其他字段完善度更高的一条等等

另外由于bug、生产环境测试、或其他不知名的问题，还可能造成订单ID为Null、空值、-1，或不规范的订单号，这些一般都伴随有其他字段数据的残缺不全等问题。
我所分析的租赁订单中，存在有订单ID为空的记录，但是极为少数，考虑到这些数据年代久远已经不可考证了，所以直接筛选保留订单ID不为空的即可。
三、字段缺失字段缺失是数据清洗中最常见的问题之一，造成此问题的原因也多种多样，甚至可能是导出数据时分隔符设置的不对，导致把数据csv、xls等导入分析系统或Excel后造成的错误分隔导致的。

1. 检查缺失字段的比例如果某个字段数据缺失严重，则要考虑是否存在程序bug，或者导入导出的流程是否有问题。
2. 对缺失字段的数据进行处理删除数据：
一旦发现数据中存在一个或多个关键数据缺失的，就把这条数据删了不采用。这种一刀流的做法比较适合数据字段比较少，且缺的都是关键数据的场景，例如订单中金额为空，用户的账号为空等情况。
部分采纳：
该字段只用在部分分析结果中时，例如做租赁租金的行政区县分布时，一条数据包含了租金、房子所在的行政区，但是承租人的性别为空，此时字段缺失并不影响分析结果，此场景可以考虑保留此数据。
但是要做不同性别的人租房租金偏好分析时，此数性别为空，则应不予采纳。
数据填充：
例如公司要做宣传物料，其中有要求租赁市场成交面积统计，但是系统中成交的租赁记录里，有超过5%记录房屋面积都为空没登记（与早期为非必填有关），此时就需要进行数据填充。数据填充有几种方法论可以参考：

根据有数据的记录平均值填充。优点：简单粗暴快速；缺点：可靠性不高
建立对应的数据模型，预测缺失字段的数值并填充。例如根据没问题的数据计算对应缺失了面积的记录所在区域，类似户型、租金水平的房屋面积，然后填充到缺失字段中。优点：精准度高，有据可依；缺点：难度大速度慢效率低
进阶版：通过平均值/模型数据的方法，增加测算误差值，然后随机生成平均值±误差值中间的数据进行缺失字段填充。
人工经验填充。此方案只针对少量数据或缺失数据特别重要时，可以根据业务人员经验填充，数据量大时不合适。

无论是根据平均值、模型数据、人工经验进行缺失字段填充，讲究的都是有据可依，不是瞎填充数据。如果缺失的字段随机性或不确定性比较高，不适合常规的数据填充的话，如果没有更好的方法论可以采用，建议删除/不采纳此条数据。
不同的业务场景和分析需求，对于缺失数据的处理是不一样的：
追求更漂亮的数据和业绩：
理应最大化的保留数据，通过合理的方法进行数据补全。