这篇文章讲述的是数据存储方式和数据类型等基本概念、数据清洗的必要性和质量评价的关键点。希望这篇数据清洗的文章对您有所帮助！如果您有想学习的知识或建议，家电清洗13825404095可以给作者留言~
一、什么是数据从广泛的意义上来讲，数据是一个宽泛的概念
计算机中的0101代码
日常生活中的音乐，图片，视频等
人类的语言、文字
了解数据清洗，需要理解数据的内涵和外延
1、数据的类型1、表格数据
关系记录、数据矩阵、向量、事务数据
1
2、图和网络
万维网、社交网络、分子结构
2
3、多媒体数据
文本、图像、视频、音频
3
2、表格数据在此，只了解表格数据
1、数据集(数据库)
由数据对象构成
一个数据对象表示一个实体
2、概念
下面的这些表示相似的概念，在不同的地方可以交叉使用
样本(samples or examples)
对象(objects)
实例(instances)
元组(tuples)
数据点(data points)
数据对象由属性(attributes)及其值(value)构成
表格数据中的行为数据对象，列为特征。如下图：
4
3、属性类别类型：
名义型(Nominal)
布尔型(Binary)
等级型(Ordinal)
数值型(Numeric)
3.1、名义型 对数据对象进行分类或分组，使同类同质，异类异质
eg： 汽车品牌 ={路虎，奥迪，大众，奥拓} 学校 = {北大，清华，武大}
其值只是不同类别的代码，不能区分大小写，更不能进行任何数学计算
3.2、布尔型 布尔型数据是在条件或循环中的条件判断
Python中布尔类型对应两个布尔值：True和False，分别对应1和0
5
3.3、等级型 将数据对象分成不同的类型 确定所分类别的等级差别和序列差别
eg： 身高：高、中、低 年级：三年级、二年级
6
等级行只能比较大小，不能进行数学计算
3.4、数值型 最常见的数据类型 直接使用自然数或可进行测量的具体数值
可直接用数值计算方法进行汇总和分析
7
二、数据清洗1、什么是数据清洗脏数据
8
数据清洗 从一个充满拼写错误，缺失值，异常值等问题的原始数据集(Raw Data)通过数据转换，缺失处理,异常处理等手段映射为一个符合质量要求的“新”数据集(Consistent Data)的过程
9
数据清洗在大数据分析流程中的位置
10
2、为什么要进行数据清洗从不同渠道获得的数据，集成在一起，组成新的数据集，需要进行数据清洗，来保证数据集的质量
数据分析算法对输入的数据集有要求
显示情况下的数据集质量不禁如人意，需要数据清洗
3、数据存在的问题1、单数据源
违背属性约束条件：日期，电话号码，身份证号等
属性违反唯一性：主键同一取值出现多次
数据更新不及时
数据存在噪音
数据存在拼写错误
数据存在相似，重复记录
2、多数据源
同一属性存在不同的名称：人的真实姓名和绰号
同一属性存在不同的定义：字段的长度测量单位，类型不一致
数据存在重复，拼写错误
数据的汇总时间不一致：按照年度，季度，月度统计
数据的存储单位不一致：按照GB，TB为单位存储
三、数据质量评估如何评估数据的质量？ 准确性，一致性，时效性，完整性，数据重复，数据冗余 易用性和可维护性 相关性和可信度
1、准确性
考察数据集记录的信息是否存在异常或错误 业务数据通常存在特征取值缺失，特征缺失，主键缺失等问题 问题多发生在数据的源头，由各种主客观原因(主观录入错误，数据需求不明确，数据提供者故意隐瞒等)所导致 要获得高质量的数据集，需要把控好数据收集，数据录入的源头
2、一致性
考察数据是否符合统一规范，数据记录是否保持统一格式
数据一致性问题通常存在于数据整合阶段：
来自不同数据源的数据汇总在一起，特征的表述不相同 相同的特征名称在不同的数据源中代表不同的含义
1、特征名称不同，含义相同
通过其相应的取值范围和与其他特征的相似性，来找出这些指标对特征名称进行统一
在医疗指标数据中，有reference字段，代表指标值的正常值范围 如:身高的reference会是150-180，体重会是50-80 通过reference来初步判断哪些指标代表的含义相同
2、特征名称相同，含义不同
不同医疗器械采集的数据中通常含有名称为蛋白的字段，但特征可能指尿蛋白，也可能指血蛋白 在实际操作中需要组合成新的特征(尿蛋白，血蛋白)
3、时效性
考察数据从产生到分析的时间间隔，也称为数据的延长时长 数据集所代表的信息并不一定能正确描述当前的情形 爬取动态网页内容 由于网页内容，结构都在变化，获取的数据带有明显的时效性 考虑到数据获取的时间成本 数据分析的周期不能过长，否则会导致分析的结论失去现实意义
4、完整性
考察数据信息是否存在缺失，包括数据集的字段以及数据记录
5、数据重复
考察数据特征，数据记录的重复情况
6、易用性和可维护性
考察数据的使用与访问情况，以及数据的更新，维护状况
7、相关性和可信度
考察数据与相关业务的相关情况，参考数据的实用性
8、数据冗余
考察数据集特征之间的相关性 如果一个特征可由另一个特征推导出来，那么这两个特征存在冗余 年龄可由生日推算获得，那么年龄和生日之间存在冗余 计算两个特征之间的相关系数来测量二者的冗余程度
计算两个特征之间的相关系数可以来测量二者之间的冗余程度
1、连续型数据相关性检验：
Pearson相关系数用于计算连续型变量之间的相关性 公式：
11
其中，ρA，ρB分别为变量A和B的标准差 相关系数r的取值范围为[-1,1] r>0，特征A和特征B呈正相关关系 r=0，特征A和特征B独立，不存在相关性 r<0，特征A和特征B呈负相关关系 |r|值越大，两个特征之间的相关性越高
2、离散型数据相关性检测：
卡方独立性检验用于离散型数据的相关性检测 ,也成为列联表(contingency table)，卡方检验
卡方独立性检验的步骤：
零假设：变量A和变量B无关 水平：确定显著水平α 检验：依据零假设，计算卡方值 确定自由度，根据自由度查临界值表进行推断
eg：
12
卡方值和自由度计算
13
计算公式：
14
自由度计算公式：
15
四、数据清洗的主要内容
16
1、数据初步处理
使用Python的标准库或者第三方库读入数据，或者将数据读入数据库 使用数据可视化手段观察数据的取值分布情况 对数据进行整合或分组
2、缺失值处理
确定缺失值的范围，以及所站比例 取出不需要的特征 使用缺失值填补等方法对缺失值进行填充
3、异常值处理
检测异常值：基于统计，举例，密度的检测方法，复杂方法如孤立森林 处理检测值：删除异常值 保留异常值：选择鲁棒性更强的学习算法
4、数据转换
数据的格式进行统一：不同数据文件格式的转换 数据去重：取出重复的数据几率，提高算法进行效率 数据标准化：消除数据单位，量纲不同带来的影响 数据离散化：将连续型数据转换为离散型数据，增强模型对于异常值的鲁棒性
