常用的数据净化方法?
发布网友
发布时间：2022-04-23 22:34
共3个回答
热心网友
时间：2023-09-08 08:25
1、删除缺失值
当样本数很多的时候，并且出现缺失值的样本在整个的样本的比例相对较小，这种情况下，我们可以使用最简单有效的方法处理缺失值的情况。那就是将出现有缺失值的样本直接丢弃。这是一种很常用的策略。
2、均值填补法
根据缺失值的属性相关系数最大的那个属性把数据分成几个组，然后分别计算每个组的均值，把这些均值放入到缺失的数值里面就可以了。
3、热卡填补法
对于一个包含缺失值的变量，热卡填充法的做法是：在数据库中找到一个与它最相似的对象，然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。最常见的是使用相关系数矩阵来确定哪个变量（如变量Y）与缺失值所在变量（如变量X）最相关。然后把所有变量按Y的取值大小进行排序。那么变量X的缺失值就可以用排在缺失值前的那个个案的数据来代替了。
还有类似于最近距离决定填补法、回归填补法、多重填补方法、K-最近邻法、有序最近邻法、基于贝叶斯的方法等。
异常值通常被称为“离群点”，对于异常值的处理，通常使用的方法有下面几种：
1、简单的统计分析
拿到数据后可以对数据进行一个简单的描述性统计分析，譬如最大最小值可以用来判断这个变量的取值是否超过了合理的范围，如客户的年龄为-20岁或200岁，显然是不合常理的，为异常值。
2、3∂原则
如果数据服从正态分布，在3∂原则下，异常值为一组测定值中与平均值的偏差超过3倍标准差的值。如果数据服从正态分布，距离平均值3∂之外的值出现的概率为P(|x-u| > 3∂) <= 0.003，属于极个别的小概率事件。如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。
3、箱型图分析
箱型图提供了识别异常值的一个标准：如果一个值小于QL01.5IQR或大于OU-1.5IQR的值，则被称为异常值。QL为下四分位数，表示全部观察值中有四分之一的数据取值比它小；QU为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR为四分位数间距，是上四分位数QU与下四分位数QL的差值，包含了全部观察值的一半。箱型图判断异常值的方法以四分位数和四分位距为基础，四分位数具有鲁棒性：25%的数据可以变得任意远并且不会干扰四分位数，所以异常值不能对这个标准施加影响。因此箱型图识别异常值比较客观，在识别异常值时有一定的优越性。
4、基于模型检测
首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象
优缺点：1.有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；2.对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。
5、基于距离
通常可以在对象之间定义邻近性度量，异常对象是那些远离其他对象的对象
优缺点：1.简单；2.缺点：基于邻近度的方法需要O(m2)时间，大数据集不适用；3.该方法对参数的选择也是敏感的；4.不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。
6、基于密度
当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。适合非均匀分布的数据。
优缺点：1.给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；2.与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)；3.参数选择困难。虽然算法通过观察不同的k值，取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。
7、基于聚类：
基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇。离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。
优缺点：1.基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的；2.簇的定义通常是离群点的补，因此可能同时发现簇和离群点；3.产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性；4.聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。
噪音，是被测量变量的随机误差或方差。对于噪音的处理，通常有下面的两种方法：
1、分箱法
分箱方法通过考察数据的“近邻”（即，周围的值）来光滑有序数据值。这些有序的值被分布到一些“桶”或箱中。由于分箱方法考察近邻的值，因此它进行局部光滑。
用箱均值光滑：箱中每一个值被箱中的平均值替换。
用箱中位数平滑：箱中的每一个值被箱中的中位数替换。
用箱边界平滑：箱中的最大和最小值同样被视为边界。箱中的每一个值被最近的边界值替换。
一般而言，宽度越大，光滑效果越明显。箱也可以是等宽的，其中每个箱值的区间范围是个常量。分箱也可以作为一种离散化技术使用.
2、回归法
可以用一个函数拟合数据来光滑数据。线性回归涉及找出拟合两个属性（或变量）的“最佳”直线，使得一个属性能够预测另一个。多线性回归是线性回归的扩展，它涉及多于两个属性，并且数据拟合到一个*面。使用回归，找出适合数据的数学方程式，能够帮助消除噪声。
热心网友
时间：2023-09-08 08:26
一、解决数据质量问题
数据的完整性，比如人的属性中缺少性别、籍贯、年龄等
数据的唯一性，比如不同来源的数据出现重复的情况
数据的权威性，比如同一个指标出现多个来源的数据，且数值不一样
数据的合法性，比如数据与常识不符，市区内开车速度到达了400km/h
数据的一致性，比如不同来源的不同指标，实际的内涵与表示意义是一样的
数据清洗的结果是对各种脏数据进行对应标准的干净的、连续的数据，提供给数据统计、数据挖掘等使用。
1、数据完整性问题
解决思路：数据补全
（1）通过其他信息补全，比如通过身份证号码推算性别、籍贯、出生日期、年龄等
（2）通过前后数据补全，例如时间序列确实，可以使用前后的均值填充，缺的数据多了，可以使用平滑处理
（3）实在补不全的，必须剔除，但是不要删除，说不定以后用得上
2、数据唯一性问题
解决思路：去除重复记录，只保留一条
（1）按照主键去重，用sql或者excel去除重复记录即可
（2）按照规则去重，编写一系列规则，对重复情况负责的数据去重，例如不同渠道来的客户数据，可以通过相同的关键信息进行匹配，合并去重
3、数据权威性问题
解决思路：用最权威那个渠道的数据
对不同渠道设定权威级别，然后再不同场合下选最重要的
4、数据合法性问题
解决思路：设定判定规则
（1）设定强制合法规则，凡事不在规则范围内的，强制设置最大值以及最小值，剔除或者判断为无效
字段类型合法规则：日期字段格式过滤
字段内容合法规则：性别 in（男、女、未知））；出生日期《=今天
（2）设定警告规则，凡是不在规则范围内的，进行警告然后人工处理
（3）离群值人工特殊处理，使用分箱、聚类、回归等方式发现离群值
5、结局数据一致性问题
解决思路：简历数据体系
（1）指标体系（度量）
（2）维度（分组、统计口径）
（3）单位
（4）频度
（5）数据
热心网友
时间：2023-09-08 08:26
鼠尾草烟熏净化法
图片来源于网络
鼠尾草的烟熏净化法，实在是我的大爱。鼠尾草是许多仪式中的一种神圣元素。无论是在进行魔法仪式，开牌仪式，塔罗占卜、冥想之前，水晶，日常的空间净化...我几乎都会用到鼠尾草来进行净化。同时鼠尾草也可以用来做茶喝或是用来制作精油。当然还有用鼠尾草、雪松、薰衣草等净化类草药手工制作而成的草药棒。利用点燃后的烟雾把负能量带走空间区域或是物品本身。用鼠尾草的烟熏来净化，是非常快速而有效的方法。
图片来源于网络
鼠尾草烟熏净化使用方法：
1、在开始鼠尾草烟熏净化前，把门窗关好，然后点燃鼠尾草，把它放在一个贝壳或防火防烫的容器里（因为在燃烧的过程中会产生灰烬）。
2、让它的明火自然灭火，不要用嘴吹熄，我们主要是利用鼠尾草的烟来进行空间的净化。
3、使用者首先净化自身的能量。
4、然后在从入户门处开始顺时针方向绕着房间净化。注意要关掉风扇或是空调，风扇的风有可能会把灰烬吹得到处都是。
5、把鼠尾草的烟雾带入整个房屋里，特别要注意是一些阴暗的角落可以让烟熏久一点。如果室内空气流通得好，你走动，基本上烟也会跟着流动。某些角落也是可以利用一根羽毛，把烟轻轻扇过去。
个人使用心得：衣柜也是可以烟熏的，不过你的衣服上可能会留下鼠尾草的气味，视情况而定吧，也可以用别的净化方式代替。
6、最后，最重要的一步是，当你把鼠尾草的烟带到房屋的每个角落后，让这股烟停留在室内8-10分钟（视情况而定时长），然后把窗户打开，让烟雾带走这些负能量流出窗外。
7、同时，灰烬的处理，把它们装起来，当天就扔掉或是把它们冲到马桶里。因为灰烬也吸附了负能量了，不要留它们过夜。
图片来源网络
通常你在市面上买到的鼠尾草可以作净化来用。
不过题外话，小知识，墨西哥鼠尾草是有致幻性，被禁止的。
要注意的是，烧鼠尾草也要看看同屋的人能不能闻鼠尾草这个味。因为鼠尾草的味道很特别，有些人是特别喜欢这个味道的，有些人是对这个味不喜欢或是敏感的。所以如果你是居住在大家庭里，也要顾及其他人的情况。
另外，鼠尾草不能烧太多，会上头。第一次使用鼠尾草净化需要用足量，之后减少用量。一般情况20平的空间，20-30g可以了，太多也浪费。当然如果你觉得空间负能量实在太多，可以一把一把的土豪烧。
二、魔法蜡烛火焰净化法
我在使用魔法蜡烛的火焰净化
用带有净化功效的魔法蜡烛来进行能量的净化，也是我的最爱之一。
因为魔法蜡烛自身就具备了土、火、风、水四大元素。另外再有 精神 这个第五元素的注入。让火焰的光和热驱散和燃烧任何积聚的负能量。
通常在进行任何仪式前或者是点燃其他功效的魔法蜡烛，使用带有净化功效的魔法蜡烛，把周围的能量先进行净化，再来开启，效果会大大增加。
进行仪式或是放咒语时，你也可以在你的仪式空间东南西北四个角落里点燃蜡烛，帮助你建立神圣空间。
手工制作的《三倍能量净化&补充能量》灵气魔法蜡烛
对于能量工作者来说，及时清理净化自身及周围的能量太重要了，无论是满月净化仪式还是日常净化，我都超爱点燃这款红色莉莉周手工制作的《三倍能量净化&补充能量》灵气魔法蜡烛。它不仅有净化能量的功效，同时也协助你补充能量。提升你周围的能量空间。同时也可以提升你的直觉力和占卜力。

