小编这次要给大家分享的是python中如何删除离群值,文章内容丰富,感兴趣的小伙伴可以来了解一下,希望大家阅读完这篇文章之后能够有所收获。
删除有多行字符串的json文件中的离群值
def processHold(eachsubject,directory,newfile):
filename = 'CMUDataCol/Hold/subject{0}.json'.format(eachsubject) # 原文件
with open(filename, 'r') as f:
for jsonstr in f.readlines(): # 按行读取原文件
# 这里的情况是每一行为一类数值,该行内的数据相互比较找出是否有离群值
# 若存在离群值,则删除该行数据
data = json.loads(jsonstr)
#计算四分位点
a = numpy.array(data)
q1 = numpy.percentile(a, 25)
q3 = numpy.percentile(a, 75)
iqr = q3 - q1
# 找出异常值
i = 0
for item in zip(data):
# 在正常值范围内时 i+1
if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):
i = i + 1
if i == 10:
# 这里是因为我的json文件中每行data有10个元素(如果有更好的方法,请教我一下,谢谢您!)
HoldTime = data
with open(newfile, 'a') as f: # 将非离群数据存入新文件
json.dump(HoldTime, f)
f.write('\n')
补充知识:dataframe 离群值处理
离群值:远离数据主要部分的样本(极大值或极小值)
处理方式:
删除:直接删除离群样本
填充样本:使用box-plot定义变量的数值上下界,以上界填充极大值,以下界填充最小值
# 查看房价的离群情况
df['average_price'].hist()
plt.show()
df[['average_price']].boxplot()
plt.show()
def boxplot_fill(col):
# 计算iqr:数据四分之三分位值与四分之一分位值的差
iqr = col.quantile(0.75)-col.quantile(0.25)
# 根据iqr计算异常值判断阈值
u_th = col.quantile(0.75) + 1.5*iqr # 上界
l_th = col.quantile(0.25) - 1.5*iqr # 下界
# 定义转换函数:如果数字大于上界则用上界值填充,小于下界则用下界值填充。
def box_trans(x):
if x > u_th:
return u_th
elif x < l_th:
return l_th
else:
return x
return col.map(box_trans)
# 填充效果查看
boxplot_fill(df['average_price']).hist()
# 进行赋值
df['average_price'] = boxplot_fill(df['average_price'])
plt.show()
看完这篇关于python中如何删除离群值的文章,如果觉得文章内容写得不错的话,可以把它分享出去给更多人看到。
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。