温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

IV基础概念是什么

发布时间:2022-03-25 10:34:42 阅读:220 作者:iii 栏目:大数据
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

本篇内容介绍了“IV基础概念是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

IV:
<0.03:无预测能力
0.03-0.09:弱
0.1-0.29:中等
0.3-0.49:高

0.5:极高
但是IV不是越高越好的,当IV>1.2时候,可能分箱不好或者存在因果倒置关系

from numpy import logfrom pandas import DataFrame as dfimport  pandas as pd def createDateset():    dataSet=[            [0, 1, 0],            [0, 0, 0],            [0, 1, 0],            [1, 0, 1],            [1, 0, 0],            [1, 1, 1],            [0, 1, 1],            [1, 1, 1],            [1, 0, 1],            [1, 0, 1]]    return dataSet def calcWOE(dataset,col,targe):    subdata=df(dataset.groupby(col)[col].count())    suby=df(dataset.groupby(col)[targe].sum())    data=df(pd.merge(subdata,suby,how="left",left_index=True,right_index=True))    b_total=data[targe].sum()    total=data[col].sum()    g_total=total-b_total    data["bad"]=data.apply(lambda x:round(x[targe]/b_total,3),axis=1)    data["good"]=data.apply(lambda x:round((x[col]-x[targe])/g_total,3),axis=1)    data["WOE"]=data.apply(lambda x:log(x.bad/x.good),axis=1)    return data.loc[:,["bad","good","WOE"]]  def calcIV(dataset):    dataset["IV"]=dataset.apply(lambda x:(x.bad-x.good)*x.WOE,axis=1)    IV=sum(dataset["IV"])    return IV  if __name__ == '__main__':    data=createDateset()    print(data)    data=df(data,columns=["x1","x2","y"])    print(data)    data_WOE=calcWOE(data,"x2","y")    print(data_WOE)    data_IV=calcIV(data_WOE)    print(data_IV)

IV的极端情况以及处理方式

IV依赖WOE,并且IV是一个很好的衡量自变量对目标变量影响程度的指标。但是,使用过程中应该注意一个问题:变量的任何分组中,不应该出现响应数=0或非响应数=0的情况。

原因很简单,当变量一个分组中,响应数=0时,

此时对应的IVi为+∞。

而当变量一个分组中,没有响应的数量 = 0时,

此时的IVi为+∞。

IVi无论等于负无穷还是正无穷,都是没有意义的。

由上述问题我们可以看到,使用IV其实有一个缺点,就是不能自动处理变量的分组中出现响应比例为0或100%的情况。那么,遇到响应比例为0或者100%的情况,我们应该怎么做呢?建议如下:

(1)如果可能,直接把这个分组做成一个规则,作为模型的前置条件或补充条件;

(2)重新对变量进行离散化或分组,使每个分组的响应比例都不为0且不为100%,尤其是当一个分组个体数很小时(比如小于100个),强烈建议这样做,因为本身把一个分组个体数弄得很小就不是太合理。

(3)如果上面两种方法都无法使用,建议人工把该分组的响应数和非响应的数量进行一定的调整。如果响应数原本为0,可以人工调整响应数为1,如果非响应数原本为0,可以人工调整非响应数为1.

“IV基础概念是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

原文链接:https://my.oschina.net/u/4607696/blog/4483055

iv
AI

开发者交流群×