这篇文章将为大家详细讲解有关Python中进行统计建模的方法是什么，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
前言
大家好，在之前的文章中我们已经讲解了很多Python数据处理的方法比如读取数据、缺失值处理、数据降维等，也介绍了一些数据可视化的方法如Matplotlib、pyecharts等，那么在掌握了这些基础技能之后，要进行更深入的分析就需要掌握一些常用的建模方法，本文将讲解如何利用Python进行统计分析。和之前的文章类似，本文只讲如何用代码实现，不做理论推导与过多的结果解释(事实上常用的模型可以很轻松的查到完美的推导与解析)。因此读者需要掌握一些基本的统计模型比如回归模型、时间序列等。
Statsmodels简介
在Python 中统计建模分析最常用的就是Statsmodels模块。Statsmodels是一个主要用来进行统计计算与统计建模的Python库。主要有以下功能：
安装 brew install Statsmodels
文档 github.com/statsmodels/statsmodels
线性回归模型：普通最小二乘估计
线性模型有普通最小二乘(OLS)广义最小二乘(GLS)、加权最小二乘(WLS)等，Statsmodels对线性模型有较好的支持，来看个最简单的例子：普通最小二乘(OLS)
首先导入相关包
%matplotlib inline import numpy as np import statsmodels.api as sm import matplotlib.pyplot as plt from statsmodels.sandbox.regression.predstd import wls_prediction_std np.random.seed(9876789)
然后创建数据，先设置样本量为100
nsample = 100 #样本数量
然后设置x1和x2，x1是0到10等差排列，x2是x1的平方
x = np.linspace(0, 10, 100) X = np.column_stack((x, x**2))
再设置beta、误差项与响应变量y
beta = np.array([1, 0.1, 10]) e = np.random.normal(size=nsample) X = sm.add_constant(X) y = np.dot(X, beta) + e
接着建立回归模型
model = sm.OLS(y, X) results = model.fit() print(results.summary())
查看模型结果
是不是和R语言输出的结果形式很接近？回归系数值、P-value、R-squared等评估回归模型的参数值全部都有，还可以使用dir(results)获得全部变量的值并调取出来
print('Parameters: ', results.params)
print('R2: ', results.rsquared)那么回归模型的就是y=1.3423-0.0402x1+10.0103x2，当然这个模型可以继续优化那么就交给读者完成。接下来我们来绘制一下样本点与回归曲线
y_fitted = results.fittedvalues fig, ax = plt.subplots(figsize=(8,6)) ax.plot(x, y, 'o', label='data') ax.plot(x, y_fitted, 'r--.',label='OLS') ax.legend(loc='best')
时间序列：ARMA
关于时间序列的模型有很多，我们选择ARMA模型示例，首先导入相关包并生成数据
%matplotlib inline import numpy as np import statsmodels.api as sm import pandas as pd from statsmodels.tsa.arima_process import arma_generate_sample np.random.seed(12345) arparams = np.array([.75, -.25]) maparams = np.array([.65, .35]) arparams = np.r_[1, -arparams] maparams = np.r_[1, maparams] nobs = 250 y = arma_generate_sample(arparams, maparams, nobs)
接着，我们可以添加一些日期信息。对于本例，我们将使用pandas时间序列并建立模型
dates = sm.tsa.datetools.dates_from_range('1980m1', length=nobs)
y = pd.Series(y, index=dates)
arma_mod = sm.tsa.ARMA(y, order=(2,2))
arma_res = arma_mod.fit(trend='nc', disp=-1)
最后再做一下预测
import matplotlib.pyplot as plt fig, ax = plt.subplots(figsize=(10,8)) fig = arma_res.plot_predict(start='1999-06-30', end='2001-05-31', ax=ax) legend = ax.legend(loc='upper left')
回归诊断：估计回归模型
首先导入相关包
%matplotlib inline from statsmodels.compat import lzip import numpy as np import pandas as pd import statsmodels.formula.api as smf import statsmodels.stats.api as sms import matplotlib.pyplot as plt
然后加载数据
url = 'https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/HistData/Guerry.csv' dat = pd.read_csv(url)
拟合模型
results = smf.ols('Lottery ~ Literacy + np.log(Pop1831)', data=dat).fit()查看结果
print(results.summary())
回归诊断：残差的正态性
Jarque-Bera test:
name = ['Jarque-Bera', 'Chi^2 two-tail prob.', 'Skew', 'Kurtosis']
test = sms.jarque_bera(results.resid)
lzip(name, test)
####结果
[('Jarque-Bera', 3.3936080248431666),
('Chi^2 two-tail prob.', 0.1832683123166337),
('Skew', -0.48658034311223375),
('Kurtosis', 3.003417757881633)]Omni test:
name = ['Chi^2', 'Two-tail probability']
test = sms.omni_normtest(results.resid)
lzip(name, test)
####结果
[('Chi^2', 3.713437811597181), ('Two-tail probability', 0.15618424580304824)]回归诊断：异方差
Breush-Pagan test:
name = ['Lagrange multiplier statistic', 'p-value',
'f-value', 'f p-value']
test = sms.het_breuschpagan(results.resid, results.model.exog)
lzip(name, test)
###结果
[('Lagrange multiplier statistic', 4.893213374093957),
('p-value', 0.08658690502352209),
('f-value', 2.503715946256434),
('f p-value', 0.08794028782673029)]
Goldfeld-Quandt testname = ['F statistic', 'p-value']
test = sms.het_goldfeldquandt(results.resid, results.model.exog)
lzip(name, test)
####结果
[('F statistic', 1.1002422436378152), ('p-value', 0.3820295068692507)]
回归诊断：多重共线性
检查多重共线性可以使用
np.linalg.cond(results.model.exog)
结果是702.1792145490062，说明存在较强多重共线性。
关于Python中进行统计建模的方法是什么就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
