python pandas 学习笔记

Pandas使用一个二维的数据结构DataFrame来表示表格式的数据
DataFrame有四个重要的属性：
index：行索引。
columns：列索引。
values：值的二维数组。
name：名字
data = pd.DataFrame(rec, columns = [u"姓名",u"业绩" ])
DataFrame方法函数的第一个参数是数据源，第二个参数columns是输出数据表的表头，或者说是表格的字段名
DataFrame(sequence)，通过序列构建，序列中的每个元素是一个字典
data.groupby([u'业绩']).sum() 以业务为分组统计某一列的总和size()：就是count sum()：分组求和
导出数据csvdata.to_csv(u"D:\scripts\learn\Result.csv", index= True, header=[u'雇员', u'销售业绩'], encoding="utf_8_sig")
解决保存csv文件后，中文乱码问题。encoding="utf_8_sig"
Sorted = data.sort_values([u"业绩"], ascending=False) 以某列进行排序，然后取前几的值 Sorted.head(3)
pd.read_csv('f:\1024.csv') 读取CSV文件
print df.head() 读取前几行数据,默认5
print df.dtypes 读物数据类型
print df.describe(include='all') 读取统计信息
print df.columns 打印出列的信息
print df.index 打印出行的索引信息
print df.T 行列互置
print df.ix[:, 0].head() ix[行,列] 读取指定的行列数据, head() 默认读取前5行
df.drop(df.columns[[1, 2]], axis = 1).head() 删除指定的列
bric = pd.read_excel('/usr/test.xlsx') 处理xlsx文件
print bric.loc['Br'] #读取行用函数.loc,但显示是以列显示的
#显示'Br'这行的'language'的值有下面几种方法：
1.一起选择
print bric.loc['Br','language']
2.取列再取行
print bric['language'].loc['Br']
3.取行再取列
print bric.loc['Br']['language']
4.值就直接['列名']
print bric['language']
插入列：直接bric['要插入的列名']=[要插入的列表数据] ric['aa']=['123','kk','123','mm']
#插入行：bric.loc['Afric']=[25,20,'english','aa']
数据清洗
loandata=pd.DataFrame(pd.read_excel('loandata.xlsx'))
1.数据表中的重复值
loandata.duplicated() 判断重复值
loandata.drop_duplicates() 删除重复值
2.数据表中的空值/缺失值
loandata.isnull() 空值 loandata['列名'].isnull().value_counts() #统计某个列的非空值数量
loandata.notnull() 非空值
空值有两种处理的方法，第一种是使用fillna函数对空值进行填充，可以选择填充0值或者其他任意值。第二种方法是使用dropna函数直接将包含空值的数据删除
loandata.fillna(0) 填充空值
loandata.dropna() 删除空值
3.数据间的空格
loandata['term']=loandata['term'].map(str.strip) 利用strip 进行清查数据间的空格
loandata['term']=loandata['term'].map(str.upper) 大写
loandata['term']=loandata['term'].map(str.lower) 小写
loandata['term']=loandata['term'].map(str.title) 首字母大写
loandata['emp_length'].apply(lambda x: x. isalnum ())判断是否是数字
loandata['emp_length'].apply(lambda x: x. isdigit ())
loandata['emp_length'].apply(lambda x: x.isalpha())
4更改数据格式
loandata['loan_amnt']=loandata['loan_amnt'].astype(np.int64)
6.数据分组
bins = [0, 5, 10, 15, 20]
group_names = ['A', 'B', 'C', 'D']
loandata['categories'] = pd.cut(loandata['open_acc'], bins, labels=group_names)
对某一列的值进行等级分类
7.数据分列
grade_split = pd.DataFrame((x.split('-') for x in loandata.grade),index=loandata.index,columns=['grade','sub_grade']) 指定分列的数据行所有保持不变
loandata=pd.merge(loandata,grade_split,right_index=True, left_index=True) 合并数据