09 Python之Pandas库之数据处理与规整

Pandas库之数据处理与规整

import numpy as np
import pandas as pd
import pandas_datareader.data as web
import datetime

# 爬取数据
df = web.DataReader("AAPL","yahoo",datetime.datetime(2019,4,1),datetime.date.today())

# 展示数据
df

1 缺失数据处理

1.1 去掉包含缺失值的行

df_drop = df.dropna()
df_drop.head()

1.2 对缺失值进行补充

df_fillna = df.fillna(value=0)
df_fillna.head()

1.3 判断数据是否为nan，并进行布尔填充

df_isnull = pd.isnull(df)
df_isnull.head()

2 函数的应用和映射

# 列计算平均值
df.mean()

High         1.981070e+02
Low          1.950050e+02
Open         1.962690e+02
Close        1.971340e+02
Volume       2.435307e+07
Adj Close    1.971340e+02
dtype: float64

# 行计算平均值
df.mean(1)

Date
2019-04-01    4.643826e+06
2019-04-02    3.794444e+06
2019-04-03    3.878796e+06
2019-04-04    3.185879e+06
2019-04-05    3.087931e+06
2019-04-08    4.313782e+06
2019-04-09    5.961534e+06
2019-04-10    3.616050e+06
2019-04-11    3.483633e+06
2019-04-12    4.624216e+06
dtype: float64

#skipna参数默认是True 表示排除缺失值
df.mean(axis = 1,skipna = False)

Date
2019-04-01    4.643826e+06
2019-04-02    3.794444e+06
2019-04-03    3.878796e+06
2019-04-04    3.185879e+06
2019-04-05    3.087931e+06
2019-04-08    4.313782e+06
2019-04-09    5.961534e+06
2019-04-10    3.616050e+06
2019-04-11    3.483633e+06
2019-04-12    4.624216e+06
dtype: float64

# 行名字排序
sorted_row_df = df.sort_index()
sorted_row_df.head()

# 列名字排序
sorted_col_df = df.sort_index(axis=1)
sorted_col_df.head()

常用的方法如上所介绍，还有很多其他的，下面罗列了一些，可供参考:

count 非na值的数量

describe 针对Series或DataFrame列计算汇总统计

min、max 计算最小值和最大值

argmin、argmax 计算能够获取到最大值和最小值得索引位置

idxmin、idxmax 计算能够获取到最大值和最小值得索引值

quantile 计算样本的分位数（0到1）

sum 值的总和

mean 值的平均数

median 值的算术中位数

mad 根据平均值计算平均绝对离差

var 样本值的方差

std 样本值的标准差

skew 样本值的偏度（三阶矩）

kurt 样本值的累积和

cumsum 样本值的累积和

cummin，cummax 样本值的累计最大值和累计最小值

cumprod 样本值的累计积

diff 计算一阶差分

pct_change 计算百分数变化

3 数据规整

Pandas提供了大量的方法能够轻松的对Series，DataFrame和Pannel对象进行各种符号各种逻辑关系的合并操作

concat 可以沿一条轴将多个对象堆叠到一起

append 将一行连接到一个DataFrame上

duolicated 移除重复数据

3.1 数据堆叠concat

df1 = web.DataReader("AAPL","yahoo",datetime.datetime(2019,4,1),datetime.datetime(2019,4,3))
df1

df2 = web.DataReader("AAPL","yahoo",datetime.datetime(2019,4,5),datetime.datetime(2019,4,8))
df2

纵向拼接（默认）:

pd.concat([df1,df2],axis=0)

横向拼接，index对不上的用NaN填充

pd.concat([df1,df2],axis=1)

3.2 数据连接append

df1

s = df1.iloc[0]
s

High         1.916800e+02
Low          1.883800e+02
Open         1.916400e+02
Close        1.912400e+02
Volume       2.786200e+07
Adj Close    1.912400e+02
Name: 2019-04-01 00:00:00, dtype: float64

# ignore_index=False 表示索引不变
df1.append(s,ignore_index=False)

# ignore_index=True 表示索引重置
df1.append(s,ignore_index=True)

3.3 移除重复数据duplicated

z = df1.append(s,ignore_index=False)
z

查看重复数据

z.duplicated()

Date
2019-04-01    False
2019-04-02    False
2019-04-03    False
2019-04-01     True
dtype: bool

移除重复数据

z.drop_duplicates()

4 分组

z.groupby("Open").sum()

z.groupby(["Open","Close"]).sum()