pandas作为Python数据分析的核心库，提供了强大的数据处理和分析能力。本文将深入探讨pandas的高级应用技巧，帮助数据分析师和开发者提升数据处理效率。

一、高效数据处理

数据读取优化

python

# 大文件读取优化

import pandas as pd

# 使用分块读取

chunks = pd.read_csv('large_file.csv', chunksize=10000)

for chunk in chunks:

    process_chunk(chunk)

# 指定数据类型

dtypes = {

    'user_id': 'int32',

    'timestamp': 'datetime64[ns]',

    'amount': 'float32'

}

df = pd.read_csv('data.csv', dtype=dtypes, parse_dates=['timestamp'])

高效数据筛选

python

# 使用query方法

df.query('age > 25 and city == "Beijing"')

# 使用loc和iloc

df.loc[df['age'] > 25, ['name', 'salary']]

# 布尔索引优化

mask = (df['age'] > 25) & (df['city'] == 'Beijing')

df[mask]

数据转换与清洗

python

# 类型转换

df['amount'] = pd.to_numeric(df['amount'], errors='coerce')

# 缺失值处理

df['salary'].fillna(df.groupby('department')['salary'].transform('mean'))

# 重复值处理

df.drop_duplicates(subset=['user_id', 'date'], keep='last')

二、高级数据分析

分组聚合操作

python

# 复杂聚合

df.groupby('department').agg({

    'salary': ['mean', 'median', 'std'],

    'age': ['min', 'max'],

    'performance': lambda x: x.value_counts().index[0]

})

# 滑动窗口计算

df['rolling_mean'] = df.groupby('category')['value'].transform(

    lambda x: x.rolling(window=7, min_periods=1).mean()

)

时间序列分析

python

# 时间重采样

df.set_index('timestamp').resample('1D').sum()

# 滚动计算

df['rolling_7d'] = df['value'].rolling('7D').mean()

# 时间偏移

df['prev_day'] = df.groupby('user_id')['value'].shift(1)

透视表操作

python

# 高级透视表

pd.pivot_table(

    df,

    values=['sales', 'profit'],

    index=['region', 'category'],

    columns='year',

    aggfunc={'sales': 'sum', 'profit': ['sum', 'mean']},

    margins=True

)

三、性能优化技巧