用ChatGPT解决这个技术问题 Extra ChatGPT

使用 pandas GroupBy 获取每个组的统计信息（例如计数、平均值等）？

我有一个数据框 df，我使用了从它到 groupby 的几列： 

df['col1','col2','col3','col4'].groupby(['col1','col2']).mean()

通过上述方式，我几乎得到了我需要的表格（数据框）。缺少的是包含每个组中的行数的附加列。换句话说，我的意思是，但我也想知道有多少数字被用来获得这些手段。例如，第一组有 8 个值，第二组有 10 个，依此类推。

简而言之：如何获得数据框的分组统计信息？

P
Pedro M Duarte

快速回答：

获取每个组的行数的最简单方法是调用 .size()，它返回一个 Series： 

df.groupby(['col1','col2']).size()


通常您希望此结果为 DataFrame（而不是 Series），因此您可以执行以下操作： 

df.groupby(['col1', 'col2']).size().reset_index(name='counts')

如果您想了解如何计算每个组的行数和其他统计信息，请继续阅读下文。

详细示例：

考虑以下示例数据框： 

In [2]: df
Out[2]: 
  col1 col2  col3  col4  col5  col6
0    A    B  0.20 -0.61 -0.49  1.49
1    A    B -1.53 -1.01 -0.39  1.82
2    A    B -0.44  0.27  0.72  0.11
3    A    B  0.28 -1.32  0.38  0.18
4    C    D  0.12  0.59  0.81  0.66
5    C    D -0.13 -1.65 -1.64  0.50
6    C    D -1.42 -0.11 -0.18 -0.44
7    E    F -0.00  1.42 -0.26  1.17
8    E    F  0.91 -0.47  1.35 -0.34
9    G    H  1.48 -0.63 -1.14  0.17

首先让我们使用 .size() 来获取行数： 

In [3]: df.groupby(['col1', 'col2']).size()
Out[3]: 
col1  col2
A     B       4
C     D       3
E     F       2
G     H       1
dtype: int64

然后让我们使用 .size().reset_index(name='counts') 来获取行数： 

In [4]: df.groupby(['col1', 'col2']).size().reset_index(name='counts')
Out[4]: 
  col1 col2  counts
0    A    B       4
1    C    D       3
2    E    F       2
3    G    H       1

包括更多统计数据的结果

当您要计算分组数据的统计信息时，通常如下所示： 

In [5]: (df
   ...: .groupby(['col1', 'col2'])
   ...: .agg({
   ...:     'col3': ['mean', 'count'], 
   ...:     'col4': ['median', 'min', 'count']
   ...: }))
Out[5]: 
            col4                  col3      
          median   min count      mean count
col1 col2                                   
A    B    -0.810 -1.32     4 -0.372500     4
C    D    -0.110 -1.65     3 -0.476667     3
E    F     0.475 -0.47     2  0.455000     2
G    H    -0.630 -0.63     1  1.480000     1

上面的结果有点烦人，因为嵌套的列标签，也因为行数是基于每列的。

为了更好地控制输出，我通常将统计信息拆分为单独的聚合，然后使用 join 进行组合。它看起来像这样： 

In [6]: gb = df.groupby(['col1', 'col2'])
   ...: counts = gb.size().to_frame(name='counts')
   ...: (counts
   ...:  .join(gb.agg({'col3': 'mean'}).rename(columns={'col3': 'col3_mean'}))
   ...:  .join(gb.agg({'col4': 'median'}).rename(columns={'col4': 'col4_median'}))
   ...:  .join(gb.agg({'col4': 'min'}).rename(columns={'col4': 'col4_min'}))
   ...:  .reset_index()
   ...: )
   ...: 
Out[6]: 
  col1 col2  counts  col3_mean  col4_median  col4_min
0    A    B       4  -0.372500       -0.810     -1.32
1    C    D       3  -0.476667       -0.110     -1.65
2    E    F       2   0.455000        0.475     -0.47
3    G    H       1   1.480000       -0.630     -0.63

脚注

用于生成测试数据的代码如下所示： 

In [1]: import numpy as np
   ...: import pandas as pd 
   ...: 
   ...: keys = np.array([
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['C', 'D'],
   ...:         ['C', 'D'],
   ...:         ['C', 'D'],
   ...:         ['E', 'F'],
   ...:         ['E', 'F'],
   ...:         ['G', 'H'] 
   ...:         ])
   ...: 
   ...: df = pd.DataFrame(
   ...:     np.hstack([keys,np.random.randn(10,4).round(2)]), 
   ...:     columns = ['col1', 'col2', 'col3', 'col4', 'col5', 'col6']
   ...: )
   ...: 
   ...: df[['col3', 'col4', 'col5', 'col6']] = \
   ...:     df[['col3', 'col4', 'col5', 'col6']].astype(float)
   ...:

免责声明：

如果您正在聚合的某些列具有空值，那么您确实希望将组行数视为每列的独立聚合。否则，您可能会被实际用于计算平均值之类的记录的数量误导，因为 pandas 会在平均值计算中删除 NaN 条目而不会告诉您。

嘿，我真的很喜欢你的解决方案，尤其是最后一个使用方法链接的解决方案。但是，由于经常需要将不同的聚合函数应用于不同的列，因此也可以使用 pd.concat 连接生成的数据帧。这可能比子链更容易阅读
不错的解决方案，但是对于 In [5]: counts_df = pd.DataFrame(df.groupby('col1').size().rename('counts')) ，如果您想操作数据框以进行进一步分析，最好将 size() 设置为新列，这应该是 counts_df = pd.DataFrame(df.groupby('col1').size().reset_index(name='counts')
感谢“包含更多统计数据的结果”位！由于我的下一次搜索是关于在列上展平生成的多索引，因此我将在此处链接到答案：stackoverflow.com/a/50558529/1026
伟大的！您能否给我一个提示，如何将 isnull 添加到此查询以将其也放在一列中？ 'col4': ['median', 'min', 'count', 'isnull']
除了 reset_index，获取 DataFrame 的另一种方法是使用 as_index 参数：df.groupby(['col1','col2'], as_index=False).size()。我使用 as_index=False 作为我所有 groupby 的习惯。
Z
Zeugma

在 groupby 对象上，agg 函数可以一次将列表带到 apply several aggregation methods。这应该会给你你需要的结果： 

df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).agg(['mean', 'count'])
我认为您需要将列引用作为列表。您的意思是：df[['col1','col2','col3','col4']].groupby(['col1','col2']).agg(['mean', 'count'])
这会创建四个计数列，但是如何只得到一个呢？ （这个问题要求“额外的专栏”，这也是我想要的。）
如果您只想每组获得一个 count 列，请参阅我的回答。
如果我有一个单独的称为 Counts，而不是计算分组类型的行，我需要沿 Counts 列添加。
@贾恩result = df['col1','col2','col3','col4'].groupby(['col1', 'col2']).mean() ; counts = times.groupby(['col1', 'col2']).size() ; result['count'] = counts
c
cs95

瑞士军刀：GroupBy.describe

返回每个组的 count、mean、std 和其他有用的统计信息。 

df.groupby(['A', 'B'])['C'].describe()

           count  mean   std   min   25%   50%   75%   max
A   B                                                     
bar one      1.0  0.40   NaN  0.40  0.40  0.40  0.40  0.40
    three    1.0  2.24   NaN  2.24  2.24  2.24  2.24  2.24
    two      1.0 -0.98   NaN -0.98 -0.98 -0.98 -0.98 -0.98
foo one      2.0  1.36  0.58  0.95  1.15  1.36  1.56  1.76
    three    1.0 -0.15   NaN -0.15 -0.15 -0.15 -0.15 -0.15
    two      2.0  1.42  0.63  0.98  1.20  1.42  1.65  1.87

要获得特定的统计数据，只需选择它们， 

df.groupby(['A', 'B'])['C'].describe()[['count', 'mean']]

           count      mean
A   B                     
bar one      1.0  0.400157
    three    1.0  2.240893
    two      1.0 -0.977278
foo one      2.0  1.357070
    three    1.0 -0.151357
    two      2.0  1.423148

注意：如果您只需要计算 1 或 2 个统计数据，那么使用 groupby.agg 并只计算这些列可能会更快，否则您正在执行浪费计算。

describe 适用于多列（将 ['C'] 更改为 ['C', 'D'] - 或完全删除它 - 看看会发生什么，结果是 MultiIndexed 列数据框）。

您还可以获得字符串数据的不同统计信息。这是一个例子， 

df2 = df.assign(D=list('aaabbccc')).sample(n=100, replace=True)

with pd.option_context('precision', 2):
    display(df2.groupby(['A', 'B'])
               .describe(include='all')
               .dropna(how='all', axis=1))

              C                                                   D                
          count  mean       std   min   25%   50%   75%   max count unique top freq
A   B                                                                              
bar one    14.0  0.40  5.76e-17  0.40  0.40  0.40  0.40  0.40    14      1   a   14
    three  14.0  2.24  4.61e-16  2.24  2.24  2.24  2.24  2.24    14      1   b   14
    two     9.0 -0.98  0.00e+00 -0.98 -0.98 -0.98 -0.98 -0.98     9      1   c    9
foo one    22.0  1.43  4.10e-01  0.95  0.95  1.76  1.76  1.76    22      2   a   13
    three  15.0 -0.15  0.00e+00 -0.15 -0.15 -0.15 -0.15 -0.15    15      1   c   15
    two    26.0  1.49  4.48e-01  0.98  0.98  1.87  1.87  1.87    26      2   b   15

有关详细信息，请参阅 documentation。

熊猫 >= 1.1：DataFrame.value_counts

如果您只想捕获每个组的大小，这可以从 pandas 1.1 中获得，这会减少 GroupBy 并且更快。 

df.value_counts(subset=['col1', 'col2'])

最小的例子 

# Setup
np.random.seed(0)
df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
                          'foo', 'bar', 'foo', 'foo'],
                   'B' : ['one', 'one', 'two', 'three',
                          'two', 'two', 'one', 'three'],
                   'C' : np.random.randn(8),
                   'D' : np.random.randn(8)})

df.value_counts(['A', 'B']) 

A    B    
foo  two      2
     one      2
     three    1
bar  two      1
     three    1
     one      1
dtype: int64

其他统计分析工具

如果您在上面没有找到您要查找的内容，User Guide 提供了受支持的静态分析、相关性和回归工具的综合列表。

并非所有分布都是正常的。 IQR 将是惊人的。
通过执行 .describe()[['count', 'mean']]，您可以计算出之后会丢弃的统计信息。使用 .agg(['count', 'mean'] 是一个更好的选择，大约快 7 倍，因为您只计算实际需要的那些
谢谢KD！我通常选择 ['col_name'].describe() 或 .value_counts()。但这次想要.size()
J
Jake Drew

要获取多个统计信息，请折叠索引并保留列名： 

df = df.groupby(['col1','col2']).agg(['mean', 'count'])
df.columns = [ ' '.join(str(i) for i in col) for col in df.columns]
df.reset_index(inplace=True)
df

产生：

https://i.stack.imgur.com/I0gVt.png

新用户：警告这会在列名中插入空格。一般而言，我认为应该避免这种情况，因此请替换第 2 行 df.columns = [ '_'.join(str(i) for i in col) for col in df.columns] 。
N
Nimesh

我们可以通过使用 groupby 和 count 轻松做到这一点。但是，我们应该记住使用 reset_index()。 

df[['col1','col2','col3','col4']].groupby(['col1','col2']).count().\
reset_index()
只要列中没有空值，此解决方案就可以工作，否则可能会产生误导（计数将低于按组观察的实际数量）。
I
Ichsan

请尝试此代码 

new_column=df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).count()
df['count_it']=new_column
df

我认为该代码将添加一个名为“count it”的列，每个组的计数

M
Mahendra

创建一个组对象并调用如下示例的方法： 

grp = df.groupby(['col1',  'col2',  'col3']) 

grp.max() 
grp.mean() 
grp.describe()
P
Panwen Wang

如果您熟悉 tidyverse R 包，这里有一种在 python 中执行的方法： 

from datar.all import tibble, rnorm, f, group_by, summarise, mean, n, rep

df = tibble(
  col1=rep(['A', 'B'], 5), 
  col2=rep(['C', 'D'], each=5), 
  col3=rnorm(10), 
  col4=rnorm(10)
)
df >> group_by(f.col1, f.col2) >> summarise(
  count=n(),
  col3_mean=mean(f.col3), 
  col4_mean=mean(f.col4)
)

  col1 col2  n  mean_col3  mean_col4
0    A    C  3  -0.516402   0.468454
1    A    D  2  -0.248848   0.979655
2    B    C  2   0.545518  -0.966536
3    B    D  3  -0.349836  -0.915293
[Groups: ['col1'] (n=2)]

我是 datar 软件包的作者。如果您对使用它有任何疑问，请随时提交问题。

关注公众号,不定期副业成功案例分享
关注公众号

不定期副业成功案例分享

想领先一步获取最新的外包任务吗？

立即订阅

HuntsBot(狩猎机器人)，一站式外包任务、远程工作、产品创意分享与订阅平台，支持钉钉、飞书、企业微信、邮箱、Telegram机器人订阅。平台会以及时、稳定、可靠的技术把外包任务需求、远程工作机会、产品创意等推送给每一位订阅的用户。

简体中文 English

平台

支持

友情链接

联系我们

在使用过程中有任何问题或建议，可以通过以下方式联系我们：

微信公众号: 火星来客

Email: huntsbot@xinbeitime.com

Copyright© 2022-2023 www.huntsbot.com 浙ICP备2022000860号-4 All Rights Reserved.