ChatGPT解决这个技术问题 Extra ChatGPT

从熊猫数据框列或行中获取列表?

我有一个从 Excel 文档导入的数据框 df,如下所示:

cluster load_date   budget  actual  fixed_price
A   1/1/2014    1000    4000    Y
A   2/1/2014    12000   10000   Y
A   3/1/2014    36000   2000    Y
B   4/1/2014    15000   10000   N
B   4/1/2014    12000   11500   N
B   4/1/2014    90000   11000   N
C   7/1/2014    22000   18000   N
C   8/1/2014    30000   28960   N
C   9/1/2014    53000   51200   N

我希望能够将第 1 列 df['cluster'] 的内容作为列表返回,因此我可以在其上运行 for 循环,并为每个集群创建一个 Excel 工作表。

是否也可以将整列或整行的内容返回到列表中?例如

list = [], list[column1] or list[df.ix(row1)]
当您将 Pandas 数据框列拉出时,它们是一个 pandas 系列,然后您可以调用 .tolist() 将它们变成一个 Python 列表
从 v0.24 开始,.values 将不再是访问底层 numpy 数组的首选方法。请参阅this answer
重要提示:将 Pandas 系列转换为列表或 NumPy 数组通常是不必要的,而且几乎可以肯定在 OP 的情况下。
此外,对于这样一个微不足道的问题,无需阅读过长的答案。 df.to_numpy().tolist() 应该适用于大多数用例。
只需使用 list(x) 进行类型转换

s
samlima

当您将 Pandas DataFrame 列拉出时,它们就是 Pandas Series,然后您可以调用 x.tolist() 将它们变成 Python 列表。或者,您可以使用 list(x) 施放它。

import pandas as pd

data_dict = {'one': pd.Series([1, 2, 3], index=['a', 'b', 'c']),
             'two': pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}

df = pd.DataFrame(data_dict)

print(f"DataFrame:\n{df}\n")
print(f"column types:\n{df.dtypes}")

col_one_list = df['one'].tolist()

col_one_arr = df['one'].to_numpy()

print(f"\ncol_one_list:\n{col_one_list}\ntype:{type(col_one_list)}")
print(f"\ncol_one_arr:\n{col_one_arr}\ntype:{type(col_one_arr)}")

输出:

DataFrame:
   one  two
a  1.0    1
b  2.0    2
c  3.0    3
d  NaN    4

column types:
one    float64
two      int64
dtype: object

col_one_list:
[1.0, 2.0, 3.0, nan]
type:<class 'list'>

col_one_arr:
[ 1.  2.  3. nan]
type:<class 'numpy.ndarray'>

我无法理解文档的风格,因为它几乎总是直接的语法,而我需要语法和示例。例如,语法将是创建一个集合:使用 set 关键字和一个列表:伴随的示例:alist = df.cluster.tolist()。在以这种方式编写熊猫之前,我会挣扎。它已经到了那里,现在有一些例子,但不是每一种方法。
谢谢@Ben,很好的答案!您能告诉我有关 Dataframe 方法的信息吗,我以前从未见过……似乎您正在将字典转换为 df? df = 数据帧(d)?
制作数据框的默认方法之一是向其传递具有匹配键的字典列表。
@yoshiserry 大多数常用函数现在在其文档中都有示例用法,位于语法和参数列表下方。您还可以查看 15 分钟到 pandas 了解更多初学者级别的示例。
@Ben 我还没有看到你仍然活跃在 SO 上,我想提一下我对这个答案提交了一个相当大的编辑,所以让我知道你的想法:)
A
AMC

这将返回一个 numpy 数组:

arr = df["cluster"].to_numpy()

这将返回一个由唯一值组成的 numpy 数组:

unique_arr = df["cluster"].unique()

您也可以使用 numpy 来获取唯一值,尽管这两种方法之间存在差异:

arr = df["cluster"].to_numpy()
unique_arr = np.unique(arr)

这两种方法有什么区别?
@ProQ pandas 的独特方法不像 np.unique() 那样排序,因此它更快。有关详细信息,请查看 pandas.pydata.org/pandas-docs/stable/reference/api/…numpy.org/devdocs/reference/generated/numpy.unique.html。这两种方法的文档都非常可靠。
但问题是关于 python 列表?
H
Hrvoje

转换示例:

Numpy 数组 -> Panda 数据框 -> 从一个 Panda 列中列出

numpy 数组

data = np.array([[10,20,30], [20,30,60], [30,60,90]])

将 numpy 数组转换为 Panda 数据框

dataPd = pd.DataFrame(data = data)
    
print(dataPd)
0   1   2
0  10  20  30
1  20  30  60
2  30  60  90

将一个 Panda 列转换为列表

pdToList = list(dataPd['2'])


为什么要显示两次数组创建代码,就好像它是解决方案的重要组成部分一样?事实上,为什么还要创建那个数组呢? df = pd.DataFrame(data=[[10, 20, 30], [20, 30, 60], [30, 60, 90]]) 不是更简单吗?另外,请注意遵循 Python 样式约定的变量名和空格。 迭代列表作为证明 这究竟证明了什么?这是一个列表?
同意 - numpy 数组的东西与问题无关
m
marc_s

由于这个问题引起了很多关注,并且有几种方法可以完成您的任务,所以让我提出几个选择。

顺便说一句,这些都是单行的;)

从...开始:

df
  cluster load_date budget actual fixed_price
0       A  1/1/2014   1000   4000           Y
1       A  2/1/2014  12000  10000           Y
2       A  3/1/2014  36000   2000           Y
3       B  4/1/2014  15000  10000           N
4       B  4/1/2014  12000  11500           N
5       B  4/1/2014  90000  11000           N
6       C  7/1/2014  22000  18000           N
7       C  8/1/2014  30000  28960           N
8       C  9/1/2014  53000  51200           N

潜在操作概述:

ser_aggCol (collapse each column to a list)
cluster          [A, A, A, B, B, B, C, C, C]
load_date      [1/1/2014, 2/1/2014, 3/1/2...
budget         [1000, 12000, 36000, 15000...
actual         [4000, 10000, 2000, 10000,...
fixed_price      [Y, Y, Y, N, N, N, N, N, N]
dtype: object


ser_aggRows (collapse each row to a list)
0     [A, 1/1/2014, 1000, 4000, Y]
1    [A, 2/1/2014, 12000, 10000...
2    [A, 3/1/2014, 36000, 2000, Y]
3    [B, 4/1/2014, 15000, 10000...
4    [B, 4/1/2014, 12000, 11500...
5    [B, 4/1/2014, 90000, 11000...
6    [C, 7/1/2014, 22000, 18000...
7    [C, 8/1/2014, 30000, 28960...
8    [C, 9/1/2014, 53000, 51200...
dtype: object


df_gr (here you get lists for each cluster)
                             load_date                 budget                 actual fixed_price
cluster                                                                                         
A        [1/1/2014, 2/1/2014, 3/1/2...   [1000, 12000, 36000]    [4000, 10000, 2000]   [Y, Y, Y]
B        [4/1/2014, 4/1/2014, 4/1/2...  [15000, 12000, 90000]  [10000, 11500, 11000]   [N, N, N]
C        [7/1/2014, 8/1/2014, 9/1/2...  [22000, 30000, 53000]  [18000, 28960, 51200]   [N, N, N]


a list of separate dataframes for each cluster

df for cluster A
  cluster load_date budget actual fixed_price
0       A  1/1/2014   1000   4000           Y
1       A  2/1/2014  12000  10000           Y
2       A  3/1/2014  36000   2000           Y

df for cluster B
  cluster load_date budget actual fixed_price
3       B  4/1/2014  15000  10000           N
4       B  4/1/2014  12000  11500           N
5       B  4/1/2014  90000  11000           N

df for cluster C
  cluster load_date budget actual fixed_price
6       C  7/1/2014  22000  18000           N
7       C  8/1/2014  30000  28960           N
8       C  9/1/2014  53000  51200           N

just the values of column load_date
0    1/1/2014
1    2/1/2014
2    3/1/2014
3    4/1/2014
4    4/1/2014
5    4/1/2014
6    7/1/2014
7    8/1/2014
8    9/1/2014
Name: load_date, dtype: object


just the values of column number 2
0     1000
1    12000
2    36000
3    15000
4    12000
5    90000
6    22000
7    30000
8    53000
Name: budget, dtype: object


just the values of row number 7
cluster               C
load_date      8/1/2014
budget            30000
actual            28960
fixed_price           N
Name: 7, dtype: object


============================== JUST FOR COMPLETENESS ==============================


you can convert a series to a list
['C', '8/1/2014', '30000', '28960', 'N']
<class 'list'>


you can convert a dataframe to a nested list
[['A', '1/1/2014', '1000', '4000', 'Y'], ['A', '2/1/2014', '12000', '10000', 'Y'], ['A', '3/1/2014', '36000', '2000', 'Y'], ['B', '4/1/2014', '15000', '10000', 'N'], ['B', '4/1/2014', '12000', '11500', 'N'], ['B', '4/1/2014', '90000', '11000', 'N'], ['C', '7/1/2014', '22000', '18000', 'N'], ['C', '8/1/2014', '30000', '28960', 'N'], ['C', '9/1/2014', '53000', '51200', 'N']]
<class 'list'>

the content of a dataframe can be accessed as a numpy.ndarray
[['A' '1/1/2014' '1000' '4000' 'Y']
 ['A' '2/1/2014' '12000' '10000' 'Y']
 ['A' '3/1/2014' '36000' '2000' 'Y']
 ['B' '4/1/2014' '15000' '10000' 'N']
 ['B' '4/1/2014' '12000' '11500' 'N']
 ['B' '4/1/2014' '90000' '11000' 'N']
 ['C' '7/1/2014' '22000' '18000' 'N']
 ['C' '8/1/2014' '30000' '28960' 'N']
 ['C' '9/1/2014' '53000' '51200' 'N']]
<class 'numpy.ndarray'>

代码:

# prefix ser refers to pd.Series object
# prefix df refers to pd.DataFrame object
# prefix lst refers to list object

import pandas as pd
import numpy as np

df=pd.DataFrame([
        ['A',   '1/1/2014',    '1000',    '4000',    'Y'],
        ['A',   '2/1/2014',    '12000',   '10000',   'Y'],
        ['A',   '3/1/2014',    '36000',   '2000',    'Y'],
        ['B',   '4/1/2014',    '15000',   '10000',   'N'],
        ['B',   '4/1/2014',    '12000',   '11500',   'N'],
        ['B',   '4/1/2014',    '90000',   '11000',   'N'],
        ['C',   '7/1/2014',    '22000',   '18000',   'N'],
        ['C',   '8/1/2014',    '30000',   '28960',   'N'],
        ['C',   '9/1/2014',    '53000',   '51200',   'N']
        ], columns=['cluster', 'load_date',   'budget',  'actual',  'fixed_price'])
print('df',df, sep='\n', end='\n\n')

ser_aggCol=df.aggregate(lambda x: [x.tolist()], axis=0).map(lambda x:x[0])
print('ser_aggCol (collapse each column to a list)',ser_aggCol, sep='\n', end='\n\n\n')

ser_aggRows=pd.Series(df.values.tolist()) 
print('ser_aggRows (collapse each row to a list)',ser_aggRows, sep='\n', end='\n\n\n')

df_gr=df.groupby('cluster').agg(lambda x: list(x))
print('df_gr (here you get lists for each cluster)',df_gr, sep='\n', end='\n\n\n')

lst_dfFiltGr=[ df.loc[df['cluster']==val,:] for val in df['cluster'].unique() ]
print('a list of separate dataframes for each cluster', sep='\n', end='\n\n')
for dfTmp in lst_dfFiltGr:
    print('df for cluster '+str(dfTmp.loc[dfTmp.index[0],'cluster']),dfTmp, sep='\n', end='\n\n')

ser_singleColLD=df.loc[:,'load_date']
print('just the values of column load_date',ser_singleColLD, sep='\n', end='\n\n\n')

ser_singleCol2=df.iloc[:,2]
print('just the values of column number 2',ser_singleCol2, sep='\n', end='\n\n\n')

ser_singleRow7=df.iloc[7,:]
print('just the values of row number 7',ser_singleRow7, sep='\n', end='\n\n\n')

print('='*30+' JUST FOR COMPLETENESS '+'='*30, end='\n\n\n')

lst_fromSer=ser_singleRow7.tolist()
print('you can convert a series to a list',lst_fromSer, type(lst_fromSer), sep='\n', end='\n\n\n')

lst_fromDf=df.values.tolist()
print('you can convert a dataframe to a nested list',lst_fromDf, type(lst_fromDf), sep='\n', end='\n\n')

arr_fromDf=df.values
print('the content of a dataframe can be accessed as a numpy.ndarray',arr_fromDf, type(arr_fromDf), sep='\n', end='\n\n')

正如 cs95 所指出的,其他方法应优先于 see here 上 pandas 0.24 版的 pandas .values 属性。我在这里使用它,因为大多数人(到 2019 年)仍然有旧版本,不支持新建议。您可以使用 print(pd.__version__) 检查您的版本


R
Ramin Melikov

如果您的列只有一个值,例如 pd.series.tolist() 将产生错误。为保证它适用于所有情况,请使用以下代码:

(
    df
        .filter(['column_name'])
        .values
        .reshape(1, -1)
        .ravel()
        .tolist()
)

天哪,这一切都需要一个价值案例吗?用 except 子句来处理这种情况?
有什么问题:list(df['column_name']) - 它适用于一项。
@MrR如果您需要链接您的方法,那么通过 list() 将其包装到列表中将破坏一致性。此外,代码更清晰,因为我们一步一步地看到正在发生的事情,我们可以在任何时候在每行或多行前面放置一个 # 来修改代码并查看每行如何更改 {3 }。
N
Natasha

假设读取 excel 表后数据框的名称是 df,取一个空列表(例如 dataList),逐行遍历数据框并附加到您的空列表中,例如 -

dataList = [] #empty list
for index, row in df.iterrows(): 
    mylist = [row.cluster, row.load_date, row.budget, row.actual, row.fixed_price]
    dataList.append(mylist)

或者,

dataList = [] #empty list
for row in df.itertuples(): 
    mylist = [row.cluster, row.load_date, row.budget, row.actual, row.fixed_price]
    dataList.append(mylist)

不,如果您打印 dataList,您将在 dataList 中将每一行作为一个列表。


变量和函数名称应遵循 lower_case_with_underscores 样式。与现有解决方案相比,该解决方案究竟有什么优势?另外,我真的不鼓励在 Series 和 DataFrames 上使用属性样式访问。
C
Coddy

如果您执行 df.T.values.tolist(),它会生成列值列表的列表。


k
kamran kausar
 amount = list()
    for col in df.columns:
        val = list(df[col])
        for v in val:
            amount.append(v)