ChatGPT解决这个技术问题 Extra ChatGPT

如何复制文件?

如何在 Python 中复制文件?


r
ruohola

shutil 有许多方法可供您使用。其中之一是:

import shutil

shutil.copyfile(src, dst)

# 2nd option
shutil.copy(src, dst)  # dst can be a folder; use shutil.copy2() to preserve timestamp

将名为 src 的文件的内容复制到名为 dst 的文件中。 src 和 dst 都需要是文件的完整文件名,包括路径。

目标位置必须是可写的;否则,将引发 IOError 异常。

如果 dst 已经存在,它将被替换。

无法使用此功能复制字符或块设备和管道等特殊文件。

对于 copy,src 和 dst 是路径名,以 strs 形式给出。

另一种要查看的 shutil 方法是 shutil.copy2()。它很相似,但保留了更多元数据(例如时间戳)。

如果您使用 os.path 操作,请使用 copy 而不是 copyfilecopyfile 将只接受字符串。


请注意,并非所有元数据都会被复制,具体取决于您的平台。
请注意,它不是原子操作。注意在线程应用程序中使用它。
请注意,它不能处理 ~ 之类的缩写,但它可以处理相对路径
@Owen确实可以,但是目录必须已经存在。顺便说一句,只要目标目录已经存在,dst 可以以斜杠结尾,也可以不以斜杠结尾,没关系。
shutil 实际上并不复制文件。有a big fat warning right at the top of the docs。 “这意味着文件所有者和组以及 ACL 都丢失了。在 Mac OS 上,不使用资源分支和其他元数据。这意味着资源将丢失,文件类型和创建者代码将不正确。在 Windows 上,文件所有者、ACL 和备用数据流不会被复制。”
S
Stefan

功能 复制元数据 复制权限 使用文件对象 目标可能是目录 shutil.copy 否 是 否 是 shutil.copyfile 否 否 否 否 shutil.copy2 是 是 否 是 shutil.copyfileobj 否 否 是 否


真是一团糟!谁设计了这些 API :-\
J
Jonathan H

copy2(src,dst) 通常比 copyfile(src,dst) 更有用,因为:

它允许 dst 是一个目录(而不是完整的目标文件名),在这种情况下, src 的基本名称用于创建新文件;

它在文件元数据中保留了原始修改和访问信息(mtime 和 atime)(但是,这会带来一些开销)。

这是一个简短的例子:

import shutil
shutil.copy2('/src/dir/file.ext', '/dst/dir/newname.ext') # complete target filename given
shutil.copy2('/src/file.ext', '/dst/dir') # target filename is /dst/dir/file.ext

我正在尝试从 100 万个文件中随机复制 10 万个文件。 copyfilecopy2 快得多
请注意,shutil.copy 还允许 dest 成为目录,至少在当前版本中(我使用的是 python 3.8)
C
Community

在 Python 中,您可以使用复制文件

关闭模块

操作系统模块

子进程模块

import os
import shutil
import subprocess

1)使用shutil模块复制文件

shutil.copyfile 签名

shutil.copyfile(src_file, dest_file, *, follow_symlinks=True)

# example    
shutil.copyfile('source.txt', 'destination.txt')

shutil.copy 签名

shutil.copy(src_file, dest_file, *, follow_symlinks=True)

# example
shutil.copy('source.txt', 'destination.txt')

shutil.copy2 签名

shutil.copy2(src_file, dest_file, *, follow_symlinks=True)

# example
shutil.copy2('source.txt', 'destination.txt')  

shutil.copyfileobj 签名

shutil.copyfileobj(src_file_object, dest_file_object[, length])

# example
file_src = 'source.txt'  
f_src = open(file_src, 'rb')

file_dest = 'destination.txt'  
f_dest = open(file_dest, 'wb')

shutil.copyfileobj(f_src, f_dest)  

2) 使用 os 模块复制文件

os.popen 签名

os.popen(cmd[, mode[, bufsize]])

# example
# In Unix/Linux
os.popen('cp source.txt destination.txt') 

# In Windows
os.popen('copy source.txt destination.txt')

os.system 签名

os.system(command)


# In Linux/Unix
os.system('cp source.txt destination.txt')  

# In Windows
os.system('copy source.txt destination.txt')

3)使用子进程模块复制文件

subprocess.call 签名

subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False)

# example (WARNING: setting `shell=True` might be a security-risk)
# In Linux/Unix
status = subprocess.call('cp source.txt destination.txt', shell=True) 

# In Windows
status = subprocess.call('copy source.txt destination.txt', shell=True)

subprocess.check_output 签名

subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False)

# example (WARNING: setting `shell=True` might be a security-risk)
# In Linux/Unix
status = subprocess.check_output('cp source.txt destination.txt', shell=True)

# In Windows
status = subprocess.check_output('copy source.txt destination.txt', shell=True)


使用单字符串命令是不好的编码风格(灵活性、可靠性和安全性),尽可能使用 ['copy', sourcefile, destfile] 语法,尤其是在参数来自用户输入的情况下。
为什么你列出了shutil复制功能的这么多不好的替代品?
shutil 是内置的,无需提供非便携式替代方案。通过删除系统相关的解决方案实际上可以改进答案,在删除之后,这个答案只是现有答案的副本/文档的副本。
os.popen 现在已被弃用一段时间。并且 check_output 不返回状态而是输出(在 copy/cp 的情况下为空)
shutil 实际上并不复制文件。有a big fat warning right at the top of the docs。 “这意味着文件所有者和组以及 ACL 都丢失了。在 Mac OS 上,不使用资源分支和其他元数据。这意味着资源将丢失,文件类型和创建者代码将不正确。在 Windows 上,文件所有者、ACL 和备用数据流不会被复制。”
m
maxschlepzig

您可以使用 shutil 包中的一种复制功能:

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Function              preserves     supports          accepts     copies other
                      permissions   directory dest.   file obj    metadata  
――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
shutil.copy              ✔             ✔                 ☐           ☐
shutil.copy2             ✔             ✔                 ☐           ✔
shutil.copyfile          ☐             ☐                 ☐           ☐
shutil.copyfileobj       ☐             ☐                 ✔           ☐
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

例子:

import shutil
shutil.copy('/etc/hostname', '/var/tmp/testhostname')

E
Eric O Lebigot

复制文件是一个相对简单的操作,如下面的示例所示,但您应该改用 shutil stdlib module

def copyfileobj_example(source, dest, buffer_size=1024*1024):
    """      
    Copy a file from source to dest. source and dest
    must be file-like objects, i.e. any object with a read or
    write method, like for example StringIO.
    """
    while True:
        copy_buffer = source.read(buffer_size)
        if not copy_buffer:
            break
        dest.write(copy_buffer)

如果要按文件名复制,可以执行以下操作:

def copyfile_example(source, dest):
    # Beware, this example does not handle any edge cases!
    with open(source, 'rb') as src, open(dest, 'wb') as dst:
        copyfileobj_example(src, dst)

不久前我注意到该模块被称为shutil(单数)而不是shutils(复数),实际上它在Python 2.3中。尽管如此,我还是把这个函数留在这里作为一个例子。
f
flying sheep

使用 shutil module

copyfile(src, dst)

将名为 src 的文件的内容复制到名为 dst 的文件中。目标位置必须是可写的;否则,将引发 IOError 异常。如果 dst 已经存在,它将被替换。无法使用此功能复制字符或块设备和管道等特殊文件。 src 和 dst 是以字符串形式给出的路径名。

查看 filesys,了解标准 Python 模块中可用的所有文件和目录处理函数。


N
Noam Manos

目录和文件复制示例 - 来自 Tim Golden 的 Python Stuff:

http://timgolden.me.uk/python/win32_how_do_i/copy-a-file.html

import os
import shutil
import tempfile

filename1 = tempfile.mktemp (".txt")
open (filename1, "w").close ()
filename2 = filename1 + ".copy"
print filename1, "=>", filename2

shutil.copy (filename1, filename2)

if os.path.isfile (filename2): print "Success"

dirname1 = tempfile.mktemp (".dir")
os.mkdir (dirname1)
dirname2 = dirname1 + ".copy"
print dirname1, "=>", dirname2

shutil.copytree (dirname1, dirname2)

if os.path.isdir (dirname2): print "Success"

f
fabda01

对于小文件并且仅使用 python 内置,您可以使用以下单行:

with open(source, 'rb') as src, open(dest, 'wb') as dst: dst.write(src.read())

对于文件太大或内存很关键的应用程序,这不是最佳方式,因此应该首选 Swati's 答案。


u
user

首先,我制作了一份详尽的shutil方法备忘单供您参考。

shutil_methods =
{'copy':['shutil.copyfileobj',
          'shutil.copyfile',
          'shutil.copymode',
          'shutil.copystat',
          'shutil.copy',
          'shutil.copy2',
          'shutil.copytree',],
 'move':['shutil.rmtree',
         'shutil.move',],
 'exception': ['exception shutil.SameFileError',
                 'exception shutil.Error'],
 'others':['shutil.disk_usage',
             'shutil.chown',
             'shutil.which',
             'shutil.ignore_patterns',]
}

其次,在例子中解释复制的方法:

shutil.copyfileobj(fsrc, fdst[, length]) 操作打开的对象

In [3]: src = '~/Documents/Head+First+SQL.pdf'
In [4]: dst = '~/desktop'
In [5]: shutil.copyfileobj(src, dst)
AttributeError: 'str' object has no attribute 'read'
#copy the file object
In [7]: with open(src, 'rb') as f1,open(os.path.join(dst,'test.pdf'), 'wb') as f2:
    ...:      shutil.copyfileobj(f1, f2)
In [8]: os.stat(os.path.join(dst,'test.pdf'))
Out[8]: os.stat_result(st_mode=33188, st_ino=8598319475, st_dev=16777220, st_nlink=1, st_uid=501, st_gid=20, st_size=13507926, st_atime=1516067347, st_mtime=1516067335, st_ctime=1516067345)

shutil.copyfile(src, dst, *, follow_symlinks=True) 复制并重命名

In [9]: shutil.copyfile(src, dst)
IsADirectoryError: [Errno 21] Is a directory: ~/desktop'
#so dst should be a filename instead of a directory name

shutil.copy() 复制而不保留元数据

In [10]: shutil.copy(src, dst)
Out[10]: ~/desktop/Head+First+SQL.pdf'
#check their metadata
In [25]: os.stat(src)
Out[25]: os.stat_result(st_mode=33188, st_ino=597749, st_dev=16777220, st_nlink=1, st_uid=501, st_gid=20, st_size=13507926, st_atime=1516066425, st_mtime=1493698739, st_ctime=1514871215)
In [26]: os.stat(os.path.join(dst, 'Head+First+SQL.pdf'))
Out[26]: os.stat_result(st_mode=33188, st_ino=8598313736, st_dev=16777220, st_nlink=1, st_uid=501, st_gid=20, st_size=13507926, st_atime=1516066427, st_mtime=1516066425, st_ctime=1516066425)
# st_atime,st_mtime,st_ctime changed

shutil.copy2() 复制并保留元数据

In [30]: shutil.copy2(src, dst)
Out[30]: ~/desktop/Head+First+SQL.pdf'
In [31]: os.stat(src)
Out[31]: os.stat_result(st_mode=33188, st_ino=597749, st_dev=16777220, st_nlink=1, st_uid=501, st_gid=20, st_size=13507926, st_atime=1516067055, st_mtime=1493698739, st_ctime=1514871215)
In [32]: os.stat(os.path.join(dst, 'Head+First+SQL.pdf'))
Out[32]: os.stat_result(st_mode=33188, st_ino=8598313736, st_dev=16777220, st_nlink=1, st_uid=501, st_gid=20, st_size=13507926, st_atime=1516067063, st_mtime=1493698739, st_ctime=1516067055)
# Preseved st_mtime

shutil.copytree()

递归复制以 src 为根的整个目录树,返回目标目录


J
James Donnelly

您可以使用 os.system('cp nameoffilegeneratedbyprogram /otherdirectory/')

或者就像我做的那样,

os.system('cp '+ rawfile + ' rawdata.dat')

其中 rawfile 是我在程序中生成的名称。

这是一个仅限 Linux 的解决方案


这不是便携式的,也没有必要,因为您可以使用shutil。
即使 shutil 不可用 - subprocess.run()(没有 shell=True!)是 os.system() 的更好替代品。
shutil 更便携
在调用外部程序时,@maxschlepzig 建议的 subprocess.run() 向前迈出了一大步。但是,为了灵活性和安全性,请使用 ['cp', rawfile, 'rawdata.dat'] 形式传递命令行。 (但是,为了复制,建议 shutil 和朋友不要调用外部程序。)
尝试使用带有空格的文件名。
M
Marc

Python 3.5 开始,您可以对小文件(即:文本文件、小 jpeg)执行以下操作:

from pathlib import Path

source = Path('../path/to/my/file.txt')
destination = Path('../path/where/i/want/to/store/it.txt')
destination.write_bytes(source.read_bytes())

write_bytes 将覆盖目的地位置的任何内容


然后有人在一个大文件上使用代码(无意或有意)……使用 shutil 中的函数为您处理所有特殊情况,让您高枕无忧。
至少它不会一遍又一遍地重复相同的解决方案。
R
Raymond Toh

shutil 模块在 files 上提供了一些高级操作。它支持文件 copyingremoval

请参阅下表了解您的使用案例。

功能利用文件对象保留元数据保留权限支持目录目标。 shutil.copyfileobj ✔ ⅹ ⅹ ⅹ shutil.copyfile ⅹ ⅹ ⅹ ⅹ shutil.copy2 ⅹ ✔ ✔ ✔ shutil.copy ⅹ ⅹ ✔ ✔


r
rassa45

对于大文件,我所做的是逐行读取文件并将每一行读入一个数组。然后,一旦数组达到一定大小,将其附加到新文件中。

for line in open("file.txt", "r"):
    list.append(line)
    if len(list) == 1000000: 
        output.writelines(list)
        del list[:]

这似乎有点多余,因为作者应该处理缓冲。 for l in open('file.txt','r'): output.write(l) 应该可以找到;只需根据您的需要设置输出流缓冲区。或者您可以通过使用 output.write(read(n)); output.flush() 循环尝试按字节数,其中 n 是您希望一次写入的字节数。这两个也没有条件检查哪个是奖金。
是的,但我认为这可能更容易理解,因为它复制整行而不是其中的一部分(以防我们不知道每行有多少字节)。
@owns 为了在一年后补充这个问题,writelines() 表现出比 write() 稍好一些的性能,因为我们不会浪费时间不断地打开新文件流,而是将新行写入一个大字节馈送。
查看源代码 - writelines 调用 write,hg.python.org/cpython/file/c6880edaf6f3/Modules/_io/bytesio.c。此外,文件流已经打开,因此 write 不需要每次都重新打开它。
这太可怕了。它无缘无故地做了不必要的工作。它不适用于任意文件。如果输入在 Windows 等系统上具有异常的行结尾,则副本不是字节相同的。为什么您认为这可能比调用 shutil 中的复制函数更容易理解?即使忽略 shutil,一个简单的块读/写循环(使用无缓冲 IO)也是直截了当的,将是高效的并且比这更有意义,因此肯定更容易教授和理解。
J
Jean-François Fabre
open(destination, 'wb').write(open(source, 'rb').read())

以读模式打开源文件,以写模式写入目标文件。


这个想法很好,代码也很漂亮,但是适当的 copy() 函数可以做更多的事情,例如复制属性(+x 位),或者例如删除已经复制的字节以防发现磁盘已满情况.
所有的答案都需要解释,即使是一句话。没有解释开创了不好的先例,对理解程序没有帮助。如果一个完整的 Python 菜鸟出现并看到了这个,想使用它,但因为他们不理解它而不能使用它怎么办?您希望在您的答案中对所有人都有帮助。
这不是缺少所有这些 open(...) 上的 .close() 吗?
不需要 .close(),因为我们没有在任何地方存储文件指针对象(既不是 src 文件也不是目标文件)。
yellow01's answer 相同的次优内存浪费方法。
C
CaptAngryEyes

使用 subprocess.call 复制文件

from subprocess import call
call("cp -p <file> <file>", shell=True)

这取决于平台,所以我不会使用 is。
这样的 call 是不安全的。请参阅有关它的子过程文档。
这不是便携式的,也没有必要,因为您可以使用shutil。
嗯,为什么是 Python?
也许在启动之前检测操作系统(无论是 DOS 还是 Unix,因为这两个是最常用的)
L
Leonardo Wildt

以防你跌到这么远。答案是你需要完整的路径和文件名

import os

shutil.copy(os.path.join(old_dir, file), os.path.join(new_dir, file))

如果文件名保留,您可以复制到目标文件夹:shutil.copy(os.path.join(old_dir, file), new_dir)
B
Basj

这是一种简单的方法,无需任何模块。它类似于 this answer,但如果它是一个不适合 RAM 的大文件,它也可以工作:

with open('sourcefile', 'rb') as f, open('destfile', 'wb') as g:
    while True:
        block = f.read(16*1024*1024)  # work by blocks of 16 MB
        if not block:  # end of file
            break
        g.write(block)

由于我们正在编写一个新文件,它不会保留修改时间等。
如果需要,我们可以使用 os.utime


R
R J

与接受的答案类似,如果您还想确保在目标路径中创建任何(不存在的)文件夹,以下代码块可能会派上用场。

from os import path, makedirs
from shutil import copyfile
makedirs(path.dirname(path.abspath(destination_path)), exist_ok=True)
copyfile(source_path, destination_path)

正如接受的答案所指出的那样,这些行将覆盖目标路径中存在的任何文件,因此有时在此代码块之前添加:if not path.exists(destination_path): 可能会很有用。


S
Savai Maheshwari

Python 提供了内置函数,可以使用操作系统 Shell 实用程序轻松复制文件。

以下命令用于复制文件

shutil.copy(src,dst)

以下命令用于复制带有元数据信息的文件

shutil.copystat(src,dst)

您应该运行 copy,然后运行 copystat 以保留文件元数据。在 Python 3.3+ 中,copystat 还复制扩展属性。
A
Al Baari

shutil.copy(src, dst, *, follow_symlinks=True)


您的答案可以通过额外的支持信息得到改进。请edit添加更多详细信息,例如引用或文档,以便其他人可以确认您的答案是正确的。您可以找到有关如何写出好答案的更多信息in the help center
这已经在其他答案中提到过。在回答已有答案的旧问题时,请确保您提供新颖的解决方案或比现有答案更好的解释。