我正在尝试创建一个 cronjob 来在每晚发生灾难性事件之前备份我的数据库。看起来这个命令应该满足我的需要:
0 3 * * * pg_dump dbname | gzip > ~/backup/db/$(date +%Y-%m-%d).psql.gz
除了运行之后,它希望我输入密码。如果我从 cron 运行它,我不能这样做。我怎样才能自动传递一个?
在 pg_dump
将作为其运行的帐户的主目录中创建一个 .pgpass
文件。
格式为:
hostname:port:database:username:password
然后,将文件的模式设置为 0600
。否则,它将被忽略。
chmod 600 ~/.pgpass
有关更多详细信息,请参阅 Postgresql 文档 libpq-pgpass。
或者您可以设置 crontab 来运行脚本。在该脚本中,您可以像这样设置环境变量:export PGPASSWORD="$put_here_the_password"
这样,如果您有多个需要密码的命令,您可以将它们全部放入脚本中。如果密码更改,您只需在一处(脚本)进行更改。
我同意 Joshua 的观点,使用 pg_dump -Fc
生成最灵活的导出格式并且已经被压缩。有关详细信息,请参阅:pg_dump documentation
例如
# dump the database in custom-format archive
pg_dump -Fc mydb > db.dump
# restore the database
pg_restore -d newdb db.dump
.pgpass
文件会是更好的解决方案。我只是给出了一个替代方案,但不确定它是否值得一票否决:)
如果您想在一个命令中执行此操作:
PGPASSWORD="mypass" pg_dump mydb > mydb.dump
postgres://
语法一起工作。没有尝试 .pgpass
,因为我的 postgress 用户没有主目录。
对于单行,如迁移数据库,您可以使用 --dbname
后跟连接字符串(包括密码),如 pg_dump manual 中所述
在本质上。
pg_dump --dbname=postgresql://username:password@127.0.0.1:5432/mydatabase
注意:确保使用选项 --dbname
而不是较短的 -d
,并使用有效的 URI 前缀 postgresql://
或 postgres://
。
一般的URI形式是:
postgresql://[user[:password]@][netloc][:port][/dbname][?param1=value1&...]
您的案例中的最佳实践(cron 中的重复任务)由于安全问题,不应该这样做。如果不是 .pgpass
文件,我会将连接字符串保存为环境变量。
export MYDB=postgresql://username:password@127.0.0.1:5432/mydatabase
然后在你的 crontab
0 3 * * * pg_dump --dbname=$MYDB | gzip > ~/backup/db/$(date +%Y-%m-%d).psql.gz
在创建单个数据库的转储时,这一班轮可以帮助我。
PGPASSWORD="yourpassword" pg_dump -U postgres -h localhost mydb > mydb.pgsql
$ PGPASSWORD="mypass" pg_dump -i -h localhost -p 5432 -U username -F c -b -v -f dumpfilename.dump databasename
您可以使用以下命令直接将密码传递给 pg_dump:
pg_dump "host=localhost port=5432 dbname=mydb user=myuser password=mypass" > mydb_export.sql
如果 --dbname 未通过,@Josue Alexander Ibarra 答案适用于 centos 7 和 9.5 版。
pg_dump postgresql://username:password@127.0.0.1:5432/mydatabase
--dbname
请注意,在 Windows 中,pgpass.conf
文件必须位于以下文件夹中:
%APPDATA%\postgresql\pgpass.conf
如果 %APPDATA%
文件夹中没有 postgresql
文件夹,请创建它。
pgpass.conf
文件内容类似于:
localhost:5432:dbname:dbusername:dbpassword
干杯
如 this blog post 中所述,有两种方法可以非交互式地向 PostgreSQL 实用程序(例如“pg_dump”命令)提供密码:使用 ".pgpass" 文件或使用 "PGPASSWORD " 环境变量。
如果我错了,请纠正我,但如果系统用户与数据库用户相同,PostgreSQL 不会要求输入密码 - 它依赖于系统进行身份验证。这可能是配置问题。
因此,当我希望数据库所有者 postgres
每晚备份他的数据库时,我可以为其创建一个 crontab:crontab -e -u postgres
。当然,需要允许 postgres
执行 cron 作业;因此它必须列在 /etc/cron.allow
中,或者 /etc/cron.deny
必须为空。
使用临时 .pgpass 凭据通过 ssh 备份并推送到 S3:
#!/usr/bin/env bash
cd "$(dirname "$0")"
DB_HOST="*******.*********.us-west-2.rds.amazonaws.com"
DB_USER="*******"
SSH_HOST="my_user@host.my_domain.com"
BUCKET_PATH="bucket_name/backup"
if [ $# -ne 2 ]; then
echo "Error: 2 arguments required"
echo "Usage:"
echo " my-backup-script.sh <DB-name> <password>"
echo " <DB-name> = The name of the DB to backup"
echo " <password> = The DB password, which is also used for GPG encryption of the backup file"
echo "Example:"
echo " my-backup-script.sh my_db my_password"
exit 1
fi
DATABASE=$1
PASSWORD=$2
echo "set remote PG password .."
echo "$DB_HOST:5432:$DATABASE:$DB_USER:$PASSWORD" | ssh "$SSH_HOST" "cat > ~/.pgpass; chmod 0600 ~/.pgpass"
echo "backup over SSH and gzip the backup .."
ssh "$SSH_HOST" "pg_dump -U $DB_USER -h $DB_HOST -C --column-inserts $DATABASE" | gzip > ./tmp.gz
echo "unset remote PG password .."
echo "*********" | ssh "$SSH_HOST" "cat > ~/.pgpass"
echo "encrypt the backup .."
gpg --batch --passphrase "$PASSWORD" --cipher-algo AES256 --compression-algo BZIP2 -co "$DATABASE.sql.gz.gpg" ./tmp.gz
# Backing up to AWS obviously requires having your credentials to be set locally
# EC2 instances can use instance permissions to push files to S3
DATETIME=`date "+%Y%m%d-%H%M%S"`
aws s3 cp ./"$DATABASE.sql.gz.gpg" s3://"$BUCKET_PATH"/"$DATABASE"/db/"$DATETIME".sql.gz.gpg
# s3 is cheap, so don't worry about a little temporary duplication here
# "latest" is always good to have because it makes it easier for dev-ops to use
aws s3 cp ./"$DATABASE.sql.gz.gpg" s3://"$BUCKET_PATH"/"$DATABASE"/db/latest.sql.gz.gpg
echo "local clean-up .."
rm ./tmp.gz
rm "$DATABASE.sql.gz.gpg"
echo "-----------------------"
echo "To decrypt and extract:"
echo "-----------------------"
echo "gpg -d ./$DATABASE.sql.gz.gpg | gunzip > tmp.sql"
echo
只需用您需要的任何内容替换前几行配置行 - 显然。对于那些对 S3 备份部分不感兴趣的人,把它拿出来——很明显。
此脚本随后会删除 .pgpass
中的凭据,因为在某些环境中,默认 SSH 用户可以在没有密码的情况下执行 sudo,例如具有 ubuntu
用户的 EC2 实例,因此使用具有不同主机帐户的 .pgpass
以保护那些凭证,可能毫无意义。
history
,不是吗?
history -c
。与 Jenkins 一起使用时,请使用 Inject passwords to the build as environment variables
选项以隐藏密码
对于 Windows,pgpass.conf
文件应存在于路径中:
%APPDATA%\postgresql\pgpass.conf
在我的 Windows 10 绝对路径上,它是:
C:\Users\Ognjen\AppData\Roaming\postgresql\pgpass.conf
Note:
如果 %APPDATA%
中没有 postgresql 文件夹,请在其中创建一个包含 pgpass.conf
文件的文件夹。
pgpass.conf
的内容可能是:
*:5432:*:*:myDbPassword
或者更具体的内容可能是:
localhost:5432:dbName:username:password
Note:
pgpass.conf
的内容不能以空格结尾(密码后),否则会发生错误。
传递密码的一种安全方法是将其存储在 .pgpass
文件中
.pgpass
文件的内容将采用以下格式:
db_host:db_port:db_name:db_user:db_pass
#Eg
localhost:5432:db1:admin:tiger
localhost:5432:db2:admin:tiger
现在,将此文件存储在具有权限 u=rw (0600) or less
的用户的主目录中
要查找用户的主目录,请使用 echo $HOME
限制文件 chmod 0600 /home/ubuntu/.pgpass
的权限
在 windows 中,您可以在使用 pg_dump.exe 之前使用密码设置变量,并且可以在 bat 文件中自动执行所有操作,例如:
C:\>SET PGPASSWORD=dbpass
C:\>"folder_where_is_pg_dump\pg_dump.exe" -f "dump_file" -h "db_host" -U db_usr --schema "db_schema" "db_name"
您只需要打开 pg_hba.conf 并设置对所有方法的信任。这对我有用。因此安全性为空。
传递密码的另一种(可能不安全)方法是使用输入重定向,即调用
pg_dump [params] < [path to file containing password]
在我看来,最简单的方法是:你编辑你的主 postgres 配置文件:pg_hba.conf 你必须添加以下行:
host <you_db_name> <you_db_owner> 127.0.0.1/32 trust
在此之后你需要开始你的cron:
pg_dump -h 127.0.0.1 -U <you_db_user> <you_db_name> | gzip > /backup/db/$(date +%Y-%m-%d).psql.gz
它没有密码就可以工作
sudo su postgres
的注意事项:Unix 用户不一定存在。它不需要。但是数据库用户应该。