ChatGPT解决这个技术问题 Extra ChatGPT

为 sed 替换模式转义字符串

在我的 bash 脚本中,我有一个外部(从用户接收)字符串,我应该在 sed 模式中使用它。

REPLACE="<funny characters here>"
sed "s/KEYWORD/$REPLACE/g"

如何转义 $REPLACE 字符串,以便 sed 安全地接受它作为文字替换?

注意: KEYWORD 是一个没有匹配项等的哑子字符串。它不是由用户提供的。

如果他们说“/g -e 's/PASSWORD=.*/PASSWORD=abc/g'”,您是否试图避免“小鲍比桌”问题?
如果使用 bash,则不需要 sed。只需使用 outputvar="${inputvar//"$txt2replace"/"$txt2replacewith"}".
@destenson 我认为您不应该将这两个变量放在引号之外。 Bash 可以读取双引号内的变量(在您的示例中,空格可能会搞砸)。
@CamiloMartin,请参阅我对自己答案的评论。 ${} 内的引号与内的引号不匹配。这两个变量不在引号之外。

C
Cadoiz

警告:这考虑换行符。如需更深入的答案,请参阅 this SO-question。 (谢谢,Ed Morton & Niklas Peter)

请注意,逃避一切是一个坏主意。 Sed 需要对许多字符进行转义才能获得它们的特殊含义。例如,如果您对替换字符串中的数字进行转义,它将变成反向引用。

正如 Ben Blank 所说,替换字符串中只有三个字符需要转义(转义自己,正斜杠表示语句结束,& 表示全部替换):

ESCAPED_REPLACE=$(printf '%s\n' "$REPLACE" | sed -e 's/[\/&]/\\&/g')
# Now you can use ESCAPED_REPLACE in the original sed statement
sed "s/KEYWORD/$ESCAPED_REPLACE/g"

如果您需要转义 KEYWORD 字符串,以下是您需要的:

sed -e 's/[]\/$*.^[]/\\&/g'

并可用于:

KEYWORD="The Keyword You Need";
ESCAPED_KEYWORD=$(printf '%s\n' "$KEYWORD" | sed -e 's/[]\/$*.^[]/\\&/g');

# Now you can use it inside the original sed statement to replace text
sed "s/$ESCAPED_KEYWORD/$ESCAPED_REPLACE/g"

请记住,如果您使用 / 以外的字符作为分隔符,则需要将上述表达式中的斜杠替换为您正在使用的字符。有关解释,请参阅 PeterJCLaw 的评论。

编辑:由于以前没有考虑到一些极端情况,上面的命令已经改变了好几次。查看编辑历史以获取详细信息。


值得注意的是,您可以通过不使用正斜杠作为分隔符来避免转义正斜杠。大多数(全部?)版本的 sed 允许您使用任何字符,只要它符合模式: $ echo 'foo/bar' | sed s_/_:_ # foo:bar
@PeterJCLaw:好点。我相信所有版本的 sed 都是如此。上面只有两个转义的斜杠,所以不会有太大的区别,但是如果你在这个输出插入的 sed 表达式中使用另一个分隔符,这很重要。我添加了一些信息来反映这一点。
a
a_horse_with_no_name

sed 命令允许您使用其他字符而不是 / 作为分隔符:

sed 's#"http://www\.fubar\.com"#URL_FUBAR#g'

双引号不是问题。


您仍然需要转义 .,否则它具有特殊含义。我编辑了你的答案。
我刚刚尝试用 sed '|CLIENTSCRIPT="foo"|a CLIENTSCRIPT2="hello"' file 做:sed '/CLIENTSCRIPT="foo"/a CLIENTSCRIPT2="hello"' file,但效果不一样。
因为这仅适用于替换,所以应该说: sed 的 s 命令(如替换)允许您使用其他字符而不是 / 作为分隔符。此外,这将是如何在带有斜杠字符的 URL 上使用 sed 的答案。它没有回答 OP 问题如何转义用户输入的字符串,该字符串可能包含 /、\,但如果您决定使用它,还可以包含 #。此外,URI 也可以包含#
M
Mark Stosberg

在替换子句中特殊处理的仅有的三个文字字符是 /(用于关闭子句)、\(用于转义字符、反向引用、&c.)和 &(用于将匹配包含在替换)。因此,您需要做的就是转义这三个字符:

sed "s/KEYWORD/$(echo $REPLACE | sed -e 's/\\/\\\\/g; s/\//\\\//g; s/&/\\\&/g')/g"

例子:

$ export REPLACE="'\"|\\/><&!"
$ echo fooKEYWORDbar | sed "s/KEYWORD/$(echo $REPLACE | sed -e 's/\\/\\\\/g; s/\//\\\//g; s/&/\\\&/g')/g"
foo'"|\/><&!bar

我认为也是换行符。如何逃脱换行符?
请注意 echo 的默认行为与反斜杠有关。在 bash 中,echo 默认不解释反斜杠转义,这在这里起到了作用。另一方面,在破折号(sh)中, echo 解释反斜杠转义,据我所知,无法抑制这一点。因此,在破折号 (sh) 中,不要使用 echo $x,而是执行 printf '%s\n' $x。
此外,在进行读取时始终使用 -r 选项将用户输入中的反斜杠视为文字。
对于与其他 shell 的跨平台兼容性,您应该查阅有关替换 sed 特殊字符的文档:grymoire.com/Unix/Sed.html#toc-uh-62
@Drux 这三个字符是替换子句中唯一的特殊字符。模式子句中还有很多特别之处。
G
Gurpartap Singh

基于 Pianosaurus 的正则表达式,我制作了一个 bash 函数,可以同时转义关键字和替换。

function sedeasy {
  sed -i "s/$(echo $1 | sed -e 's/\([[\/.*]\|\]\)/\\&/g')/$(echo $2 | sed -e 's/[\/&]/\\&/g')/g" $3
}

以下是你如何使用它:

sedeasy "include /etc/nginx/conf.d/*" "include /apps/*/conf/nginx.conf" /etc/nginx/nginx.conf

谢谢!如果其他人在尝试使用它时遇到语法错误,就像我一样,请记住使用 bash 运行它,而不是 sh
是否有一个函数只是为 sed 转义字符串而不是环绕 sed?
嘿,只是关于使用这样的回显启动管道的一般警告:回显的某些(大多数?)实现采用选项(请参阅 man echo),当您的参数 $1 以破折号开头时,导致管道出现意外行为。相反,您可以使用 printf '%s\n' "$1" 开始您的管道。
它不适用于新行,例如 " sedeasy "hello world" "hello\n world" "x.txt"
f
fedorqui

回复有点晚了……但是有一种更简单的方法可以做到这一点。只需更改分隔符(即分隔字段的字符)。因此,您编写 s|bar|foo 而不是 s/foo/bar/

而且,这是执行此操作的简单方法:

sed 's|/\*!50017 DEFINER=`snafu`@`localhost`\*/||g'

结果输出没有那个讨厌的 DEFINER 子句。


不,& 和 `` 仍然必须转义,分隔符也必须转义,无论选择哪个。
这解决了我的问题,因为我在替换字符串中有“/”字符。谢啦!
为我工作。正在做的是尝试在即将更改的字符串中转义 $,并在替换字符串中保持 $ 的含义。假设我想将 $XXX 更改为变量 $YYY 的值,sed -i "s|\$XXX|$YYY|g" file 工作正常。
D
Dennis Estenson

事实证明你问错了问题。我也问错了问题。错误的原因是第一句话的开头:“在我的 bash 脚本中......”。

我有同样的问题并犯了同样的错误。如果您使用的是 bash,则不需要使用 sed 来进行字符串替换(而且使用 bash 内置的替换功能更简洁)。

而不是类似的东西,例如:

function escape-all-funny-characters() { UNKNOWN_CODE_THAT_ANSWERS_THE_QUESTION_YOU_ASKED; }
INPUT='some long string with KEYWORD that need replacing KEYWORD.'
A="$(escape-all-funny-characters 'KEYWORD')"
B="$(escape-all-funny-characters '<funny characters here>')"
OUTPUT="$(sed "s/$A/$B/g" <<<"$INPUT")"

您可以专门使用 bash 功能:

INPUT='some long string with KEYWORD that need replacing KEYWORD.'
A='KEYWORD'
B='<funny characters here>'
OUTPUT="${INPUT//"$A"/"$B"}"

顺便说一句,这里的语法突出显示是错误的。外部报价匹配 &内部报价匹配。换句话说,看起来 $A$B 没有被引用,但事实并非如此。 ${} 内的引号与其外的引号不匹配。
您实际上不必在作业的右侧引用(除非您想执行 var='has space' 之类的操作)——OUTPUT=${INPUT//"$A"/"$B"} 是安全的。
您实际上不必引用作业的右侧(除非您希望它在现实世界中工作,而不仅仅是作为玩具脚本来展示您的疯狂技能)。我总是尝试引用我不希望 shell 解释的每个变量扩展,除非我有特定的理由不这样做。这样一来,事情往往不会经常中断,尤其是在提供新的或意外的输入时。
请参阅 manual:“所有值都经过波浪号扩展、参数和变量扩展、命令替换、算术扩展和引号删除(详见下文)。”即,与双引号中的相同。
如果您需要在文件上使用 sed 怎么办?
f
fedorqui

使用 awk - 它更干净:

$ awk -v R='//addr:\\file' '{ sub("THIS", R, $0); print $0 }' <<< "http://file:\_THIS_/path/to/a/file\\is\\\a\\ nightmare"
http://file:\_//addr:\file_/path/to/a/file\\is\\\a\\ nightmare

awk 的问题在于它与 sed -i 没有任何相似之处,后者在 99% 的情况下都非常方便。
这是朝着正确方向迈出的一步,但 awk 仍会在您的替换中解释一些元字符,因此用户输入仍然不安全。
A
Alex

这是我不久前使用的 AWK 的示例。它是一个打印新 AWKS 的 AWK。 AWK 和 SED 相似,它可能是一个很好的模板。

ls | awk '{ print "awk " "'"'"'"  " {print $1,$2,$3} " "'"'"'"  " " $1 ".old_ext > " $1 ".new_ext"  }' > for_the_birds

它看起来过分了,但不知何故,引号的组合可以使 ' 打印为文字。然后,如果我没记错的话,变量只是用这样的引号括起来:“$ 1”。试试看,让我知道它是如何与 SED 一起工作的。


A
Ark25

这些是我发现的转义码:

* = \x2a
( = \x28
) = \x29

" = \x22
/ = \x2f
\ = \x5c

' = \x27
? = \x3f
% = \x25
^ = \x5e

并非所有 sed 方言都接受带有 \x 的十六进制转义。没有什么可以“发现”的;您可以在任何 ASCII 图表中查找字符代码。
N
NeronLeVelu

不要忘记围绕 " 和 ' 的外壳限制所带来的所有乐趣

所以(在 ksh 中)

Var=">New version of \"content' here <"
printf "%s" "${Var}" | sed "s/[&\/\\\\*\\"']/\\&/g' | read -r EscVar

echo "Here is your \"text\" to change" | sed "s/text/${EscVar}/g"

正是我需要的方向,用于逃避查找结果,通过谷歌找到,所以可能对某人有帮助 - 以 - sed "s/[&\\\*\\"\'\"' )(]/\\& 结尾/G'
M
Mark Stosberg

如果您正在生成一个随机密码以传递给 sed 替换模式,那么您选择要注意随机字符串中的哪一组字符。如果您选择通过将值编码为 base64 生成的密码,那么只有一个字符既可以在 base64 中使用,又是 sed 替换模式中的特殊字符。该字符是“/”,很容易从您生成的密码中删除:

# password 32 characters log, minus any copies of the "/" character.
pass=`openssl rand -base64 32 | sed -e 's/\///g'`;

T
The Hungry Dictator

如果您只是想替换 sed 命令中的变量值,那么只需删除示例:

sed -i 's/dev-/dev-$ENV/g' test to sed -i s/dev-/dev-$ENV/g test

A
Axel

我对 sedeasy 函数进行了改进,该函数将使用制表符等特殊字符中断。

function sedeasy_improved {
    sed -i "s/$(
        echo "$1" | sed -e 's/\([[\/.*]\|\]\)/\\&/g' 
            | sed -e 's:\t:\\t:g'
    )/$(
        echo "$2" | sed -e 's/[\/&]/\\&/g' 
            | sed -e 's:\t:\\t:g'
    )/g" "$3"
}

那么,有什么不同呢? $1$2 用引号括起来以避免 shell 扩展并保留制表符或双空格。

附加管道 | sed -e 's:\t:\\t:g'(我喜欢 : 作为令牌),它转换 \t 中的标签。


但是请参阅我对有关在管道中使用 echo 的 sedeasy 答案的评论。
sed 连接到 sed 很愚蠢;单个 sed 实例可以执行任意长且复杂的脚本。
J
Javonne Martin

更简单的方法是预先构建字符串并将其用作 sed 的参数

rpstring="s/KEYWORD/$REPLACE/g"
sed -i $rpstring  test.txt

失败且极其危险,因为 REPLACE 是用户提供的:REPLACE=/ 给出 sed: -e expression #1, char 12: unknown option to `s'