在 Bash 中循环文件的内容

其他答案未涵盖的更多内容：

从分隔文件中读取

# ':' is the delimiter here, and there are three fields on each line in the file
# IFS set below is restricted to the context of `read`, it doesn't affect any other code
while IFS=: read -r field1 field2 field3; do
  # process the fields
  # if the line has less than three fields, the missing fields will be set to an empty string
  # if the line has more than three fields, `field3` will get all the values, including the third field plus the delimiter(s)
done < input.txt

使用进程替换从另一个命令的输出中读取

while read -r line; do
  # process the line
done < <(command ...)

这种方法比 command ... | while read -r line; do ... 更好，因为这里的 while 循环在当前 shell 中运行，而不是在后者的情况下运行在子 shell 中。请参阅相关帖子 A variable modified inside a while loop is not remembered。

从空分隔的输入中读取，例如 find ... -print0

while read -r -d '' line; do
  # logic
  # use a second 'read ... <<< "$line"' if we need to tokenize the line
done < <(find /path/to/dir -print0)

相关阅读：BashFAQ/020 - How can I find and safely handle file names containing newlines, spaces or both?

一次读取多个文件

while read -u 3 -r line1 && read -u 4 -r line2; do
  # process the lines
  # note that the loop will end when we reach EOF on either of the files, because of the `&&`
done 3< input1.txt 4< input2.txt

基于 @chepner's 答案 here：

-u 是一个 bash 扩展。对于 POSIX 兼容性，每个调用都类似于 read -r X <&3。

将整个文件读入数组（早于 4 的 Bash 版本）

while read -r line; do
    my_array+=("$line")
done < my_file

如果文件以不完整的行结尾（末尾缺少换行符），则：

while read -r line || [[ $line ]]; do
    my_array+=("$line")
done < my_file

将整个文件读入数组（Bash 版本 4x 及更高版本）

readarray -t my_array < my_file

或者

mapfile -t my_array < my_file

接着

for line in "${my_array[@]}"; do
  # process the lines
done

更多关于 shell 内置的 read 和 readarray 命令 - GNU

更多关于 IFS - 维基百科

BashFAQ/001 - 如何逐行（和/或逐字段）读取文件（数据流、变量）？

相关文章：

在 Bash 中从文本文件创建数组

读取只有一行的文件的方法有什么区别？

与 cat 相比，Bash while read 循环非常慢，为什么？

---

使用 while 循环，如下所示：

while IFS= read -r line; do
   echo "$line"
done <file

笔记：

如果您没有正确设置 IFS，您将失去缩进。您几乎应该始终将 -r 选项与 read 一起使用。不要用 for 阅读行

---

假设你有这个文件：

$ cat /tmp/test.txt
Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR

有四个元素会改变许多 Bash 解决方案读取的文件输出的含义：

第 4 行空白；两行前导或尾随空格；维护各行的含义（即，每一行都是一条记录）；第 6 行没有以 CR 结束。

如果您希望文本文件逐行包括空白行和没有 CR 的终止行，则必须使用 while 循环，并且必须对最后一行进行替代测试。

以下是可能更改文件的方法（与 cat 返回的方法相比）：

1）丢失最后一行以及前导和尾随空格：

$ while read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'

（如果您改为使用 while IFS= read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt，则保留前导和尾随空格，但如果最后一行未以 CR 终止，则仍会丢失最后一行）

2) 使用带有 cat 的进程替换将一口气读取整个文件并失去各行的含义：

$ for p in "$(cat /tmp/test.txt)"; do printf "%s\n" "'$p'"; done
'Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR'

（如果您从 $(cat /tmp/test.txt) 中删除 "，您会逐字阅读文件，而不是一饮而尽。也可能不是预期的......）

逐行读取文件并保留所有间距的最可靠和最简单的方法是：

$ while IFS= read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'    Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space    '
'Line 6 has no ending CR'

如果要去除前导和换行空格，请删除 IFS= 部分：

$ while read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'
'Line 6 has no ending CR'

（没有终止 \n 的文本文件虽然很常见，但在 POSIX 下被认为是损坏的。如果您可以依靠结尾的 \n，则在 while 循环中不需要 || [[ -n $line ]]。）

BASH FAQ 上的更多信息

---

如果您不希望您的阅读被换行符破坏，请使用 -

#!/bin/bash
while IFS='' read -r line || [[ -n "$line" ]]; do
    echo "$line"
done < "$1"

然后以文件名作为参数运行脚本。

---

这可能是最简单的答案，也许并非在所有情况下都有效，但对我来说效果很好：

while read line;do echo "$line";done<peptides.txt

如果您需要用括号括起来空格：

while read line;do echo \"$line\";done<peptides.txt

啊，这与获得最多投票的答案几乎相同，但都在一条线上。

---

我喜欢使用 xargs 而不是 while。 xargs 功能强大且命令行友好

cat peptides.txt | xargs -I % sh -c "echo %"

使用 xargs，您还可以使用 -t 添加详细程度并使用 -p 添加验证

---

#!/bin/bash
#
# Change the file name from "test" to desired input file 
# (The comments in bash are prefixed with #'s)
for x in $(cat test.txt)
do
    echo $x
done

---

这是我的真实示例，如何循环另一个程序输出的行、检查子字符串、从变量中删除双引号、在循环外使用该变量。我想很多人迟早会问这些问题。

##Parse FPS from first video stream, drop quotes from fps variable
## streams.stream.0.codec_type="video"
## streams.stream.0.r_frame_rate="24000/1001"
## streams.stream.0.avg_frame_rate="24000/1001"
FPS=unknown
while read -r line; do
  if [[ $FPS == "unknown" ]] && [[ $line == *".codec_type=\"video\""* ]]; then
    echo ParseFPS $line
    FPS=parse
  fi
  if [[ $FPS == "parse" ]] && [[ $line == *".r_frame_rate="* ]]; then
    echo ParseFPS $line
    FPS=${line##*=}
    FPS="${FPS%\"}"
    FPS="${FPS#\"}"
  fi
done <<< "$(ffprobe -v quiet -print_format flat -show_format -show_streams -i "$input")"
if [ "$FPS" == "unknown" ] || [ "$FPS" == "parse" ]; then 
  echo ParseFPS Unknown frame rate
fi
echo Found $FPS

在循环外声明变量，设置值并在循环外使用它需要完成 <<< "$(...)" 语法。应用程序需要在当前控制台的上下文中运行。命令周围的引号保留输出流的换行符。

子字符串的循环匹配然后读取 name=value 对，拆分 last = 字符的右侧部分，删除第一个引号，删除最后一个引号，我们有一个干净的值可以在其他地方使用。

---

@Peter：这对你有用-

echo "Start!";for p in $(cat ./pep); do
echo $p
done

这将返回输出 -

Start!
RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

---

这来得很晚，但考虑到它可能对某人有帮助，我正在添加答案。此外，这可能不是最好的方法。 head 命令可以与 -n 参数一起使用以从文件开头读取 n 行，同样可以使用 tail 命令从底部读取。现在，为了从文件中获取第 nth 行，我们开始 n 行，将数据通过管道传输到管道数据的尾部仅 1 行。

   TOTAL_LINES=`wc -l $USER_FILE | cut -d " " -f1 `
   echo $TOTAL_LINES       # To validate total lines in the file

   for (( i=1 ; i <= $TOTAL_LINES; i++ ))
   do
      LINE=`head -n$i $USER_FILE | tail -n1`
      echo $LINE
   done

---

另一种使用 xargs 的方法

<file_name | xargs -I {} echo {}

echo 可以用其他命令替换或进一步管道。

---

每埃德莫顿，Why is using a shell loop to process text considered bad practice?

答案是：不要使用 bash 处理文本，使用为此任务设计的工具 awk 在 bash 中处理文本。

https://www.gnu.org/software/gawk/manual/gawk.html

#! /usr/bin/env awk -f

BEGIN { print("do anything you want here!"); }
{
   print("processing line: ", $0);
}
END { print("and anything else here!") };

并调用：

./awk-script.awk peptides.txt

在 bash 脚本中：

#!/usr/bin/env bash

echo "foo" | awk "{print}"

---