Рассмотрим следующий упрощенный пример:
my_prog|awk '...' > output.csv &
my_pid="$!" #Gives the PID for awk instead of for my_prog
sleep 10
kill $my_pid #my_prog still has data in its buffer that awk never saw. Data is lost!
В bash, $my_pid указывает на PID для awk. Однако мне нужен PID для my_prog. Если я убей awk, my_prog не знает, чтобы очистить выходной буфер и данные потеряны. Итак, как получить PID для my_prog? Обратите внимание, что ps aux|grep my_prog не будет работать, так как может быть несколько my_prog.
ПРИМЕЧАНИЕ: изменено cat на awk '...', чтобы уточнить, что мне нужно.
Мне удалось решить проблему, явно называя канал, используя mkfifo.
Шаг 1: mkfifo capture.
Шаг 2. Запустите этот script
my_prog > capture &
my_pid="$!" #Now, I have the PID for my_prog!
awk '...' capture > out.csv &
sleep 10
kill $my_pid #kill my_prog
wait #wait for awk to finish.
Мне не нравится управление mkfifo. Надеюсь, у кого-то есть более легкое решение.
Просто такая же проблема. Мое решение:
process_1 | process_2 &
PID_OF_PROCESS_2=$!
PID_OF_PROCESS_1=`jobs -p`
Просто убедитесь, что process_1 - это первый фоновый процесс. В противном случае вам нужно проанализировать полный вывод jobs -l.
Вот решение без оберток или временных файлов. Это работает только для фонового конвейера, выход которого удаляется от stdout содержащего script, как в вашем случае. Предположим, вы хотите сделать:
cmd1 | cmd2 | cmd3 >pipe_out &
# do something with PID of cmd2
Если только bash может предоставить ${PIPEPID[n]}!! Заменяемый "hack", который я нашел, выглядит следующим образом:
PID=$( { cmd1 | { cmd2 0<&4 & echo $! >&3 ; } 4<&0 | cmd3 >pipe_out & } 3>&1 | head -1 )
При необходимости вы также можете закрыть fd 3 (для cmd*) и fd 4 (для cmd2) с помощью 3>&- и 4<&- соответственно. Если вы это сделаете, для cmd2 убедитесь, что вы закрыли fd 4 только после перенаправления fd 0 из него.
Добавить оболочку оболочки вокруг вашей команды и захватить pid. Для моего примера я использую iostat.
#!/bin/sh
echo $$ > /tmp/my.pid
exec iostat 1
Exec заменяет оболочку новым процессом, сохраняющим pid.
test.sh | grep avg
Пока это выполняется:
$ cat my.pid
22754
$ ps -ef | grep iostat
userid 22754 4058 0 12:33 pts/12 00:00:00 iostat 1
Итак, вы можете:
sleep 10
kill `cat my.pid`
Это более элегантно?
Улучшение @Marvin и @Nils Goroll отвечает с помощью oneliner, который извлекает pids для всех команд в pipe в переменную массива оболочки:
# run some command
ls -l | rev | sort > /dev/null &
# collect pids
pids=(`jobs -l % | egrep -o '^(\[[0-9]+\]\+| ) [ 0-9]{5} ' | sed -e 's/^[^ ]* \+//' -e 's! $!!'`)
# use them for something
echo pid of ls -l: ${pids[0]}
echo pid of rev: ${pids[1]}
echo pid of sort: ${pids[2]}
echo pid of first command e.g. ls -l: $pids
echo pid of last command e.g. sort: ${pids[-1]}
# wait for last command in pipe to finish
wait ${pids[-1]}
В моем решении ${pids[-1]} содержится значение, обычно доступное в $!. Обратите внимание на использование jobs -l %, которое выводит только текущее задание, которое по умолчанию является последним.
Пример вывода:
pid of ls -l: 2725
pid of rev: 2726
pid of sort: 2727
pid of first command e.g. ls -l: 2725
pid of last command e.g. sort: 2727
UPDATE 2017-11-13: Улучшена команда pids=..., которая лучше работает с сложными (многострочными) командами.
Основываясь на вашем комментарии, я все еще не понимаю, почему вы предпочли бы убить my_prog, чтобы оно было закончено упорядоченным образом. Десять секунд - довольно произвольное измерение в многопроцессорной системе, в которой my_prog может генерировать 10k строк или 0 строк вывода в зависимости от загрузки системы.
Если вы хотите ограничить вывод my_prog чем-то более определенным, попробуйте
my_prog | head -1000 | awk
без отсоединения от оболочки. В худшем случае голова закроет свой вход, а my_prog получит SIGPIPE. В лучшем случае измените my_prog, чтобы он выдавал желаемый объем вывода.
добавлено в ответ на комментарий:
Если у вас есть контроль над my_prog, дайте ему необязательный аргумент -s duration. Затем где-то в основной петле вы можете поместить предикат:
if (duration_exceeded()) {
exit(0);
}
где exit, в свою очередь, правильно очистит выходные файлы. Если отчаянно и нет места, чтобы положить предикат, это может быть реализовано с помощью будильника (3), который я намеренно не показываю, потому что это плохо.
Ядро вашей проблемы состоит в том, что my_prog работает вечно. Все остальное здесь - хак, чтобы обойти это ограничение.
С вдохновением от ответа @Demosthenex: использование подоболочек:
$ ( echo $BASHPID > pid1; exec vmstat 1 5 ) | tail -1 &
[1] 17371
$ cat pid1
17370
$ pgrep -fl vmstat
17370 vmstat 1 5
Я отчаянно искал хорошее решение, чтобы получить все PID от работы на трубе, и один многообещающий подход потерпел неудачу (см. предыдущие версии этого ответа).
Итак, к сожалению, лучшее, что я мог придумать, - это разбор вывода jobs -l с использованием GNU awk:
function last_job_pids {
if [[ -z "${1}" ]] ; then
return
fi
jobs -l | awk '
/^\[/ { delete pids; pids[$2]=$2; seen=1; next; }
// { if (seen) { pids[$1]=$1; } }
END { for (p in pids) print p; }'
}