Python: ulimit и nice для subprocess.call/subprocess.Popen?

Мне нужно ограничить время и процессор, полученные внешними приложениями из командной строки, которые я запускаю из процесса python, используя subprocess.call, главным образом потому, что иногда порожденный процесс застревает и выдает CPU на 99%.

nice и ulimit кажутся разумными способами сделать это, но я не уверен, как они будут взаимодействовать с подпроцессом.

  • Пределы выглядят примерно так:
    • Убейте процесс, если он занимает более 60 секунд.
    • Ограничьте его до 20% от процессора
  • Я хочу применить ресурс, ограничивающий подпроцесс, а не процесс python, порождающий подпроцессы.

Есть ли способ применить nice и ulimit к процессу subprocess.call? Существуют ли лучшие альтернативы на основе python?

Это находится в системе linux (ubuntu).

Ответы

Ответ 1

Вы можете установить ограничения для подпроцессов с командами оболочки ulimit и nice следующим образом:

import subprocess
subprocess.Popen('ulimit -t 60; nice -n 15 cpuhog', shell=True)

Выполняется cpuhog с ограничением 60 секунд времени процессора и настройкой удобства 15. Обратите внимание, что нет простого способа установить 20% -ный дроссель процессора как таковой. Процесс будет использовать 100% CPU, если другому (менее приятному) процессу также не нужен процессор.

Ответ 2

Используйте параметр preexec_fn для подпроцесса .Popen и ресурсный модуль. Пример:

parent.py:

#!/usr/bin/env python

import os
import sys
import resource
import subprocess

def setlimits():
    # Set maximum CPU time to 1 second in child process, after fork() but before exec()
    print "Setting resource limit in child (pid %d)" % os.getpid()
    resource.setrlimit(resource.RLIMIT_CPU, (1, 1))

print "CPU limit of parent (pid %d)" % os.getpid(), resource.getrlimit(resource.RLIMIT_CPU)
p = subprocess.Popen(["./child.py"], preexec_fn=setlimits)
print "CPU limit of parent (pid %d) after startup of child" % os.getpid(), resource.getrlimit(resource.RLIMIT_CPU)
p.wait()
print "CPU limit of parent (pid %d) after child finished executing" % os.getpid(), resource.getrlimit(resource.RLIMIT_CPU)

child.py:

#!/usr/bin/env python

import os
import sys
import resource

print "CPU limit of child (pid %d)" % os.getpid(), resource.getrlimit(resource.RLIMIT_CPU)

parent.py будет преобразовывать в новый процесс. В новом процессе он вызовет setlimits(), а затем exec child.py. Это означает, что ресурс будет ограничен в дочернем процессе, но не в родительском.

Вывод при запуске программы:

./parent.py
CPU limit of parent (pid 17404) (-1, -1)
Setting resource limit in child (pid 17405)
CPU limit of parent (pid 17404) after startup of child (-1, -1)
CPU limit of child (pid 17405) (1, 1)
CPU limit of parent (pid 17404) after child finished executing (-1, -1)

Это во многих случаях лучшее решение, чем попытка использовать ulimit, поскольку не всегда полезно создавать подпроцесс через оболочку, тем более, что часто вызывает уродливые проблемы с параметрами.

Ответ 3

Эрик облегчил мне, но он забыл часть nice, которая Rich указана. Я нахожу пакет psutil приятным (каламбур), но, к сожалению, менее портативным. Вот мой вопрос на вопрос:

import os
import psutil
import resource
import subprocess

def preexec_fn():
    pid = os.getpid()
    ps = psutil.Process(pid)
    ps.set_nice(10)
    resource.setrlimit(resource.RLIMIT_CPU, (1, 1))

print "mother pid", os.getpid()
p = subprocess.Popen(["./cpuhog.sh"], preexec_fn=preexec_fn)
p.wait()
print "mother still alive with pid", os.getpid()

Ville использовал shell=True, к которому я как-то аллергия. Возможно, я просто стар и сердитый, но я стараюсь избегать этого!