Я серьезно разочаровываюсь в том, как медленный запуск python. Просто импортирование более или менее базовых модулей занимает второе место, поскольку python работает с sys.path, ища соответствующие файлы (и генерирует 4 stat() звонки - [ "foo", "foo.py", "foo.pyc", "foo.so" ] - для каждой проверки). Для сложной среды проекта с множеством разных каталогов это может занять около 5 секунд - все, чтобы запустить script, который может сработать мгновенно.
Есть ли у людей предложения по ускорению этого процесса? Например, один хак, который я видел, - это установить переменную среды LD_PRELOAD_32 в библиотеку, которая кэширует результат вызовов ENOENT (например, неудачных вызовов stat()) между прогонами. Конечно, у этого есть всевозможные проблемы (потенциально запутывающие программы, отличные от python, отрицательное кеширование и т.д.).
как можно больший размер файлов pyc, при необходимости (с правильной структурой каталогов для пакетов) и поместить этот zipfile в качестве самой первой записи в sys.path(на лучшем доступном локальном диске, в идеале), может ускорить время запуска много.
Первыми вещами, которые приходят на ум, являются:
Кроме этого, уверены ли вы, что операции с дисками - это то, что вас задевает? Действительно ли ваш диск/операционная система занята или старая и медленная?
Может быть, дефрагментация в порядке?
Если у вас закончились опции, вы можете создать ramdisk для хранения пакетов python. RAMdisk отображается как каталог в вашей файловой системе, но на самом деле будет отображаться непосредственно в ОЗУ вашего компьютера. Ниже приведены инструкции для Linux/Redhat.
Остерегайтесь: ramdisk неустойчив, поэтому вам также нужно будет сохранять резервные копии ваших файлов на вашем обычном жестком диске, иначе вы потеряете свои данные, когда ваш компьютер отключится.
Что-то не хватает в вашей предпосылке - я никогда не видел, чтобы некоторые "более или менее" базовые модули занимали второе место для импорта, и я не запускаю Python на том, что я бы назвал передовым оборудованием. Либо вы работаете на каком-то серьезном старом оборудовании, либо работаете на перегруженной машине, либо какая-либо установка вашей ОС или Python. Или вы действительно не импортируете "базовые" модули.
Если это один из первых трех вопросов, вам нужно посмотреть на проблему с корнем для решения. Если это последнее, нам действительно нужно знать, какие конкретные пакеты должны быть полезны.
При попытке ускорить процесс профилирование является ключевым. В противном случае, как вы узнаете, какие части вашего кода действительно медленные?
Некоторое время назад я создал тунца для визуализации профиля времени выполнения и импорта, и я думаю, что это может быть полезно здесь. Просто создайте профиль импорта (с Python 3. 7+) и запустите на нем тунец:
python3.7 -X importtime -c "import scipy" 2> scipy.log
tuna scipy.log
