Сервер apache достиг настройки MaxClients, подумайте о повышении установки MaxClients

Я запускаю centos 5.5 с 768mb ram. я продолжаю получать server reached MaxClients setting, consider raising the MaxClients setting в журналах, а apache работает очень медленно. когда я смотрю на графики кактусов, он показывает, что сервер даже не использует все ресурсы. Вот текущая конфигурация

Я пробовал следующее, но сервер реагирует очень медленно

Просто добавлено текущее изображение результата кактуса последние 4 часа. Занятые периоды - понедельник. Поэтому я буду ждать до следующей недели, чтобы увидеть дальнейшие результаты изменения конфигурации. но это похоже на улучшение, поскольку до этого у меня было всего 10 потоков. Глядя на это, вы думаете, я могу сделать больше улучшений?

Для чего нужно установить оптимальные значения в apache?

Ответы

Ответ 1

При использовании Apache с mod_php apache применяется в режиме prefork, а не worker. Поскольку, даже если известно, что php5 поддерживает многопоточность, также известно, что некоторые библиотеки php5 не очень хорошо работают в многопоточных средах (поэтому, например, у вас будет вызов локали на один поток, изменяющий языковой стандарт на другие потоки php).

Итак, если php не работает в cgi, как с php-fpm, у вас есть mod_php внутри apache и apache в режиме предпродак. В ваших тестах вы просто прокомментировали настройки предпродажной программы и увеличили параметры рабочего стола, то, что у вас сейчас есть, - это значения по умолчанию для параметров предкара и некоторые измененные значения для общих:

StartServers       20
MinSpareServers    5
MaxSpareServers    10
MaxClients         1024
MaxRequestsPerChild  0

Это означает, что вы попросите apache начать с процесса 20, но вы говорите ему, что если более 10 процессов ничего не делают, это должно уменьшить это число детей, чтобы оставаться от 5 до 10 доступных процессов. Скорость увеличения/уменьшения apache составляет 1 минуту. Так что скоро вы вернетесь в классическую ситуацию, когда у вас довольно небольшое количество бесплатных апах-процессов (в среднем 2). Среднее значение низкое, потому что обычно у вас есть что-то вроде 5 доступных процессов, но как только растет трафик, все они используются, поэтому нет процесса, поскольку apache очень медленно создает новые вилки. Это, безусловно, усиливается тем фактом, что ваши PHP-запросы кажутся довольно длинными, они не заканчиваются раньше, и вилки Apache не выпущены достаточно скоро, чтобы обрабатывать другой запрос.

Посмотрите на последнем графике небольшое количество зеленого цвета перед красным пиком? Если вы можете нарисовать это на 1 минуте, а не на 5 минут, вы увидите, что эта зеленая сумма не была достаточно большой, чтобы принимать входящий трафик без сообщения об ошибке.

Теперь вы устанавливаете 1024 MaxClients. Я думаю, что график кактусов не будет принят после этой модификации конфигурации, потому что с такой модификацией, когда больше не будет процесса, apache будет продолжать разблокировать новых детей с ограничением 1024 занятых детей. Возьмите что-то вроде 20 МБ ОЗУ на одного ребенка (или, может быть, у вас есть большой memory_limit в PHP и позволяет что-то вроде 64 МБ или 256 МБ, а тезисы PHP-запросов действительно используют больше ОЗУ), возможно, сервер БД... ваш сервер сейчас замедляется, потому что у вас всего 768 МБ ОЗУ. Возможно, когда apache пытается инициировать первые 20 детей, вы уже достигли предела доступной RAM.

Итак. классический способ обработки, который заключается в проверке объема памяти, используемой вилкой apache (сделать некоторые верхние команды во время ее работы), а затем найти, сколько параллельных запросов вы можете обрабатывать с этим объемом ОЗУ (что означает, что параллельные дети apache в режим предварительного просмотра). Скажем, это 12, например. Поместите это число в настройки apache mpm таким образом:

<IfModule prefork.c>
  StartServers       12
  MinSpareServers    12
  MaxSpareServers    12
  MaxClients         12
  MaxRequestsPerChild  300
</IfModule>

Это означает, что вы не перемещаете число вилок при увеличении или уменьшении трафика, потому что вы всегда хотите использовать всю ОЗУ и быть готовыми к пиковым значениям трафика. 300 означает, что вы перерабатываете каждую вилку после 300 запросов, это лучше, чем 0, это означает, что у вас не будет потенциальных проблем с утечками памяти. MaxClients имеет значение 12 25 или 50, что более 12 для обработки очереди ListenBacklog, которая может вставлять некоторые запросы, вы можете взять большую очередь, но вы можете получить некоторые тайм-ауты, возможно, (удалены этот странный спутник, я не могу вспомнить, почему я сказал, что если поступит более 12 запросов, следующий будет помещен в очередь Backlog, но вы должны установить MaxClient на целевое количество процессов).

И да, это означает, что вы не можете обрабатывать более 12 параллельных запросов.

Если вы хотите обрабатывать больше запросов:

купите еще оперативную память
попробуйте использовать apache в рабочем режиме, но удалите mod_php и используйте php в качестве параллельного демона с его собственными настройками пула (это называется php-fpm), подключитесь это с fastcgi. Обратите внимание, что вам, безусловно, нужно будет купить некоторую ОЗУ, чтобы обеспечить большое количество параллельных процессов php-fpm, но, возможно, меньше, чем с mod_php
Сократить время, затрачиваемое на ваш php-процесс. На ваших графиках кактусов вы сталкиваетесь с потенциальными проблемами: реальный пик трафика около 11: 25-11: 30 или некоторый код php становится очень медленным. Быстрые запросы уменьшают количество параллельных запросов.

Если ваша проблема - это действительно пики трафика, решения могут быть доступны с кэшами, такими как сервер прокси-кэш. Если проблема является случайной медлительностью в PHP, то... это проблема приложения, например, вы делаете HTTP-запрос на другой сайт с PHP?

И, наконец, как заявил @Jan Vlcinsky, вы можете попробовать nginx, где php будет доступен только как php-fpm. Если вы не можете купить ОЗУ и должны обрабатывать большой трафик, который окончательно выдержал тест.

Обновление: внутренние фиктивные соединения (если это ваша проблема, но, возможно, нет).

Отметьте эту ссылку и этот предыдущий ответ. Это "нормально", но если у вас нет простого запроса на виртуальные хосты, возможно, вы попадаете в основное тяжелое приложение, создавая медленные HTTP-запросы и не позволяя обычным пользователям получать доступ к вашим процессам apache. Они генерируются при грациозной перезагрузке или управлении детьми.

Если у вас нет простого базового "Это работает", то по умолчанию Virtualhost предотвращает запросы этих приложений в вашем приложении некоторыми перезаписями:

  RewriteCond %{HTTP_USER_AGENT} ^.*internal\ dummy\ connection.*$ [NC]
  RewriteRule .* - [F,L]

Update:

Наличие только одного Virtualhost не защищает вас от внутренних фиктивных подключений, это худшее, теперь вы уверены, что эти соединения выполняются на вашем уникальном Virtualhost. Поэтому вы должны действительно избегать побочных эффектов для своего приложения, используя правила перезаписи.

Читая вашу тактическую графику, кажется, что ваш apache не находится в режиме предпродажного режима в рабочем режиме. Запустите httpd -l или apache2 -l на debian и проверьте, есть ли у вас рабочий .c или prefork.c. Если вы находитесь в рабочем режиме, вы можете столкнуться с некоторыми проблемами PHP в своем приложении, но вы должны проверить настройки рабочего, вот пример:

<IfModule worker.c>
  StartServers           3
  MaxClients           500
  MinSpareThreads       75
  MaxSpareThreads      250 
  ThreadsPerChild       25
  MaxRequestsPerChild  300
</IfModule>

Вы запускаете 3 процесса, каждый из которых содержит 25 потоков (так что по умолчанию равно 3 * 25 = 75 параллельных запросов), вы позволяете 75 нитям ничего не делать, как только используется один поток, новый процесс разворачивается, добавляя еще 25 потоков, И когда у вас более 250 нитей, ничего не делающих (10 процессов), какой-то процесс убит. Вы должны настроить эти настройки в своей памяти. Здесь вы допускаете 500 параллельных процессов (20 процессов из 25 потоков). Ваше использование может быть больше:

<IfModule worker.c>
  StartServers           2
  MaxClients           250
  MinSpareThreads       50
  MaxSpareThreads      150 
  ThreadsPerChild       25
  MaxRequestsPerChild  300
</IfModule>

Ответ 2

Ниже приведен подход, который мог бы решить вашу проблему, а если не помог бы устранить неполадки.

Создайте второй виртуальный сервер Apache, идентичный текущему.
Отправлять весь "нормальный" пользовательский трафик на исходный виртуальный сервер
Отправить специальный или длительный трафик на новый виртуальный сервер

Специальный или долговременный трафик может представлять собой генерацию отчетов, операции обслуживания или что-либо еще, чего вы не ожидаете завершить в < 1 < 1 секунда. Это может случиться для обслуживания API, а не только для веб-страниц.

Если использование ресурсов низкое, но вы по-прежнему превышаете MaxClients, наиболее вероятным ответом является то, что новые соединения поступают быстрее, чем их можно обслуживать. Постановка медленных операций на втором виртуальном сервере поможет доказать, что это так. Используйте журналы доступа Apache для количественной оценки эффекта.

Ответ 3

Вы рассматривали использование nginx (или другого веб-сервера, основанного на событиях) вместо apache?

nginx должен обеспечивать большее количество соединений и потреблять гораздо меньше ресурсов (поскольку он основан на событиях и не создает отдельный процесс для каждого соединения). Во всяком случае, вам понадобятся некоторые процессы, выполняющие реальную работу (например, WSGI-серверы или так), и если они останутся на том же сервере, что и веб-сервер с интерфейсом, вы просто переместите проблему производительности в другое место.

Последняя версия apache должна разрешить аналогичное решение (настройте его на основе событий), но это не моя область знаний.

Ответ 4

Я рекомендую использовать приведенную ниже формулу для Apache:

MaxClients = (общая оперативная память - ОЗУ для ОС - ОЗУ для внешних программ)/(ОЗУ на каждый процесс httpd)

Найдите мой script здесь, который работает на Rhel 6.7. вы можете внести изменения в соответствии с вашей ОС.

#!/bin/bash

echo "HostName=`hostname`"

#Formula
#MaxClients . (RAM - size_all_other_processes)/(size_apache_process)
total_httpd_processes_size=`ps -ylC httpd --sort:rss | awk '{ sum += $9 } END { print sum }'`
#echo "total_httpd_processes_size=$total_httpd_processes_size"
total_http_processes_count=`ps -ylC httpd --sort:rss | wc -l`
echo "total_http_processes_count=$total_http_processes_count"
AVG_httpd_process_size=$(expr $total_httpd_processes_size / $total_http_processes_count)
echo "AVG_httpd_process_size=$AVG_httpd_process_size"
total_httpd_process_size_MB=$(expr $AVG_httpd_process_size / 1024)
echo "total_httpd_process_size_MB=$total_httpd_process_size_MB"
total_pttpd_used_size=$(expr $total_httpd_processes_size / 1024)
echo "total_pttpd_used_size=$total_pttpd_used_size"
total_RAM_size=`free -m |grep Mem |awk '{print $2}'`
echo "total_RAM_size=$total_RAM_size"
total_used_size=`free -m |grep Mem |awk '{print $3}'`
echo "total_used_size=$total_used_size"
size_all_other_processes=$(expr $total_used_size - $total_pttpd_used_size)
echo "size_all_other_processes=$size_all_other_processes"
remaining_memory=$(($total_RAM_size - $size_all_other_processes))
echo "remaining_memory=$remaining_memory"
MaxClients=$((($total_RAM_size - $size_all_other_processes) / $total_httpd_process_size_MB))
echo "MaxClients=$MaxClients"
exit