Запросы PHP с несколькими скручиваниями

В настоящее время я часто использую Curl для PHP. Требуется много времени, чтобы получить результаты около 100 страниц каждый раз. Для каждого запроса я использую такой код

$ch = curl_init();

// get source

curl_close($ch);

Какие у меня есть варианты, чтобы ускорить процесс?

Как мне использовать multi_init() т.д.?

Ответы

Ответ 1

  • Повторное использование одного и того же обработчика cURL ($ ch) без запуска curl_close. Это немного ускорит его.
  • Используйте curl_multi_init для параллельной работы процессов. Это может иметь огромный эффект.

Ответ 2

возьмите curl_multi - это намного лучше. Сохраните рукопожатия - они не нужны каждый раз!

Ответ 3

или возьмите pcntl_fork, fork несколько новых потоков для выполнения curl_exec. Но это не так хорошо, как curl_multi.

Ответ 4

когда я использую код, указанный в " http://php.net/curl_multi_init", ответ двух запросов противоречит. Но код, написанный ниже ссылкой, возвращает каждый ответ отдельно (в формате массива) fooobar.com/info/255617/...