Я пытаюсь создать sitecraper. Я сделал это на своей локальной машине, и там работает очень хорошо. Когда я выполняю то же самое на своем сервере, он показывает 403 запрещенную ошибку. Я использую PHP простой HTML DOM Parser. Ошибка, которую я получаю на сервере, такова:
Предупреждение: file_get_contents (http://example.com/viewProperty.html?id=7715888) [function.file-get-contents]: не удалось открыть поток: HTTP-запрос не удался! HTTP/1.1 403 Запрещено в /home/scraping/simple _html_dom.php on строка 40
Строка запуска кода:
$url="http://www.example.com/viewProperty.html?id=".$id;
$html=file_get_html($url);
Я проверил php.ini на сервере и allow_url_fopen включен. Возможное решение может быть связано с завихрением, но мне нужно знать, где я ошибаюсь.
Это не проблема с вашим script, а с ресурсом, который вы запрашиваете. Веб-сервер возвращает "запрещенный" код состояния.
Возможно, он блокирует PHP-скрипты для предотвращения выскабливания или вашего IP-адреса, если вы сделали слишком много запросов.
Вероятно, вам следует поговорить с администратором удаленного сервера.
Я знаю, что это довольно старая тема, но я поделился некоторыми идеями.
Скорее всего, если вы не получаете какой-либо контент при доступе к веб-странице, вероятно, он не хочет, чтобы вы могли получить контент. Так как же определить, что скрипт пытается получить доступ к веб-странице, а не человек? Обычно это заголовок User-Agent в HTTP-запросе, отправляемом на сервер.
Таким образом, чтобы заставить веб-сайт думать, что сценарий доступа к веб-странице также является человеком, вы должны изменить заголовок User-Agent во время запроса. Большинство веб-серверов, скорее всего, разрешат ваш запрос, если вы установите для заголовка User-Agent значение, которое используется некоторым распространенным веб-браузером.
Список общих пользовательских агентов, используемых браузерами, перечислены ниже:
Chrome: 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
Firefox: 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:10.0) Gecko/20100101 Firefox/10.0'
так далее...
$context = stream_context_create(
array(
"http" => array(
"header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"
)
)
);
echo file_get_contents("www.google.com", false, $context);
Этот кусок кода подделывает пользовательский агент и отправляет запрос на https://google.com.
Рекомендации:
Ура!
Вы можете изменить его таким образом в классе парсеров из строки 35 и далее.
function curl_get_contents($url)
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$data = curl_exec($ch);
curl_close($ch);
return $data;
}
function file_get_html()
{
$dom = new simple_html_dom;
$args = func_get_args();
$dom->load(call_user_func_array('curl_get_contents', $args), true);
return $dom;
}
Вы пробовали другой сайт?
Кажется, что на удаленном сервере есть некоторый тип блокировки. Это может быть пользовательский агент, если в этом случае вы можете попробовать использовать завиток для имитации пользовательского агента веб-браузера следующим образом:
$url="http://www.example.com/viewProperty.html?id=".$id;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
$html = curl_exec($ch);
curl_close($ch);
Запишите это в simple_html_dom.php для меня это сработало
function curl_get_contents($url)
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
$html = curl_exec($ch);
$data = curl_exec($ch);
curl_close($ch);
return $data;
}
function file_get_html($url, $use_include_path = false, $context=null, $offset = -1, $maxLen=-1, $lowercase = true, $forceTagsClosed=true, $target_charset = DEFAULT_TARGET_CHARSET, $stripRN=true, $defaultBRText=DEFAULT_BR_TEXT, $defaultSpanText=DEFAULT_SPAN_TEXT)
{
$dom = new simple_html_dom;
$args = func_get_args();
$dom->load(call_user_func_array('curl_get_contents', $args), true);
return $dom;
//$dom = new simple_html_dom(null, $lowercase, $forceTagsClosed, $target_charset, $stripRN, $defaultBRText, $defaultSpanText);
}
При работе с серверными вызовами это в основном вызов скрипта PHP. Из-за этого многие удаленные серверы блокируют вызовы с помощью php-скриптов, чтобы избежать копирования сайтов. Это можно легко преодолеть, сделав ваш скрипт таким, как будто он из основного. Вы можете использовать следующий код.
$context = stream_context_create(
array(
"http" => array(
"header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"
)
)
);
echo file_get_contents("https://www.google.co.in", false, $context);
Я понимаю, что это старый вопрос, но...
Просто настройте мою локальную песочницу на linux с php7 и пробежав по ней. Используя сценарии запуска терминала, php вызывает php.ini для CLI. Я обнаружил, что опция user_agent была закомментирована. Я раскоментировал его и добавил пользовательский агент Mozilla, теперь он работает.
Проверяли ли вы свои права на файл? Я установил 777 в свой файл (в localhost, очевидно), и я исправил проблему.
У меня был тот же pb. Я просто активировал Youtube API от разработчиков Google консоли... и он работал (не более запрещен: -)
Я не знаю, обесценен ли предмет, я думал просто поделиться идеей С наилучшими пожеланиями
В моем случае сервер отклонял протокол HTTP 1.0 через конфигурацию .htaccess. Кажется, file_get_contents использует версию HTTP 1.0.
Используйте код ниже: если вы используете → file_get_contents
$context = stream_context_create(
array(
"http" => array(
"header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"
)
));
========= если вы используете curl,
curl_setopt($curl, CURLOPT_USERAGENT,'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36');
Вам также может потребоваться некоторая дополнительная информация в контексте, чтобы веб-сайт верил, что запрос исходит от человека. Что было сделано, так это зайти на веб-сайт из браузера и скопировать любую дополнительную информацию, отправленную в запросе http.
$context = stream_context_create(
array(
"http" => array(
'method'=>"GET",
"header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64)
AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/50.0.2661.102 Safari/537.36\r\n" .
"accept: text/html,application/xhtml+xml,application/xml;q=0.9,
image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3\r\n" .
"accept-language: es-ES,es;q=0.9,en;q=0.8,it;q=0.7\r\n" .
"accept-encoding: gzip, deflate, br\r\n"
)
)
);