Как использовать завиток, чтобы получить запрос GET точно так же, как с помощью Chrome?

У меня есть web api http://something.com/api, и я хочу использовать GET для получения тела ответа.

Это моя команда:

curl "http://something.com/api"

Конечно, он терпит неудачу и дает сообщение об ошибке.

Когда я использую Chrome и вводя вышеуказанный URL-адрес, все исправляются. Однако я делаю то же самое с Firefox, url дает мне то же сообщение об ошибке. Я пытаюсь повторить действие с расширением DHC Chrome, запрос снова дает правильный ответ. После некоторого поиска я считаю, что параметр curl --user-agent имеет значение. Каков правильный способ установки пользовательского агента в Chrome? Или это не главное, проблема исходит из других областей? Большое вам спасибо.

Ответы

Ответ 1

Если вам нужно установить строку заголовка пользователя в запросе curl, вы можете использовать параметр -H, чтобы установить агент пользователя, например:

curl -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.89 Safari/537.36" http://stackoverflow.com/questions/28760694/how-to-use-curl-to-get-a-get-request-exactly-same-as-using-chrome

Использование прокси-инструмента, такого как Charles Proxy, действительно помогает сделать короткую работу над чем-то вроде того, что вы просите. Вот что я делаю, используя эту страницу SO в качестве примера (по состоянию на июль 2015 года с использованием версии 3.10 Charles):

  • Запустите программу Charles Proxy
  • Сделать веб-запрос с помощью браузера
  • Найти желаемый запрос в Charles Proxy
  • Щелкните правой кнопкой мыши по запросу в Charles Proxy
  • Выберите "Копировать запрос cURL"

Скопировать пример запроса cURL в Charles 3.10.2

Теперь у вас есть запрос cURL, который вы можете запустить в терминале, который будет отражать запрос, сделанный вашим браузером. Вот как мой запрос на эту страницу выглядел (с удалением заголовка файла cookie):

curl -H "Host: stackoverflow.com" -H "Cache-Control: max-age=0" -H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8" -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.89 Safari/537.36" -H "HTTPS: 1" -H "DNT: 1" -H "Referer: https://www.google.com/" -H "Accept-Language: en-US,en;q=0.8,en-GB;q=0.6,es;q=0.4" -H "If-Modified-Since: Thu, 23 Jul 2015 20:31:28 GMT" --compressed http://stackoverflow.com/questions/28760694/how-to-use-curl-to-get-a-get-request-exactly-same-as-using-chrome

Ответ 2

Проверьте заголовки HTTP, которые хром отправляет с запросом (используя расширение браузера или прокси), затем попробуйте отправить те же заголовки с помощью CURL. Возможно, по одному за раз, пока вы не выясните, какой заголовок заставляет запрос работать.

curl -A [user-agent] -H [заголовки] " http://something.com/api"