Ответ 1
HTTP Referer поле настраивается HTTP-клиентом в заголовках запроса, не в заголовках ответов, так как этот заголовок указывает сервер, на котором клиент пришел с текущей страницы.
Было бы довольно странно получать в ответ заголовок http Referer.
Но когда речь идет о scrapy, есть ссылка на объект Request, на котором был создан Response в ответном поле Request, поэтому следующий результат вызова:
response.request.headers.get('Referer', None)
может содержать заголовок Referer, если он был задан при выполнении запроса.