"tlsv1 предупреждает внутреннюю ошибку" во время рукопожатия

У меня есть PHP script, который проверяет наличие URL-адресов (в основном, script должен возвращать true для заданного URL-адреса, когда URL-адрес может быть открыт в браузере и наоборот). Я наткнулся на URL: https://thepiratebay.gd/. Этот URL-адрес можно было бы правильно открыть в браузере, но fsockopen() просто терпит неудачу с ошибками квитирования SSL. Вариантов отладки fsockopen() в PHP не так много, но, копаясь в нем, я обнаружил, что я также не могу подключиться к https://thepiratebay.gd/ с помощью консоли Клиент openssl:

Этот веб-сайт, похоже, отлично работает с помощью веб-браузера или завитка, однако я не смог найти способ подключения к нему через openssl. По-видимому, сервер использует TLS 1.2 с шифрованием ECDHE-ECDSA-AES128-GCM-SHA256, но даже когда я заставляю их для openssl, он все равно терпит неудачу:

Я пробовал различные версии openssl: 0.9.8y, 1.0.1g и самые последние 0.9.8zf и 1.0.2a. Я также пытался запустить это, по крайней мере, на 5 серверах (CentOS, Debian, OSX) без везения.

Кажется, что все остальные веб-сайты обрабатываются отлично, вот пример успешного вывода рукопожатия:

Трудно поверить, что все эти версии openssl имеют одинаковую ошибку, поэтому я думаю, что я делаю что-то неправильно.

Может ли кто-нибудь советовать, как подключиться к этому конкретному сайту с помощью openssl?

Ответы

Ответ 1

Эти два являются плохой комбинацией:

-cipher ECDHE-ECDSA-AES128-GCM-SHA256

error:/SourceCache/OpenSSL098/OpenSSL098-50/src/ssl/s23_clnt.c

OpenSSL 0.9.8 не имеет полной поддержки EC. И он не поддерживает TLS 1.1 или 1.2. Чтобы получить комплекты шифрования AEAD, вам необходимо использовать TLS 1.2. Это означает, что вам нужно OpenSSL 1.0.0 или выше (IIRC).

OpenSSL 1.0.1 и 1.0.2 имеют их, поэтому, вероятно, лучше использовать эти версии.

 openssl s_client -connect thepiratebay.gd:443 ...

Команда, которую вы ищете, это: openssl s_client -connect thepiratebay.gd:443 -tls1_2 -servername thepiratebay.gd -CAfile XXX. -servername завершает SNI.

Когда я попал на сайт, сервер был сертифицирован AddTrust External CA Root. Когда вы попали на сайт, он был сертифицирован DigiCert High Assurance EV Root CA. И когда вы снова попали на сайт, он был сертифицирован сертификационным центром COMODO ECC.

Различные ЦС и конфигурации говорят с распределенным сайтом за балансировщиком нагрузки, причем каждый участвующий веб-сервер имеет несколько другую конфигурацию.

В дополнение к нескольким веб-серверам и конфигурациям некоторые из самих веб-серверов неправильно сконфигурированы. Они неправильно сконфигурированы, потому что они не отправляют цепочку, необходимую для создания пути для проверки.

Цепочка должна включать (1) сертификат сервера; (2) Подчиненные ЦС или промежуточные звенья, которые образуют цепочку к "корню". Для (2) может быть один или несколько промежуточных продуктов.

Цепочка не должна включать корень. У вас должен быть корень, и ему нужно доверять.

Этот веб-сайт, похоже, отлично работает с помощью веб-браузера или завитка, однако мне не удалось найти способ подключения к нему через openssl...

Это связано с тем, что браузеры переносят список сотен корневых ЦС и подчиненных ЦС из-за неправильных конфигураций веб-сервера:) В список входят AddTrust External CA Root, DigiCert High Assurance EV Root CA и корневой центр сертификации COMODO ECC.

Может ли кто-нибудь советовать, как подключиться к этому конкретному сайту с помощью openssl?

ОК, для команды OpenSSL вы должны использовать -CAfile. Обычно вы просто используете что-то вроде openssl s_client -connect ... -CAfile DigiCertHighAssuranceEVRootCA.crt (для сервера, сертифицированного с помощью DigiCert High Assurance EV Root CA). Но в этом случае это не сработает.

Вам необходимо создать один файл с необходимыми корневыми и подчиненными центрами сертификации. Файл должен быть конкатенацией корневых ЦС и подчиненных ЦС в формате PEM, необходимых для создания пути для проверки сертификата сервера. Похоже, что для этого потребуется не менее 3 или 4 сертификатов.

Или вы можете отказаться от создания собственного файла и использовать что-то вроде cacert.pem. Но есть некоторый риск использования CA Zoo (мой ласковый термин для них). Для некоторых рисков см. Является ли cacert.pem уникальным для моего компьютера?.

Программно, вы бы использовали SSL_CTX_load_verify_locations в OpenSSL. Конкатенированный файл PEM передается, хотя CAfile.

Я не уверен, что вы будете использовать в PHP.

Связано, cacert.pem имеет 155 корней и подчиненных. Большинство из них не требуется для сертификации сайта thepiratebay.gd:

$ cat cacert.pem | grep BEGIN | wc -l
     155

Следовательно, причина, по которой вы хотите ограничить свой CAfile только теми, которые необходимы для сертификации сайта.

(комментарий) Не уверен, что это правильный вопрос, но теперь я задаюсь вопросом, есть ли способ пропустить некоторые из этих проверок программным путем, чтобы уменьшить количество ложных негативов...

Я бы, вероятно, не отказался от чеков. Теперь, когда вы понимаете, что происходит, должно быть проще работать с системой, а не отказываться от нее.

Повторить:

Используйте только необходимые корневые и подчиненные ЦС
- Вы создаете его, конкатенация сертификатов PEM.
- Создать файл piratebay-certs.pem
- Добавить необходимые центры сертификации
Используйте CA Zoo с предопределенными доверенными корневыми и подчиненными центрами сертификации
- Вы загрузили его
- cacert.pem

Третий вариант - заставить сайт исправить свои настройки веб-сервера. Но если этого не произошло, то, вероятно, этого не произойдет. (И это может быть дизайнерское решение - сайт может использовать несколько центров сертификации, чтобы гарантировать, что ни один CA не сможет выполнить DoS-сайт, но это не касается неполной цепочки).

И более общее наблюдение:

У меня есть PHP script, который проверяет наличие URL-адресов (в основном, script должен возвращать true для данного URL-адреса, когда URL-адрес может быть открыт в браузере и наоборот

Отклоняясь от piratebay.gd, в частности, для проверки случайных URL-адресов, вам, вероятно, придется использовать cacert.pem. Это потому, что случайная выборка из 1 миллиона сайтов, вероятно, будет использовать их все.

Если piratebay.gd все еще не удается, узнайте, что отсутствует в cacert.pem, а затем:

cat cacert.pem > my-expanded-cacert.pem
cat missing-cert.pem >> my-expanded-cacert.pem

Ответ 2

У меня было такое же сообщение об ошибке по другой причине: многие серверы используют SNI, и это может привести к этой ошибке.

В моем случае (клиент С++, сделанный с boost_asio + openssl), я исправил его, используя следующий код:

 char port[] =  "https";
 string host =  "www.server.com"
 boost::asio::ip::tcp::resolver::query query(host, port);
 ...
 boost::asio::ssl::context ctx(boost::asio::ssl::context::tlsv12);
 ...
 ...
 //the following line fix the issue
 SSL_set_tlsext_host_name(socket_.native_handle(), host_.c_str());

см. также этот ответ SO.