Запись в закрытый локальный TCP-сокет не сбой

Кажется, у меня проблемы с моими сокетами. Ниже вы увидите код, который висит на сервере и клиенте. Сервер открывает TCP-сокет, и клиент подключается к нему, а затем закрывает его. Спит используется для координации времени. После закрытия() на стороне клиента сервер пытается записать() на свой собственный конец TCP-соединения. Согласно странице записи (2) man, это должно дать мне SIGPIPE и EPIPE errno. Однако я этого не вижу. С точки зрения сервера, запись в локальный, закрытый сокет завершается успешно и отсутствует EPIPE. Я не вижу, как сервер должен обнаруживать, что клиент закрыл сокет.

В промежутке между клиентом, закрывающим его конец и попыткой записи сервера, вызов netstat покажет, что соединение находится в состоянии CLOSE_WAIT/FIN_WAIT2, поэтому конец сервера определенно сможет отклонить запись.

Для справки, я на Debian Squeeze, uname -r - 2.6.39-bpo.2-amd64.

Что здесь происходит?

#include <stdio.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/wait.h>
#include <sys/socket.h>
#include <sys/select.h>
#include <netinet/tcp.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#include <fcntl.h>

#include <netdb.h>

#define SERVER_ADDRESS "127.0.0.7"
#define SERVER_PORT 4777


#define myfail_if( test, msg ) do { if((test)){ fprintf(stderr, msg "\n"); exit(1); } } while (0)
#define myfail_unless( test, msg ) myfail_if( !(test), msg )

int connect_client( char *addr, int actual_port )
{
    int client_fd;

    struct addrinfo hint;
    struct addrinfo *ailist, *aip;


    memset( &hint, '\0', sizeof( struct addrinfo ) );
    hint.ai_socktype = SOCK_STREAM;

    myfail_if( getaddrinfo( addr, NULL, &hint, &ailist ) != 0, "getaddrinfo failed." );

    int connected = 0;
    for( aip = ailist; aip; aip = aip->ai_next ) {
        ((struct sockaddr_in *)aip->ai_addr)->sin_port = htons( actual_port );
        client_fd = socket( aip->ai_family, aip->ai_socktype, aip->ai_protocol );

        if( client_fd == -1) { continue; }
        if( connect( client_fd, aip->ai_addr, aip->ai_addrlen) == 0 ) {
            connected = 1;
            break;
        }
        close( client_fd );
    }

    freeaddrinfo( ailist );

    myfail_unless( connected, "Didn't connect." );
    return client_fd;
}


void client(){
    sleep(1);
    int client_fd = connect_client( SERVER_ADDRESS, SERVER_PORT );

    printf("Client closing its fd... ");
    myfail_unless( 0 == close( client_fd ), "close failed" );
    fprintf(stdout, "Client exiting.\n");
    exit(0);
}


int init_server( struct sockaddr * saddr, socklen_t saddr_len )
{
    int sock_fd;

    sock_fd = socket( saddr->sa_family, SOCK_STREAM, 0 );
    if ( sock_fd < 0 ){
        return sock_fd;
    }

    myfail_unless( bind( sock_fd, saddr, saddr_len ) == 0, "Failed to bind." );
    return sock_fd;
}

int start_server( const char * addr, int port )
{
    struct addrinfo *ailist, *aip;
    struct addrinfo hint;
    int sock_fd;

    memset( &hint, '\0', sizeof( struct addrinfo ) );
    hint.ai_socktype = SOCK_STREAM;
    myfail_if( getaddrinfo( addr, NULL, &hint, &ailist ) != 0, "getaddrinfo failed." );

    for( aip = ailist; aip; aip = aip->ai_next ){
        ((struct sockaddr_in *)aip->ai_addr)->sin_port = htons( port );
        sock_fd = init_server( aip->ai_addr, aip->ai_addrlen );
        if ( sock_fd > 0 ){
            break;
        } 
    }
    freeaddrinfo( aip );

    myfail_unless( listen( sock_fd, 2 ) == 0, "Failed to listen" );
    return sock_fd;
}


int server_accept( int server_fd )
{
    printf("Accepting\n");
    int client_fd = accept( server_fd, NULL, NULL );
    myfail_unless( client_fd > 0, "Failed to accept" );
    return client_fd;
}


void server() {
    int server_fd = start_server(SERVER_ADDRESS, SERVER_PORT);
    int client_fd = server_accept( server_fd );

    printf("Server sleeping\n");
    sleep(60);

    printf( "Errno before: %s\n", strerror( errno ) );
    printf( "Write result: %d\n", write( client_fd, "123", 3 ) );
    printf( "Errno after:  %s\n", strerror( errno ) );

    close( client_fd );
}


int main(void){
    pid_t clientpid;
    pid_t serverpid;

    clientpid = fork();

    if ( clientpid == 0 ) {
        client();
    } else {
        serverpid = fork();

        if ( serverpid == 0 ) {
            server();
        }
        else {
            int clientstatus;
            int serverstatus;

            waitpid( clientpid, &clientstatus, 0 );
            waitpid( serverpid, &serverstatus, 0 );

            printf( "Client status is %d, server status is %d\n", 
                    clientstatus, serverstatus );
        }
    }

    return 0;
}

Ответы

Ответ 1

Вот что говорит справочная страница Linux о write и EPIPE:

   EPIPE  fd is connected to a pipe or socket whose reading end is closed.
          When this happens the writing process will also receive  a  SIG-
          PIPE  signal.  (Thus, the write return value is seen only if the
          program catches, blocks or ignores this signal.)

Когда Linux использует pipe или socketpair, он может и будет проверять конец чтения пары, поскольку эти две программы продемонстрировали бы:

void test_socketpair () {
    int pair[2];
    socketpair(PF_LOCAL, SOCK_STREAM, 0, pair);
    close(pair[0]);
    if (send(pair[1], "a", 1, MSG_NOSIGNAL) < 0) perror("send");
}

void test_pipe () {
    int pair[2];
    pipe(pair);
    close(pair[0]);
    signal(SIGPIPE, SIG_IGN);
    if (write(pair[1], "a", 1) < 0) perror("send");
    signal(SIGPIPE, SIG_DFL);
}

Linux может это сделать, потому что ядро ​​имеет врожденные знания о другом конце трубы или связанной пары. Однако при использовании connect состояние сокета поддерживается стеком протоколов. Ваш тест демонстрирует это поведение, но ниже - это программа, которая делает все это в одном потоке, аналогично двум вышеуказанным тестам:

int a_sock = socket(PF_INET, SOCK_STREAM, 0);
const int one = 1;
setsockopt(a_sock, SOL_SOCKET, SO_REUSEADDR, &one, sizeof(one));
struct sockaddr_in a_sin = {0};
a_sin.sin_port = htons(4321);
a_sin.sin_family = AF_INET;
a_sin.sin_addr.s_addr = htonl(INADDR_LOOPBACK);
bind(a_sock, (struct sockaddr *)&a_sin, sizeof(a_sin));
listen(a_sock, 1);
int c_sock = socket(PF_INET, SOCK_STREAM, 0);
fcntl(c_sock, F_SETFL, fcntl(c_sock, F_GETFL, 0)|O_NONBLOCK);
connect(c_sock, (struct sockaddr *)&a_sin, sizeof(a_sin));
fcntl(c_sock, F_SETFL, fcntl(c_sock, F_GETFL, 0)&~O_NONBLOCK);
struct sockaddr_in s_sin = {0};
socklen_t s_sinlen = sizeof(s_sin);
int s_sock = accept(a_sock, (struct sockaddr *)&s_sin, &s_sinlen);
struct pollfd c_pfd = { c_sock, POLLOUT, 0 };
if (poll(&c_pfd, 1, -1) != 1) perror("poll");
int erropt = -1;
socklen_t errlen = sizeof(erropt);
getsockopt(c_sock, SOL_SOCKET, SO_ERROR, &erropt, &errlen);
if (erropt != 0) { errno = erropt; perror("connect"); }
puts("P|Recv-Q|Send-Q|Local Address|Foreign Address|State|");
char cmd[256];
snprintf(cmd, sizeof(cmd), "netstat -tn | grep ':%hu ' | sed 's/  */|/g'",
         ntohs(s_sin.sin_port));
puts("before close on client"); system(cmd);
close(c_sock);
puts("after close on client"); system(cmd);
if (send(s_sock, "a", 1, MSG_NOSIGNAL) < 0) perror("send");
puts("after send on server"); system(cmd);
puts("end of test");
sleep(5);

Если вы запустите указанную выше программу, вы получите аналогичный результат:

P|Recv-Q|Send-Q|Local Address|Foreign Address|State|
before close on client
tcp|0|0|127.0.0.1:35790|127.0.0.1:4321|ESTABLISHED|
tcp|0|0|127.0.0.1:4321|127.0.0.1:35790|ESTABLISHED|
after close on client
tcp|0|0|127.0.0.1:35790|127.0.0.1:4321|FIN_WAIT2|
tcp|1|0|127.0.0.1:4321|127.0.0.1:35790|CLOSE_WAIT|
after send on server
end of test

Это показывает, что для перехода сокетов к состояниям CLOSED потребовалось один write. Чтобы узнать, почему это произошло, может оказаться полезным дамп транзакции TCP:

16:45:28 127.0.0.1 > 127.0.0.1
 .809578 IP .35790 > .4321: S 1062313174:1062313174(0) win 32792 <mss 16396,sackOK,timestamp 3915671437 0,nop,wscale 7>
 .809715 IP .4321 > .35790: S 1068622806:1068622806(0) ack 1062313175 win 32768 <mss 16396,sackOK,timestamp 3915671437 3915671437,nop,wscale 7>
 .809583 IP .35790 > .4321: . ack 1 win 257 <nop,nop,timestamp 3915671437 3915671437>
 .840364 IP .35790 > .4321: F 1:1(0) ack 1 win 257 <nop,nop,timestamp 3915671468 3915671437>
 .841170 IP .4321 > .35790: . ack 2 win 256 <nop,nop,timestamp 3915671469 3915671468>
 .865792 IP .4321 > .35790: P 1:2(1) ack 2 win 256 <nop,nop,timestamp 3915671493 3915671468>
 .865809 IP .35790 > .4321: R 1062313176:1062313176(0) win 0

Первые три строки представляют собой трехстороннее рукопожатие. Четвертая строка - это пакет FIN, который клиент отправляет на сервер, а пятая строка - ACK с сервера, подтверждающая квитанцию. Шестая строка - это сервер, который пытается отправить 1 байт данных клиенту с установленным флагом PUSH. Конечной линией является клиентский пакет RESET, который заставляет состояние TCP для соединения быть освобожденным, и именно поэтому третья команда netstat не привела к выходу в вышеприведенном тесте.

Таким образом, сервер не знает, будет ли клиент подключаться reset до тех пор, пока он не попытается отправить на него некоторые данные. Причина для reset заключается в том, что клиент назвал close, а не что-то еще.

Сервер не может точно знать, какой системный вызов клиент фактически выдал, он может следовать только за состоянием TCP. Например, мы могли бы заменить вызов close вызовом shutdown.

//close(c_sock);
shutdown(c_sock, SHUT_WR);

Разница между shutdown и close заключается в том, что shutdown управляет только состоянием соединения, а close также управляет состоянием дескриптора файла, который представляет сокет. A shutdown не будет close сокета.

Выход будет отличаться при изменении shutdown:

P|Recv-Q|Send-Q|Local Address|Foreign Address|State|
before close on client
tcp|0|0|127.0.0.1:4321|127.0.0.1:56355|ESTABLISHED|
tcp|0|0|127.0.0.1:56355|127.0.0.1:4321|ESTABLISHED|
after close on client
tcp|1|0|127.0.0.1:4321|127.0.0.1:56355|CLOSE_WAIT|
tcp|0|0|127.0.0.1:56355|127.0.0.1:4321|FIN_WAIT2|
after send on server
tcp|1|0|127.0.0.1:4321|127.0.0.1:56355|CLOSE_WAIT|
tcp|1|0|127.0.0.1:56355|127.0.0.1:4321|FIN_WAIT2|
end of test

Дамп TCP также покажет что-то другое:

17:09:18 127.0.0.1 > 127.0.0.1
 .722520 IP .56355 > .4321: S 2558095134:2558095134(0) win 32792 <mss 16396,sackOK,timestamp 3917101399 0,nop,wscale 7>
 .722594 IP .4321 > .56355: S 2563862019:2563862019(0) ack 2558095135 win 32768 <mss 16396,sackOK,timestamp 3917101399 3917101399,nop,wscale 7>
 .722615 IP .56355 > .4321: . ack 1 win 257 <nop,nop,timestamp 3917101399 3917101399>
 .748838 IP .56355 > .4321: F 1:1(0) ack 1 win 257 <nop,nop,timestamp 3917101425 3917101399>
 .748956 IP .4321 > .56355: . ack 2 win 256 <nop,nop,timestamp 3917101426 3917101425>
 .764894 IP .4321 > .56355: P 1:2(1) ack 2 win 256 <nop,nop,timestamp 3917101442 3917101425>
 .764903 IP .56355 > .4321: . ack 2 win 257 <nop,nop,timestamp 3917101442 3917101442>
17:09:23
 .786921 IP .56355 > .4321: R 2:2(0) ack 2 win 257 <nop,nop,timestamp 3917106464 3917101442>

Обратите внимание, что reset в конце наступает через 5 секунд после последнего пакета ACK. Этот reset вызван отключением программы без должного закрытия сокетов. Это пакет ACK от клиента к серверу до reset, который отличается от предыдущего. Это указывает на то, что клиент не использовал close. В TCP индикация FIN действительно является признаком того, что больше не нужно отправлять данные. Но поскольку TCP-соединение двунаправлено, сервер, который получает FIN, предполагает, что клиент все еще может получать данные. В приведенном выше случае клиент фактически принимает данные.

Если клиент использует close или SHUT_WR для выпуска FIN, в любом случае вы можете обнаружить прибытие FIN путем опроса на сокете сервера для читаемого события. Если после вызова read результат равен 0, то вы знаете, что пришло FIN, и вы можете делать то, что хотите, с этой информацией.

struct pollfd s_pfd = { s_sock, POLLIN|POLLOUT, 0 };
if (poll(&s_pfd, 1, -1) != 1) perror("poll");
if (s_pfd.revents|POLLIN) {
    char c;
    int r;
    while ((r = recv(s_sock, &c, 1, MSG_DONTWAIT)) == 1) {}
    if (r == 0) { /*...FIN received...*/ }
    else if (errno == EAGAIN) { /*...no more data to read for now...*/ }
    else { /*...some other error...*/ perror("recv"); }
}

Теперь тривиально верно, что если сервер выдает SHUT_WR с shutdown, прежде чем он попытается выполнить запись, он фактически получит ошибку EPIPE.

shutdown(s_sock, SHUT_WR);
if (send(s_sock, "a", 1, MSG_NOSIGNAL) < 0) perror("send");

Если вместо этого вы хотите, чтобы клиент указывал на сервер немедленный reset, вы можете заставить это произойти на большинстве стеков TCP, включив опцию linger с задержкой времени 0 до вызова close.

struct linger lo = { 1, 0 };
setsockopt(c_sock, SOL_SOCKET, SO_LINGER, &lo, sizeof(lo));
close(c_sock);

При вышеуказанном изменении выход программы будет выглядеть следующим образом:

P|Recv-Q|Send-Q|Local Address|Foreign Address|State|
before close on client
tcp|0|0|127.0.0.1:35043|127.0.0.1:4321|ESTABLISHED|
tcp|0|0|127.0.0.1:4321|127.0.0.1:35043|ESTABLISHED|
after close on client
send: Connection reset by peer
after send on server
end of test

В этом случае send получает немедленную ошибку, но это не EPIPE, это ECONNRESET. Дамп TCP также отражает это:

17:44:21 127.0.0.1 > 127.0.0.1
 .662163 IP .35043 > .4321: S 498617888:498617888(0) win 32792 <mss 16396,sackOK,timestamp 3919204411 0,nop,wscale 7>
 .662176 IP .4321 > .35043: S 497680435:497680435(0) ack 498617889 win 32768 <mss 16396,sackOK,timestamp 3919204411 3919204411,nop,wscale 7>
 .662184 IP .35043 > .4321: . ack 1 win 257 <nop,nop,timestamp 3919204411 3919204411>
 .691207 IP .35043 > .4321: R 1:1(0) ack 1 win 257 <nop,nop,timestamp 3919204440 3919204411>

Пакет RESET появляется сразу после завершения трехстороннего установления связи. Однако использование этой опции имеет свои опасности. Если на другом конце есть непрочитанные данные в буфере сокета, когда приходит RESET, эти данные будут очищены, что приведет к потере данных. Принуждение RESET для отправки обычно используется в протоколах стиля запроса/ответа. Отправитель запроса может знать, что нет потерянных данных, когда он получает весь ответ на свой запрос. Затем безопасно для отправителя запроса принудительно отправить RESET в соединение.

Ответ 2

После вызова write() одного (первого) времени (как указано в вашем примере) после клиента close() ed сокета, вы получите ожидаемые EPIPE и SIGPIPE при любом последующем вызове написать().

Просто попробуйте добавить еще одну запись(), чтобы спровоцировать ошибку:

...
printf( "Errno before: %s\n", strerror( errno ) );
printf( "Write result: %d\n", write( client_fd, "123", 3 ) );
printf( "Errno after:  %s\n", strerror( errno ) );

printf( "Errno before: %s\n", strerror( errno ) );
printf( "Write result: %d\n", write( client_fd, "A", 1 ) );
printf( "Errno after:  %s\n", strerror( errno ) );
...

Выход будет:

Accepting
Server sleeping
Client closing its fd... Client exiting.
Errno before: Success
Write result: 3
Errno after:  Success
Errno before: Success
Client status is 0, server status is 13

Выход из последних двух printf() отсутствует, поскольку процесс завершается из-за SIGPIPE, вызываемого вторым вызовом write(). Чтобы избежать завершения процесса, вам может потребоваться игнорировать процесс SIGPIPE.

Ответ 3

У вас есть два сокета - один для клиента и другой для сервера. Теперь ваш клиент делает активное закрытие. Это означает, что TCP-соединение клиент был завершен завершением (сегмент tcp FIN был отправлен из клиент отправляет).

На этом этапе вы видите клиентский сокет в состоянии FIN_WAIT1. Теперь каково состояние серверного сокета? Он находится в состоянии CLOSE_WAIT. Таким образом, серверный сокет не закрыт.

FIN с сервера еще не отправлен. (Почему - поскольку приложение не закрыло сокет). На этом этапе вы пишете серверный сокет, чтобы вы не получали ошибку.

Теперь, если вы хотите увидеть ошибку, просто напишите close (client_fd) перед записью через сокет.

close(client_fd);
printf( "Write result: %d\n", write( client_fd, "123", 3 ) );

Здесь сокет сервера больше не находится в состоянии CLOSE_WAIT, поэтому вы можете увидеть возвращаемое значение write - -ve, чтобы указать ошибку. Надеюсь, это прояснится.

Ответ 4

Я подозреваю, что то, что происходит на серверном сокете, остается в силе, поэтому ваш вызов для записи делает правильную попытку записать в ваш файловый дескриптор, даже если ваш сеанс TCP находится в закрытом состоянии. Если я полностью ошибаюсь, дайте мне знать.

Ответ 5

Я предполагаю, что вы работаете в стек TCP, обнаруживая неудачную отправку и пытающуюся повторную передачу. Выполняются ли последующие вызовы write() с ошибкой? Другими словами, попробуйте написать пять раз в закрытом сокете и посмотреть, получится ли в итоге SIGPIPE. И когда вы говорите, что запись "успешно", вы получаете результат возврата 3?