Как измерить конкуренцию мьютексов?

У меня есть многопоточный код, использующий PThreads на Linux, который, как я подозреваю, страдает от чрезмерной блокировки. Какие инструменты доступны мне для измерения?

Solaris имеет DTrace и plockstat. Есть что-то подобное в Linux? (Я знаю о недавнем порту DTrace для Linux, но пока он не готов к прайм-тайм.)

Ответы

Ответ 2

В последних версиях valgrind есть инструменты блокировки и блокировки проверки:

http://valgrind.org/docs/manual/drd-manual.html

Это здорово, если вы можете создать проблему в Valgrind (она влияет на скорость выполнения кода) и иметь достаточно памяти для запуска Valgrind.

Для других целей рекомендуется использовать более жесткий ядро ​​Linux Trace Toolkit NG:

http://ltt.polymtl.ca/

Cheers, Гилад

Ответ 3

Последняя версия systemtap поставляется с большим количеством пример скриптов. В частности, похоже, что сервер станет хорошей отправной точкой для того, чтобы помочь вам выполнить свою задачу:

#! /usr/bin/env stap

global thread_thislock 
global thread_blocktime 
global FUTEX_WAIT = 0

global lock_waits
global process_names

probe syscall.futex {  
  if (op != FUTEX_WAIT) next
  t = tid ()
  process_names[pid()] = execname()
  thread_thislock[t] = $uaddr
  thread_blocktime[t] = gettimeofday_us()
}

probe syscall.futex.return {  
  t = tid()
  ts = thread_blocktime[t]
  if (ts) {
    elapsed = gettimeofday_us() - ts
    lock_waits[pid(), thread_thislock[t]] <<< elapsed
    delete thread_blocktime[t]
    delete thread_thislock[t]
  }
}

probe end {
  foreach ([pid+, lock] in lock_waits) 
    printf ("%s[%d] lock %p contended %d times, %d avg us\n",
            process_names[pid], pid, lock, @count(lock_waits[pid,lock]),
            @avg(lock_waits[pid,lock]))
}

Я пытался диагностировать что-то подобное с предыдущим процессом MySQL и наблюдал вывод, похожий на следующий, используя приведенный выше script:

mysqld[3991] lock 0x000000000a1589e0 contended 45 times, 3 avg us
mysqld[3991] lock 0x000000004ad289d0 contended 1 times, 3 avg us

В то время как вышеприведенный script собирает информацию обо всех процессах, запущенных в системе, было бы довольно легко изменить его, чтобы работать только с определенным процессом или исполняемым файлом. Например, мы могли бы изменить script, чтобы принять аргумент идентификатора процесса и изменить зонд при вводе вызова futex, чтобы он выглядел следующим образом:

probe begin {
  process_id = strtol(@1, 10)
}

probe syscall.futex {
  if (pid() == process_id && op == FUTEX_WAIT) {
    t = tid ()
    process_names[process_id] = execname()
    thread_thislock[t] = $uaddr
    thread_blocktime[t] = gettimeofday_us()
  }
}

Очевидно, что вы можете изменить script множество способов в соответствии с тем, что вы хотите сделать. Я бы посоветовал вам взглянуть на различные примеры скриптов для SystemTap. Вероятно, это лучшая отправная точка.

Ответ 4

После неудачной работы с SystemTap я решил попробовать с порт DTrace Linux с некоторым успехом, несмотря на отсутствие провайдер plockstat. Следующий DTrace script не совсем заменен plockstat, но мне удалось показать некоторые данные, которые я получил после.

#!/usr/sbin/dtrace -s 

/* Usage: ./futex.d '"execname"' */

long total;

END
{
    printf("total time spent on futex(): %ldms\n", total);
}

/* arg1 == 0 means FUTEX_WAIT */
syscall::futex:entry
/execname == $1 && arg1 == 0/
{
    self->start = timestamp;
}

syscall::futex:return
/self->start/
{
    this->elapsed = (timestamp - self->start) / 1000000;
    @[execname] = quantize(this->elapsed);
    total += this->elapsed;
    self->start = 0;
}

Здесь приведен пример использования DTrace script для измерения времени, проведенного в FUTEX_WAIT, для простой тестовой программы из этой статьи DTrace.

$ ./futex.d '"mutex-test"'
dtrace: script './futex.d' matched 3 probes
^C
CPU     ID                    FUNCTION:NAME
  1      2                             :END total time spent on futex(): 11200ms


  mutex-test                                        
           value  ------------- Distribution ------------- count    
             128 |                                         0        
             256 |@@@@@@@@@@@@@@@@@@@@                     1        
             512 |                                         0        
            1024 |                                         0        
            2048 |                                         0        
            4096 |                                         0        
            8192 |@@@@@@@@@@@@@@@@@@@@                     1        
           16384 |                                         0

Определенно не очень, но, по крайней мере, это отправная точка.