Как повысить производительность кода с помощью DateTime.ToString?
В моем приложении для декодирования бинарных файлов (.NET 2.0) я обнаружил, что строка:
logEntryTime.ToString("dd.MM.yy HH:mm:ss:fff")
занимает 33% от общего времени обработки. Кто-нибудь есть идеи о том, как сделать это быстрее?
EDIT: это приложение используется для обработки некоторых двоичных журналов, и в настоящее время требуется 15 часов. Так что 1/3 из этого будет 5 часов.
EDIT: я использую NProf для профилирования. Приложение обрабатывает около 17 Гбайт двоичных журналов.
Ответы
Ответ 1
Несчастливо, что .NET не имеет своего рода "форматирующий" тип, который может анализировать шаблон и запомнить его.
Если вы всегда используете один и тот же формат, вы можете вручную обработать форматировщик, чтобы сделать именно это. Что-то вроде:
public static string FormatDateTime(DateTime dt)
{
char[] chars = new char[21];
Write2Chars(chars, 0, dt.Day);
chars[2] = '.';
Write2Chars(chars, 3, dt.Month);
chars[5] = '.';
Write2Chars(chars, 6, dt.Year % 100);
chars[8] = ' ';
Write2Chars(chars, 9, dt.Hour);
chars[11] = ' ';
Write2Chars(chars, 12, dt.Minute);
chars[14] = ' ';
Write2Chars(chars, 15, dt.Second);
chars[17] = ' ';
Write2Chars(chars, 18, dt.Millisecond / 10);
chars[20] = Digit(dt.Millisecond % 10);
return new string(chars);
}
private static void Write2Chars(char[] chars, int offset, int value)
{
chars[offset] = Digit(value / 10);
chars[offset+1] = Digit(value % 10);
}
private static char Digit(int value)
{
return (char) (value + '0');
}
Это довольно уродливо, но, наверное, гораздо эффективнее... сравните его, конечно!
Ответ 2
Вы уверены, что это занимает 33% времени? Как вы это оценили? Это звучит более чем немного подозрительно для меня...
Это ускоряет работу немного:
Basic: 2342ms
Custom: 1319ms
Или, если мы вырезаем IO (Stream.Null
):
Basic: 2275ms
Custom: 839ms
using System.Diagnostics;
using System;
using System.IO;
static class Program
{
static void Main()
{
DateTime when = DateTime.Now;
const int LOOP = 1000000;
Stopwatch basic = Stopwatch.StartNew();
using (TextWriter tw = new StreamWriter("basic.txt"))
{
for (int i = 0; i < LOOP; i++)
{
tw.Write(when.ToString("dd.MM.yy HH:mm:ss:fff"));
}
}
basic.Stop();
Console.WriteLine("Basic: " + basic.ElapsedMilliseconds + "ms");
char[] buffer = new char[100];
Stopwatch custom = Stopwatch.StartNew();
using (TextWriter tw = new StreamWriter("custom.txt"))
{
for (int i = 0; i < LOOP; i++)
{
WriteDateTime(tw, when, buffer);
}
}
custom.Stop();
Console.WriteLine("Custom: " + custom.ElapsedMilliseconds + "ms");
}
static void WriteDateTime(TextWriter output, DateTime when, char[] buffer)
{
buffer[2] = buffer[5] = '.';
buffer[8] = ' ';
buffer[11] = buffer[14] = buffer[17] = ':';
Write2(buffer, when.Day, 0);
Write2(buffer, when.Month, 3);
Write2(buffer, when.Year % 100, 6);
Write2(buffer, when.Hour, 9);
Write2(buffer, when.Minute, 12);
Write2(buffer, when.Second, 15);
Write3(buffer, when.Millisecond, 18);
output.Write(buffer, 0, 21);
}
static void Write2(char[] buffer, int value, int offset)
{
buffer[offset++] = (char)('0' + (value / 10));
buffer[offset] = (char)('0' + (value % 10));
}
static void Write3(char[] buffer, int value, int offset)
{
buffer[offset++] = (char)('0' + (value / 100));
buffer[offset++] = (char)('0' + ((value / 10) % 10));
buffer[offset] = (char)('0' + (value % 10));
}
}
Ответ 3
Это не ответ сам по себе, а скорее добавленный к надежный ответ Jon Skeet, предлагающий вариант для формата "s" (ISO):
/// <summary>
/// Implements a fast method to write a DateTime value to string, in the ISO "s" format.
/// </summary>
/// <param name="dateTime">The date time.</param>
/// <returns></returns>
/// <devdoc>
/// This implementation exists just for performance reasons, it is semantically identical to
/// <code>
/// text = value.HasValue ? value.Value.ToString("s") : string.Empty;
/// </code>
/// However, it runs about 3 times as fast. (Measured using the VS2015 performace profiler)
/// </devdoc>
public static string ToIsoStringFast(DateTime? dateTime) {
if (!dateTime.HasValue) {
return string.Empty;
}
DateTime dt = dateTime.Value;
char[] chars = new char[19];
Write4Chars(chars, 0, dt.Year);
chars[4] = '-';
Write2Chars(chars, 5, dt.Month);
chars[7] = '-';
Write2Chars(chars, 8, dt.Day);
chars[10] = 'T';
Write2Chars(chars, 11, dt.Hour);
chars[13] = ':';
Write2Chars(chars, 14, dt.Minute);
chars[16] = ':';
Write2Chars(chars, 17, dt.Second);
return new string(chars);
}
С 4-значным сериализатором как:
private static void Write4Chars(char[] chars, int offset, int value) {
chars[offset] = Digit(value / 1000);
chars[offset + 1] = Digit(value / 100 % 10);
chars[offset + 2] = Digit(value / 10 % 10);
chars[offset + 3] = Digit(value % 10);
}
Это работает примерно в 3 раза быстрее. (Измеряется с использованием профилировщика производительности VS2015)
Ответ 4
Знаете ли вы, насколько велики каждая запись в бинарных и текстовых журналах? Если это так, вы можете разделить обработку файла журнала по целому ряду потоков, которые лучше использовали бы многоядерный/процессорный ПК. Если вы не против того, чтобы результат был в отдельных файлах, было бы неплохо иметь один жесткий диск на ядро таким образом, что вы уменьшите количество голов диска, которое нужно переместить.