Как я могу заставить PowerShell script анализировать большие файлы быстрее?

У меня есть следующий PowerShell script, который проанализирует очень большой файл для ETL. Для начала мой тестовый файл составляет ~ 30 Мб. Ожидаются более крупные файлы размером 200 Мб. Поэтому у меня есть несколько вопросов.

Работает script ниже, но для обработки даже 30-мегабайтного файла требуется очень много времени.

PowerShell Script:

$path = "E:\Documents\Projects\ESPS\Dev\DataFiles\DimProductionOrderOperation" $infile = "14SEP11_ProdOrderOperations.txt" $outfile = "PROCESSED_14SEP11_ProdOrderOperations.txt" $array = @() $content = gc $path\$infile | select -skip 4 | where {$_ -match "[|].*[|].*"} | foreach {$_ -replace "^[|]","" -replace "[|]$",""} $header = $content[0] $array = $content[0] for ($i = 1; $i -le $content.length; $i+=1) { if ($array[$i] -ne $content[0]) {$array += $content[$i]} } $array | out-file $path\$outfile -encoding ASCII

Вывод данных DataFile:

--------------------------- |Data statistics|Number of| |-------------------------| |Records passed | 93,118| --------------------------- 02/14/2012 Production Operations and Confirmations 2 ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Production Operations and Confirmations ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |ProductionOrderNumber|MaterialNumber |ModifiedDate|Plant|OperationRoutingNumber|WorkCenter|OperationStatus|IsActive| WbsElement|SequenceNumber|OperationNumber|OperationDescription |OperationQty|ConfirmedYieldQty|StandardValueLabor|ActualDirectLaborHrs|ActualContractorLaborHrs|ActualOvertimeLaborHrs|ConfirmationNumber| |---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |180849518 |011255486L1 |02/08/2012 |2101 | 9901123118|56B30 |I9902 | |SOC10MA2302SOCJ31| |0140 |Operation 1 | 1 | 0 | 0.0 | | 499.990 | | 9908651250| |180849518 |011255486L1 |02/08/2012 |2101 | 9901123118|56B30 |I9902 | |SOC10MA2302SOCJ31|14 |9916 |Operation 2 | 1 | 0 | 499.0 | | | | 9908532289| |181993564 |011255486L1 |02/09/2012 |2101 | 9901288820|56B30 |I9902 | |SOC10MD2302SOCJ31|14 |9916 |Operation 1 | 1 | 0 | 499.0 | | 399.599 | | 9908498544| |180885825 |011255486L1 |02/08/2012 |2101 | 9901162239|56B30 |I9902 | |SOC10MG2302SOCJ31| |0150 |Operation 3 | 1 | 0 | 0.0 | | 882.499 | | 9908099659| |180885825 |011255486L1 |02/08/2012 |2101 | 9901162239|56B30 |I9902 | |SOC10MG2302SOCJ31|14 |9916 |Operation 4 | 1 | 0 | 544.0 | | | | 9908858514| |181638583 |990104460I0 |02/10/2012 |2101 | 9902123289|56G99 |I9902 | |SOC11MAR105SOCJ31| |0160 |Operation 5 | 1 | 0 | 1,160.0 | | | | 9914295010| |181681218 |990104460B0 |02/08/2012 |2101 | 9902180981|56G99 |I9902 | |SOC11MAR328SOCJ31|0 |9910 |Operation 6 | 1 | 0 | 916.0 | | | | 9914621885| |181681036 |990104460I0 |02/09/2012 |2101 | 9902180289|56G99 |I9902 | |SOC11MAR108SOCJ31| |0180 |Operation 8 | 1 | 0 | 1.0 | | | | 9914619196| |189938054 |011255486A2 |02/10/2012 |2101 | 9999206805|5AD99 |I9902 | |RS08MJ2305SOCJ31 | |0599 |Operation 8 | 1 | 0 | 0.0 | | | | 9901316289| |181919894 |012984532A3 |02/10/2012 |2101 | 9902511433|A199399Z |I9902 | |SOC12MCB101SOCJ31|0 |9935 |Operation 9 | 1 | 0 | 0.5 | | | | 9916914233| |181919894 |012984532A3 |02/10/2012 |2101 | 9902511433|A199399Z |I9902 | |SOC12MCB101SOCJ31|22 |9951 |Operation 10 | 1 | 0 | 68.080 | | | | 9916914224|

Ответы

Ответ 1

Ваш script читает по одной строке за раз (медленно!) и сохраняет почти весь файл в памяти (большой!).

Попробуйте это (не проверено широко):

$path = "E:\Documents\Projects\ESPS\Dev\DataFiles\DimProductionOrderOperation"
$infile = "14SEP11_ProdOrderOperations.txt"
$outfile = "PROCESSED_14SEP11_ProdOrderOperations.txt"

$batch = 1000

[regex]$match_regex = '^\|.+\|.+\|.+'
[regex]$replace_regex = '^\|(.+)\|$'

$header_line = (Select-String -Path $path\$infile -Pattern $match_regex -list).line

[regex]$header_regex = [regex]::escape($header_line)

$header_line.trim('|') | Set-Content $path\$outfile

Get-Content $path\$infile -ReadCount $batch |
    ForEach {
             $_ -match $match_regex -NotMatch $header_regex -Replace $replace_regex ,'$1' | Out-File $path\$outfile -Append
    }

Это компромисс между использованием памяти и скоростью. Операторы -match и -replace будут работать с массивом, поэтому вы можете сразу фильтровать и заменять весь массив без необходимости прослеживать каждую запись. -readcount приведет к чтению файла в кусках $пакетных записей, поэтому вы в основном читаете 1000 записей за раз, выполняя совпадение и заменяя на этой партии, а затем добавляете результат в выходной файл. Затем он возвращается на следующие 1000 записей. Увеличение размера пакета $должно ускорить его, но это заставит его использовать больше памяти. Отрегулируйте это в соответствии с вашими ресурсами.

Ответ 2

Командлет Get-Content не работает так же, как StreamReader при работе с очень большими файлами. Вы можете читать файл по строкам с помощью StreamReader следующим образом:

$path = 'C:\A-Very-Large-File.txt'
$r = [IO.File]::OpenText($path)
while ($r.Peek() -ge 0) {
    $line = $r.ReadLine()
    # Process $line here...
}
$r.Dispose()

Некоторые сравнения производительности:

Measure-Command {Get-Content .\512MB.txt > $null}

Всего секунд: 49.4742533

Measure-Command {
    $r = [IO.File]::OpenText('512MB.txt')
    while ($r.Peek() -ge 0) {
        $r.ReadLine() > $null
    }
    $r.Dispose()
}

Всего секунд: 27.666803

Ответ 3

Это почти не ответ... Мне нравится PowerShell... но я не буду использовать его для анализа файлов журнала, особенно больших файлов журналов. Используйте Microsoft Log Parser.

C:\>type input.txt | logparser "select substr(field1,1) from STDIN" -i:TSV -nskiplines:14 -headerrow:off -iseparator:spaces -o:tsv -headers:off -stats:off