Я хотел бы получить ваш совет/помощь по подмножеству большого файла (миллионы строк или строк).
Например,
(1) У меня большой файл (миллионы строк, с разделителями табуляции). Я хочу подмножество этого файла только с номерами от 10000 до 100000.
(2) У меня большой файл (миллионы столбцов, с разделителями табуляции). Я хочу подмножество этого файла только с столбцами от 10000 до 100000.
Я знаю, что есть такие инструменты, как head, tail, cut, split, awk или sed. Я могу использовать их для простого подмножества. Но я не знаю, как это сделать.
Не могли бы вы дать какие-либо советы? Спасибо заранее.
Фильтрация строк проста, например, с AWK:
cat largefile | awk 'NR >= 10000 && NR <= 100000 { print }'
Фильтрация столбцов проще с помощью CUT:
cat largefile | cut -d '\t' -f 10000-100000
Как сказал Рахул Дравид, cat здесь не обязательно, и, добавив Zsolt Botykai, вы можете улучшить производительность, используя:
awk 'NR > 100000 { exit } NR >= 10000 && NR <= 100000' largefile
cut -d '\t' -f 10000-100000 largefile
Некоторые различные решения:
Для диапазонов строк:
В sed:
sed -n 10000,100000p somefile.txt
Для диапазонов столбцов в awk:
awk -v f=10000 -v t=100000 '{ for (i=f; i<=t;i++) printf("%s%s", $i,(i==t) ? "\n" : OFS) }' details.txt
Для первой проблемы, выбирая набор строк из большого файла, хвост трубопровода к голове очень прост. Вы хотите, чтобы 90000 строк из большого файла начинались со строки 10000. Хвост захватывает задний конец большого файла, начиная со строки 10000, а затем отбивает головы всех, кроме первых 90000 строк.
tail -n +10000 largefile | head -n 90000 -
Был избит для решения sed, поэтому я опубликую вместо perl dito.
Чтобы напечатать выбранные строки.
$ seq 100 | perl -ne 'print if $. >= 10 && $. <= 20'
10
11
12
13
14
15
16
17
18
19
20
Для печати выборочных столбцов используйте
perl -lane 'print $F[1] .. $F[3] '
-F используется в сочетании с -a, чтобы выбрать разделитель, на котором разделить строки.
Чтобы протестировать, используйте seq и paste, чтобы получить несколько столбцов
$ seq 50 | paste - - - - -
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 39 40
41 42 43 44 45
46 47 48 49 50
Позволяет распечатать все, кроме первого и последнего столбцов
$ seq 50 | paste - - - - - | perl -lane 'print join " ", $F[1] .. $F[3]'
2 3 4
7 8 9
12 13 14
17 18 19
22 23 24
27 28 29
32 33 34
37 38 39
42 43 44
47 48 49
В приведенном выше выражении join есть вкладка, вы можете получить ее, выполнив вкладку ctrl-v.