Ответ 1
list(file_obj) может потребоваться много памяти, если fileobj велико. Мы можем уменьшить это требование памяти, используя itertools, чтобы вытащить куски строк по мере необходимости.
В частности, мы можем использовать
reader = csv.reader(f)
chunks = itertools.groupby(reader, keyfunc)
чтобы разбить файл на обрабатываемые куски и
groups = [list(chunk) for key, chunk in itertools.islice(chunks, num_chunks)]
result = pool.map(worker, groups)
чтобы многопроцессорный пул работал на кусках num_chunks за раз.
Таким образом, нам требуется примерно достаточно памяти для хранения нескольких (num_chunks) фрагментов в памяти вместо всего файла.
import multiprocessing as mp
import itertools
import time
import csv
def worker(chunk):
# `chunk` will be a list of CSV rows all with the same name column
# replace this with your real computation
# print(chunk)
return len(chunk)
def keyfunc(row):
# `row` is one row of the CSV file.
# replace this with the name column.
return row[0]
def main():
pool = mp.Pool()
largefile = 'test.dat'
num_chunks = 10
results = []
with open(largefile) as f:
reader = csv.reader(f)
chunks = itertools.groupby(reader, keyfunc)
while True:
# make a list of num_chunks chunks
groups = [list(chunk) for key, chunk in
itertools.islice(chunks, num_chunks)]
if groups:
result = pool.map(worker, groups)
results.extend(result)
else:
break
pool.close()
pool.join()
print(results)
if __name__ == '__main__':
main()