OutOfMemoryException при объявлении большого массива
Мне нужно создать довольно большой двойной массив 12000ish x 55000ish. К сожалению, я получаю исключение из памяти. Я использовал для разработки на Java и мог изменять настройки памяти. Возможно ли это с С# или это просто невозможно? Я использую VS 2008.
Ответы
Ответ 1
Каждый double
составляет 8 байтов, поэтому вы пытаетесь выделить один массив размером чуть более 5 ГБ. CLR имеет ограничение на объект около 2 ГБ IIRC, даже для 64-битной CLR. Другими словами, это не общий объем памяти, доступный этой проблеме (хотя, очевидно, у вас будут проблемы, если у вас недостаточно памяти), но размер каждого объекта.
Я предлагаю вам разбить его на меньшие массивы, возможно, за фасадом какого-то описания. Я не верю, что есть способ обхода этого предела для одного массива.
EDIT: вы можете использовать массив массивов, а также массив с зазубринами:
double[][] array = new double[12000][];
for (int i = 0; i < array.Length; i++)
{
array[i] = new double[55000];
}
Будет ли это приемлемо для вас?
(Вы не можете использовать прямоугольный массив (double[,]
), так как это будет иметь одинаковую проблему с размером объекта.)
Ответ 2
Поскольку вы не можете создавать объекты размером более 2 ГБ, вы можете попытаться использовать MemoryMappedFile для работы с куском памяти требуемого размера.
var data = MemoryMappedFile.CreateNew("big data", 12000L * 55000L);
var view = data.CreateViewAccessor();
var rnd = new Random();
for (var i = 0L; i < 12000L; ++i)
{
for (var j = 0L; j < 55000L; ++j)
{
var input = rnd.NextDouble();
view.Write<double>(i * 55000L + j, ref input);
}
}
Ответ 3
Обеспечивая достаточную общую память, вы можете предотвратить исключения из памяти, вызванные фрагментацией LOH, создав группу меньших массивов и обернув их в один IList<T>
или какой-либо другой проиндексированный интерфейс.
Вот ссылка, которая описывает это:
BigArray<T>, getting around the 2GB array size limit
Кредиты: этот пост (С# chunked array).
Ответ 4
Ну, либо у вас не хватает памяти (закройте некоторые программы), либо вы достигли предела распределения памяти (около 2 Гб), эта память должна быть непрерывным блоком. Вы можете использовать 64-битную машину, в этом случае у вас будет больше доступной памяти, или я думаю, что вы можете сделать приложение большим адресом осведомленным (поиск в Google расскажет вам, как это сделать, если это возможно в этом случае).
Поверьте, вы добавляете ключ /3GB в файл Boot.ini для понимания большого адреса.