Elasticearch 2.1: окно результатов слишком велико (index.max_result_window)

Ответ 1

Следующие страницы в эластичной документации говорят о глубокой подкачки:

https://www.elastic.co/guide/en/elasticsearch/guide/current/pagination.html https://www.elastic.co/guide/en/elasticsearch/guide/current/_fetch_phase.html

В зависимости от размера ваших документов, количества осколков и оборудования, которое вы используете, подкачки от 10 000 до 50 000 результатов (от 1000 до 5000 страниц) должны быть совершенно выполнимы. Но с достаточно большим значения, процесс сортировки может стать очень тяжелым, используя огромные количества CPU, памяти и полосы пропускания. По этой причине мы сильно советуем против глубокого оповещения.

Ответ 2

Если вам нужна большая глубокая разбивка на страницы, я думаю, что только один вариант решения - увеличить значение max_result_window

curl -XPUT "http://localhost:9200/my_index/_settings" -d '{ "index" : { "max_result_window" : 500000 } }'

Увеличение использования памяти, я не найден для значений ~ 100k

Ответ 3

Правильным решением будет использование прокрутки.
Однако, если вы хотите расширить результаты, search возвращает более 10 000 результатов, вы можете легко сделать это с помощью Kibana:

Перейдите к Dev Tools и просто разместите следующее в своем индексе (ваше_имя_имя_имя), указав, каким будет новое окно максимального результата

PUT your_index_name/_settings
{ 
  "max_result_window" : 500000 
}

Если все пойдет хорошо, вы должны увидеть следующий ответ успеха:

{
  "acknowledged": true
}

Ответ 4

Используйте API прокрутки, чтобы получить более 10000 результатов.

Пример прокрутки в API-интерфейсе ElasticSearch NEST

Я использовал его так:

private static Customer[] GetCustomers(IElasticClient elasticClient)
{
    var customers = new List<Customer>();
    var searchResult = elasticClient.Search<Customer>(s => s.Index(IndexAlias.ForCustomers())
                          .Size(10000).SearchType(SearchType.Scan).Scroll("1m"));

    do
    {
        var result = searchResult;
        searchResult = elasticClient.Scroll<Customer>("1m", result.ScrollId);
        customers.AddRange(searchResult.Documents);
    } while (searchResult.IsValid && searchResult.Documents.Any());

    return customers.ToArray();
}

Ответ 5

Если вы хотите получить более 10000 результатов, то во всех узлах данных использование памяти будет очень высоким, поскольку оно должно возвращать больше результатов в каждом запросе запроса. Тогда, если у вас больше данных и больше осколков, тогда слияние этих результатов будет неэффективным. Также es кэширует контекст фильтра, следовательно, снова больше памяти. Вы должны пройти пробную и пробную версию, сколько именно вы принимаете. Если вы получаете много запросов в маленьком окне, вы должны выполнить несколько запросов более чем на 10 тыс. И объединить их с помощью urself в коде, который, как предполагается, займет меньше памяти приложения, если увеличить размер окна.

Ответ 6

2) Не похоже, что API прокрутки является для меня вариантом, но мне нужно увеличить "index.max_result_window". Кто-нибудь имеет опыт с этим?

- > Вы можете определить это значение в шаблонах индексов, шаблон es будет применяться только для новых индексов, поэтому вам нужно либо удалить старые индексы после создания шаблона, либо дождаться появления новых данных в elasticsearch.

{    "порядок": 1,    "шаблон": "index_template *",    "Настройки": {     "index.number_of_replicas": "0",        "index.number_of_shards": "1",        "index.max_result_window": 2147483647   },

Ответ 7

Основная причина, по которой вы получаете эту ошибку - это потому, что вы используете эластичный поиск неправильно. ES - поисковая система. Это неэффективно для получения многих элементов или многих страниц данных. Может быть, вы пытаетесь вернуть все свои данные с помощью эластичного поиска, а не только для поиска соответствующих результатов? Это неверно.

Вы должны использовать его для поиска. И я думаю, что не нужно получать более 10 000 результатов. Например, Google возвращает только первые 1000 результатов.