Найти документы с пустой строковой стоимостью на elasticsearch
Я пытаюсь фильтровать с помощью elasticsearch только те документы, которые содержат пустую строку в своем теле. Пока мне не повезло.
Прежде чем продолжить, я должен упомянуть, что я уже пробовал решения many ", распространяющиеся по Interwebz и StackOverflow.
Итак, ниже приведен запрос, который я пытаюсь запустить, а затем его копии:
{
"query": {
"filtered":{
"filter": {
"bool": {
"must_not": [
{
"missing":{
"field":"_textContent"
}
}
]
}
}
}
}
}
Я также пробовал следующее:
{
"query": {
"filtered":{
"filter": {
"bool": {
"must_not": [
{
"missing":{
"field":"_textContent",
"existence":true,
"null_value":true
}
}
]
}
}
}
}
}
И следующее:
{
"query": {
"filtered":{
"filter": {
"missing": {"field": "_textContent"}
}
}
}
}
Ничего из этого не было сделано. Я получаю пустой набор результатов, когда я точно знаю, что есть записи, содержащие пустое поле.
Если кто-нибудь может оказать мне какую-либо помощь, я буду очень благодарен.
Спасибо!
Ответы
Ответ 1
Если вы используете анализатор по умолчанию (standard), анализировать его нечего, если это пустая строка. Поэтому необходимо дословно проиндексировать поле (не анализировать). Вот пример:
Добавьте отображение, которое будет индексировать поле без маркеров, если вам нужна также индексированная копия индексированного поля, вы можете использовать тип Multi Field.
PUT http://localhost:9200/test/_mapping/demo
{
"demo": {
"properties": {
"_content": {
"type": "string",
"index": "not_analyzed"
}
}
}
}
Далее индексируйте пару документов.
/POST http://localhost:9200/test/demo/1/
{
"_content": ""
}
/POST http://localhost:9200/test/demo/2
{
"_content": "some content"
}
Выполнить поиск:
POST http://localhost:9200/test/demo/_search
{
"query": {
"filtered": {
"filter": {
"term": {
"_content": ""
}
}
}
}
}
Возвращает документ с пустой строкой.
{
took: 2,
timed_out: false,
_shards: {
total: 5,
successful: 5,
failed: 0
},
hits: {
total: 1,
max_score: 0.30685282,
hits: [
{
_index: test,
_type: demo,
_id: 1,
_score: 0.30685282,
_source: {
_content: ""
}
}
]
}
}
Ответ 2
Даже с помощью анализатора по умолчанию вы можете выполнить такой поиск: используйте script filter, который медленнее, но может обрабатывать пустая строка:
curl -XPOST 'http://localhost:9200/test/demo/_search' -d '
{
"query": {
"filtered": {
"filter": {
"script": {
"script": "_source._content.length() == 0"
}
}
}
}
}'
Он вернет документ с пустой строкой как _content без специального сопоставления
Как указано @js_gandalf, это устарело для ES > 5.0. Вместо этого вы должны использовать: query- > bool- > filter → script, как в https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-bool-query.html
Ответ 3
Для тех из вас, кто использует эластичный поиск 5.2 или выше, и все еще застревает. Самый простой способ - правильно перевести ваши данные с типом ключевого слова. Затем все поиски пустых значений сработали. Вот так:
"query": {
"term": {"MY_FIELD_TO_SEARCH": ""}
}
Собственно, когда я переиндексирую мою базу данных и повторно запускаю запрос. Он работал =)
Проблема заключалась в том, что мое поле было типом: text и NOT ключевым словом. Изменен индекс для ключевого слова и переиндексирован:
curl -X PUT https://username:[email protected]:9200/mycoolindex
curl -X PUT https://user:[email protected]:9200/mycoolindex/_mapping/mycooltype -d '{
"properties": {
"MY_FIELD_TO_SEARCH": {
"type": "keyword"
},
}'
curl -X PUT https://username:[email protected]:9200/_reindex -d '{
"source": {
"index": "oldindex"
},
"dest": {
"index": "mycoolindex"
}
}'
Я надеюсь, что это поможет кому-то, кто был застрял, когда я нашел эти пустые значения.
Ответ 4
чтобы найти пустую строку одного поля в вашем документе, она очень актуальна для сопоставления полей, другими словами, ее установкой index/analyzer.
Если его индекс not_analyzed, это означает, что токен - это просто пустая строка, вы можете просто использовать запрос term, чтобы найти его, как показано ниже:
{"from": 0, "size": 100, "query":{"term": {"name":""}}}
В противном случае, если параметр index равен analyzed, и я считаю, что большинство анализаторов будут обрабатывать пустую строку как нулевое значение So
вы можете использовать фильтр, чтобы найти пустую строку.
{"filter": {"missing": {"existence": true, "field": "name", "null_value": true}}, "query": {"match_all": {}}}
вот суть script вы можете ссылаться: https://gist.github.com/hxuanji/35b982b86b3601cb5571
Кстати, я проверю команды, которые вы предоставили, кажется, вы НЕ хотите пустой пустой документ.
И все мои вышеприведенные команды - это просто найти их, поэтому просто вставьте must_not часть запроса bool.
Моя ES 1.0.1.
Для ES 1.3.0 в настоящий момент я не могу найти пустую строку. Похоже, что было сообщено: https://github.com/elasticsearch/elasticsearch/issues/7348. Подождите и посмотрите, как это происходит.
В любом случае, он также предоставляет другую команду для поиска
{ "query": { "отфильтрован": { "filter": { "не": { "filter": { "ассортимент": { "имя": { } } } } } }}}
name - это имя поля для поиска пустой строки. Я тестировал его на ES 1.3.2.
Ответ 5
Я использую Elasticsearch 5.3 и испытываю проблемы с некоторыми из приведенных выше ответов.
Для меня работал следующий орган.
{
"query": {
"bool" : {
"must" : {
"script" : {
"script" : {
"inline": "doc['city'].empty",
"lang": "painless"
}
}
}
}
}
}
Примечание. Возможно, вам потребуется включить текстовые поля fielddatastrong > , по умолчанию он отключен. Хотя я бы это прочитал: https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html, прежде чем делать это.
Чтобы включить полевые данные для поля, например. "city" в индексе "business" с типом "запись" вам нужно:
PUT business/_mapping/record
{
"properties": {
"city": {
"type": "text",
"fielddata": true
}
}
}
Ответ 6
Для вложенных полей используйте:
curl -XGET "http://localhost:9200/city/_search?pretty=true" -d '{
"query" : {
"nested" : {
"path" : "country",
"score_mode" : "avg",
"query" : {
"bool": {
"must_not": {
"exists": {
"field": "country.name"
}
}
}
}
}
}
}'
ПРИМЕЧАНИЕ: путь и поле вместе составляют для поиска. Измените, как вам нужно, чтобы работать.
Для регулярных полей:
curl -XGET 'http://localhost:9200/city/_search?pretty=true' -d'{
"query": {
"bool": {
"must_not": {
"exists": {
"field": "name"
}
}
}
}
}'
Ответ 7
Мне не удалось найти пустые строки в текстовом поле. Однако, похоже, он работает с полем типа ключевого слова. Поэтому я предлагаю следующее:
delete /test_idx
put test_idx
{
"mappings" : {
"testMapping": {
"properties" : {
"tag" : {"type":"text"},
"content" : {"type":"text",
"fields" : {
"x" : {"type" : "keyword"}
}
}
}
}
}
}
put /test_idx/testMapping/1
{
"tag": "null"
}
put /test_idx/testMapping/2
{
"tag": "empty",
"content": ""
}
GET /test_idx/testMapping/_search
{
"query" : {
"match" : {"content.x" : ""}}}
}
}
Ответ 8
Вам нужно запустить индексатор ключевых слов, добавив .content к имени вашего поля. В зависимости от того, как был настроен исходный индекс, следующее "просто работает" для меня с помощью AWS ElasticSearch v6.x.
GET/my_idx/_search?q=my_field.content: ""
Ответ 9
Если вы не хотите или не можете переиндексировать, есть другой способ. :-)
Вы можете использовать оператор отрицания и подстановочный знак для сопоставления с любой непустой строкой *
GET /my_index/_search?q=!(fieldToLookFor:*)
Ответ 10
ИЛИ используя синтаксис строки запроса Lucene
д = (yourfield.keyword: "!")
См. Elastic Search Reference https://www.elastic.co/guide/en/elasticsearch/reference/6.5/query-dsl-query-string-query.html#query-string-syntax
Ответ 11
Нашел решение здесь https://github.com/elastic/elasticsearch/issues/7515 Работает без переиндексации.
PUT t/t/1
{
"textContent": ""
}
PUT t/t/2
{
"textContent": "foo"
}
GET t/t/_search
{
"query": {
"bool": {
"must": [
{
"exists": {
"field": "textContent"
}
}
],
"must_not": [
{
"wildcard": {
"textContent": "*"
}
}
]
}
}
}
