Ответ 1
Все GREEDYDATA
есть .*
, но .
не соответствует новой строке, поэтому вы можете заменить %{GREEDYDATA:message}
на (?<message>(.|\r|\n)*)
и получить его по-настоящему жадным.
У меня есть удаленная машина, которая объединяет многострочные события и отправляет их по протоколу дровосека.
Что происходит, это выглядит так:
{
"message" => "2014-10-20T20:52:56.133+0000 host 2014-10-20 15:52:56,036 [ERROR ][app.logic ] Failed to turn message into JSON\nTraceback (most recent call last):\n File \"somefile.py", line 249, in _get_values\n return r.json()\n File \"/path/to/env/lib/python3.4/site-packages/requests/models.py\", line 793, in json\n return json.loads(self.text, **kwargs)\n File \"/usr/local/lib/python3.4/json/__init__.py\", line 318, in loads\n return _default_decoder.decode(s)\n File \"/usr/local/lib/python3.4/json/decoder.py\", line 343, in decode\n obj, end = self.raw_decode(s, idx=_w(s, 0).end())\n File \"/usr/local/lib/python3.4/json/decoder.py\", line 361, in raw_decode\n raise ValueError(errmsg(\"Expecting value\", s, err.value)) from None\nValueError: Expecting value: line 1 column 1 (char 0), Failed to turn message into JSON"
}
Когда я пытаюсь сопоставить сообщение с
grok {
match => [ "message", "%{TIMESTAMP_ISO8601:timestamp} \[%LOGLEVEL:loglevel}%{ SPACE}\]\[%{NOTSPACE:module}%{SPACE}\]%{GREEDYDATA:message}" ]
}
GREEDYDATA
не так жадно, как хотелось бы.
Итак, я попытался использовать gsub:
mutate {
gsub => ["message", "\n", "LINE_BREAK"]
}
# Grok goes here
mutate {
gsub => ["message", "LINE_BREAK", "\n"]
}
но это не работает, а не
The Quick brown fox
jumps over the lazy
groks
Я получил
The Quick brown fox\njumps over the lazy\ngroks
Итак...
Как добавить новую строку в мои данные, сделать GREEDYDATA
совпадением с моими новыми символами или каким-то другим способом захватить соответствующую часть моего сообщения?
Все GREEDYDATA
есть .*
, но .
не соответствует новой строке, поэтому вы можете заменить %{GREEDYDATA:message}
на (?<message>(.|\r|\n)*)
и получить его по-настоящему жадным.
Добавление флага регулярного выражения в начало позволяет совместить строки новой строки:
match => [ "message", "(?m)%{TIMESTA...