Самый быстрый способ сглаживания/разглаживания вложенных объектов JSON
Я выбросил некоторый код, чтобы сгладить и сгладить сложные/вложенные объекты JSON. Он работает, но он немного медленный (запускает предупреждение "long script" ).
Для сплющенных имен я хочу "." как разделитель и [INDEX] для массивов.
Примеры:
un-flattened | flattened
---------------------------
{foo:{bar:false}} => {"foo.bar":false}
{a:[{b:["c","d"]}]} => {"a[0].b[0]":"c","a[0].b[1]":"d"}
[1,[2,[3,4],5],6] => {"[0]":1,"[1].[0]":2,"[1].[1].[0]":3,"[1].[1].[1]":4,"[1].[2]":5,"[2]":6}
Я создал тест, который ~ имитирует мой пример использования http://jsfiddle.net/WSzec/
- Получить вложенный объект JSON
- Сгладить его
- Посмотрите на него и, возможно, измените его, сглаживая
- Отменить его обратно в исходный вложенный формат, который будет отправлен
Мне бы хотелось получить более быстрый код: для уточнения кода, который завершает тест JSFiddle (http://jsfiddle.net/WSzec/) значительно быстрее (~ 20% + было бы хорошо ) в IE 9+, FF 24+ и Chrome 29 +.
Вот соответствующий код JavaScript: Current Fastest: http://jsfiddle.net/WSzec/6/
JSON.unflatten = function(data) {
"use strict";
if (Object(data) !== data || Array.isArray(data))
return data;
var result = {}, cur, prop, idx, last, temp;
for(var p in data) {
cur = result, prop = "", last = 0;
do {
idx = p.indexOf(".", last);
temp = p.substring(last, idx !== -1 ? idx : undefined);
cur = cur[prop] || (cur[prop] = (!isNaN(parseInt(temp)) ? [] : {}));
prop = temp;
last = idx + 1;
} while(idx >= 0);
cur[prop] = data[p];
}
return result[""];
}
JSON.flatten = function(data) {
var result = {};
function recurse (cur, prop) {
if (Object(cur) !== cur) {
result[prop] = cur;
} else if (Array.isArray(cur)) {
for(var i=0, l=cur.length; i<l; i++)
recurse(cur[i], prop ? prop+"."+i : ""+i);
if (l == 0)
result[prop] = [];
} else {
var isEmpty = true;
for (var p in cur) {
isEmpty = false;
recurse(cur[p], prop ? prop+"."+p : p);
}
if (isEmpty)
result[prop] = {};
}
}
recurse(data, "");
return result;
}
РЕДАКТИРОВАТЬ 1 Модифицировал приведенную выше реализацию @Bergi, которая в настоящее время является самой быстрой. В стороне использование ".indexOf" вместо "regex.exec" примерно на 20% быстрее в FF, но на 20% медленнее в Chrome; поэтому я буду придерживаться регулярного выражения, поскольку он проще (здесь моя попытка использовать indexOf для замены регулярного выражения http://jsfiddle.net/WSzec/2/).
РЕДАКТИРОВАТЬ 2 Основываясь на идее @Bergi, мне удалось создать более быструю версию без регулярного выражения (3 раза быстрее в FF и на 10% быстрее в Chrome). http://jsfiddle.net/WSzec/6/ В этой (текущей) реализации правила для имен ключей просто, ключи не могут начинаться с целого числа или содержать период.
Пример:
- { "foo": { "bar": [0]}} = > { "foo.bar.0": 0}
РЕДАКТИРОВАТЬ 3 Добавление @AaditMShah подход синтаксического анализа пути (а не String.split) помог улучшить нефиксированную производительность. Я очень доволен достигнутым общим улучшением производительности.
Последние jsfiddle и jsperf:
http://jsfiddle.net/WSzec/14/
http://jsperf.com/flatten-un-flatten/4
Ответы
Ответ 1
Здесь моя более короткая реализация:
Object.unflatten = function(data) {
"use strict";
if (Object(data) !== data || Array.isArray(data))
return data;
var regex = /\.?([^.\[\]]+)|\[(\d+)\]/g,
resultholder = {};
for (var p in data) {
var cur = resultholder,
prop = "",
m;
while (m = regex.exec(p)) {
cur = cur[prop] || (cur[prop] = (m[2] ? [] : {}));
prop = m[2] || m[1];
}
cur[prop] = data[p];
}
return resultholder[""] || resultholder;
};
flatten
не сильно изменился (и я не уверен, действительно ли вам нужны те случаи isEmpty
):
Object.flatten = function(data) {
var result = {};
function recurse (cur, prop) {
if (Object(cur) !== cur) {
result[prop] = cur;
} else if (Array.isArray(cur)) {
for(var i=0, l=cur.length; i<l; i++)
recurse(cur[i], prop + "[" + i + "]");
if (l == 0)
result[prop] = [];
} else {
var isEmpty = true;
for (var p in cur) {
isEmpty = false;
recurse(cur[p], prop ? prop+"."+p : p);
}
if (isEmpty && prop)
result[prop] = {};
}
}
recurse(data, "");
return result;
}
Вместе они запускают ваш тест примерно в половине случаев (Opera 12.16: ~ 900ms вместо ~ 1900 мс, Chrome 29: ~ 800 мс вместо ~ 1600 мс).
Ответ 2
Я написал две функции для flatten
и unflatten
объекта JSON.
Сгладить объект JSON:
var flatten = (function (isArray, wrapped) {
return function (table) {
return reduce("", {}, table);
};
function reduce(path, accumulator, table) {
if (isArray(table)) {
var length = table.length;
if (length) {
var index = 0;
while (index < length) {
var property = path + "[" + index + "]", item = table[index++];
if (wrapped(item) !== item) accumulator[property] = item;
else reduce(property, accumulator, item);
}
} else accumulator[path] = table;
} else {
var empty = true;
if (path) {
for (var property in table) {
var item = table[property], property = path + "." + property, empty = false;
if (wrapped(item) !== item) accumulator[property] = item;
else reduce(property, accumulator, item);
}
} else {
for (var property in table) {
var item = table[property], empty = false;
if (wrapped(item) !== item) accumulator[property] = item;
else reduce(property, accumulator, item);
}
}
if (empty) accumulator[path] = table;
}
return accumulator;
}
}(Array.isArray, Object));
Производительность
- Это быстрее, чем текущее решение в Opera. Текущее решение на Opera на 26% медленнее.
- Это быстрее, чем текущее решение в Firefox. Текущее решение на Firefox на 9% медленнее.
- Это быстрее, чем текущее решение в Chrome. Текущее решение на Chrome на 29% медленнее.
Unflatten объект JSON:
function unflatten(table) {
var result = {};
for (var path in table) {
var cursor = result, length = path.length, property = "", index = 0;
while (index < length) {
var char = path.charAt(index);
if (char === "[") {
var start = index + 1,
end = path.indexOf("]", start),
cursor = cursor[property] = cursor[property] || [],
property = path.slice(start, end),
index = end + 1;
} else {
var cursor = cursor[property] = cursor[property] || {},
start = char === "." ? index + 1 : index,
bracket = path.indexOf("[", start),
dot = path.indexOf(".", start);
if (bracket < 0 && dot < 0) var end = index = length;
else if (bracket < 0) var end = index = dot;
else if (dot < 0) var end = index = bracket;
else var end = index = bracket < dot ? bracket : dot;
var property = path.slice(start, end);
}
}
cursor[property] = table[path];
}
return result[""];
}
Производительность
- Это быстрее, чем текущее решение в Opera. Текущее решение на Opera на 5% медленнее.
- Это медленнее, чем текущее решение в Firefox. Мое решение на 26% медленнее в Firefox.
- Это медленнее, чем текущее решение в Chrome. Мое решение на 6% медленнее в Chrome.
Сгладить и разблокировать объект JSON:
В целом мое решение работает одинаково хорошо или даже лучше, чем текущее решение.
Производительность
- Это быстрее, чем текущее решение в Opera. Текущее решение на Opera на 21% медленнее.
- Это так же быстро, как текущее решение в Firefox.
- Это быстрее, чем текущее решение в Firefox. Текущее решение на Chrome на 20% медленнее.
Формат вывода:
Сплошный объект использует точечную нотацию для свойств объекта и нотацию привязки для индексов массива:
-
{foo:{bar:false}} => {"foo.bar":false}
-
{a:[{b:["c","d"]}]} => {"a[0].b[0]":"c","a[0].b[1]":"d"}
-
[1,[2,[3,4],5],6] => {"[0]":1,"[1][0]":2,"[1][1][0]":3,"[1][1][1]":4,"[1][2]":5,"[2]":6}
По-моему, этот формат лучше, чем использование точечной нотации:
-
{foo:{bar:false}} => {"foo.bar":false}
-
{a:[{b:["c","d"]}]} => {"a.0.b.0":"c","a.0.b.1":"d"}
-
[1,[2,[3,4],5],6] => {"0":1,"1.0":2,"1.1.0":3,"1.1.1":4,"1.2":5,"2":6}
<сильные > Преимущества:
- Сглаживание объекта происходит быстрее, чем текущее решение.
- Сглаживание и снятие объекта происходит так же быстро, как и текущее решение.
- Сжатые объекты используют как точечную нотацию, так и обозначение скобки для удобства чтения.
Недостатки
- Unflattening объект в большинстве (но не во всех) случаях медленнее текущего решения.
Текущая демонстрация JSFiddle в качестве вывода выводила следующие значения:
Nested : 132175 : 63
Flattened : 132175 : 564
Nested : 132175 : 54
Flattened : 132175 : 508
Моя обновленная демонстрация JSFiddle показала следующие значения:
Nested : 132175 : 59
Flattened : 132175 : 514
Nested : 132175 : 60
Flattened : 132175 : 451
Я не совсем уверен, что это значит, поэтому я буду придерживаться результатов jsPerf. Ведь jsPerf - это утилита для тестирования производительности. JSFiddle нет.
Ответ 3
На основе кода @Bergi я сделал простую веб-страницу, чтобы сгладить //unflatten.
http://fiddle.jshell.net/blowsie/S2hsS/show/light/
JSON.flatten = function (data) {
var result = {};
function recurse(cur, prop) {
if (Object(cur) !== cur) {
result[prop] = cur;
} else if (Array.isArray(cur)) {
for (var i = 0, l = cur.length; i < l; i++)
recurse(cur[i], prop + "[" + i + "]");
if (l == 0) result[prop] = [];
} else {
var isEmpty = true;
for (var p in cur) {
isEmpty = false;
recurse(cur[p], prop ? prop + "." + p : p);
}
if (isEmpty && prop) result[prop] = {};
}
}
recurse(data, "");
return result;
};
JSON.unflatten = function (data) {
"use strict";
if (Object(data) !== data || Array.isArray(data)) return data;
var regex = /\.?([^.\[\]]+)|\[(\d+)\]/g,
resultholder = {};
for (var p in data) {
var cur = resultholder,
prop = "",
m;
while (m = regex.exec(p)) {
cur = cur[prop] || (cur[prop] = (m[2] ? [] : {}));
prop = m[2] || m[1];
}
cur[prop] = data[p];
}
return resultholder[""] || resultholder;
};
$("#process").click(function () {
var flatten = $("#flatten").is(":checked");
var result = flatten ? JSON.stringify(JSON.flatten(JSON.parse($("#input").val())), null, "\t") : JSON.stringify(JSON.unflatten(JSON.parse($("#input").val())), null, "\t")
$("#output").val(result);
$("#formatted").text(result);
});
body {
padding:20px;
}
<link href="http://netdna.bootstrapcdn.com/bootstrap/3.1.1/css/bootstrap.min.css" rel="stylesheet"/>
<h1>JSON Flattener</h1>
<div class="form-group">
<label>Mode:</label>
<label class="radio-inline">
<input id="flatten" name="mode" type="radio" value="flatten" checked="">Flatten</label>
<label class="radio-inline">
<input name="mode" type="radio" value="unflatten">Unflatten</label>
</div>
<div class="form-group">
<label>Input:</label>
<input class="form-control" type="text" name="" id="input">
</div>
<div class="form-group">
<label>Output:</label>
<textarea class="form-control" name="" id="output" cols="30" rows="5"></textarea>
</div>
<button id="process" class="btn btn-primary">Process</button>
<br/>
<br/>
<label>Formatted:</label>
<pre><code id="formatted"></code></pre>
Ответ 4
3 с половиной года спустя...
Для моего собственного проекта я хотел сгладить объекты JSON в точечной нотации mongoDB и предложил простое решение:
/**
* Recursively flattens a JSON object using dot notation.
*
* NOTE: input must be an object as described by JSON spec. Arbitrary
* JS objects (e.g. {a: () => 42}) may result in unexpected output.
* MOREOVER, it removes keys with empty objects/arrays as value (see
* examples bellow).
*
* @example
* // returns {a:1, 'b.0.c': 2, 'b.0.d.e': 3, 'b.1': 4}
* flatten({a: 1, b: [{c: 2, d: {e: 3}}, 4]})
* // returns {a:1, 'b.0.c': 2, 'b.0.d.e.0': true, 'b.0.d.e.1': false, 'b.0.d.e.2.f': 1}
* flatten({a: 1, b: [{c: 2, d: {e: [true, false, {f: 1}]}}]})
* // return {a: 1}
* flatten({a: 1, b: [], c: {}})
*
* @param obj item to be flattened
* @param {Array.string} [prefix=[]] chain of prefix joined with a dot and prepended to key
* @param {Object} [current={}] result of flatten during the recursion
*
* @see https://docs.mongodb.com/manual/core/document/#dot-notation
*/
function flatten (obj, prefix, current) {
prefix = prefix || []
current = current || {}
// Remember kids, null is also an object!
if (typeof (obj) === 'object' && obj !== null) {
Object.keys(obj).forEach(key => {
this.flatten(obj[key], prefix.concat(key), current)
})
} else {
current[prefix.join('.')] = obj
}
return current
}
Особенности и/или предостережения
- Он принимает только объекты JSON. Поэтому, если вы передадите что-то вроде
{a:() => {}}
вы можете не получить то, что хотели! - Удаляет пустые массивы и объекты. Так что это
{a: {}, b: []}
сведено к {}
.
Ответ 5
Версия ES6:
const flatten = (obj, path = '') => {
if (!(obj instanceof Object)) return {[path.replace(/\.$/g, '')]:obj};
return Object.keys(obj).reduce((output, key) => {
return obj instanceof Array ?
{...output, ...flatten(obj[key], path + '[' + key + '].')}:
{...output, ...flatten(obj[key], path + key + '.')};
}, {});
}
Пример:
console.log(flatten({a:[{b:["c","d"]}]}));
console.log(flatten([1,[2,[3,4],5],6]));
Ответ 6
Здесь другой подход, который работает медленнее (около 1000 мс), чем приведенный выше ответ, но имеет интересную идею: -)
Вместо того, чтобы выполнять итерацию по каждой цепочке свойств, она просто выбирает последнее свойство и использует остальную таблицу для хранения промежуточных результатов. Эта таблица будет повторяться до тех пор, пока цепочки свойств не будут оставлены, а все значения будут сохранены по незакатированным свойствам.
JSON.unflatten = function(data) {
"use strict";
if (Object(data) !== data || Array.isArray(data))
return data;
var regex = /\.?([^.\[\]]+)$|\[(\d+)\]$/,
props = Object.keys(data),
result, p;
while(p = props.shift()) {
var m = regex.exec(p),
target;
if (m.index) {
var rest = p.slice(0, m.index);
if (!(rest in data)) {
data[rest] = m[2] ? [] : {};
props.push(rest);
}
target = data[rest];
} else {
target = result || (result = (m[2] ? [] : {}));
}
target[m[2] || m[1]] = data[p];
}
return result;
};
В настоящее время он использует входной параметр data
для таблицы и помещает на него множество свойств - также должна быть неразрушающая версия. Возможно, умное использование lastIndexOf
работает лучше, чем регулярное выражение (зависит от механизма регулярного выражения).
Смотрите здесь в действии.
Ответ 7
Вы можете использовать https://github.com/hughsk/flat
Возьмите вложенный объект Javascript и сгладьте его, или unflatten объект с разделителями.
Пример из документа
var flatten = require('flat')
flatten({
key1: {
keyA: 'valueI'
},
key2: {
keyB: 'valueII'
},
key3: { a: { b: { c: 2 } } }
})
// {
// 'key1.keyA': 'valueI',
// 'key2.keyB': 'valueII',
// 'key3.a.b.c': 2
// }
var unflatten = require('flat').unflatten
unflatten({
'three.levels.deep': 42,
'three.levels': {
nested: true
}
})
// {
// three: {
// levels: {
// deep: 42,
// nested: true
// }
// }
// }
Ответ 8
Этот код рекурсивно выравнивает объекты JSON.
Я включил механизм синхронизации в код, и он дает мне 1 мс, но я не уверен, что это самый точный.
var new_json = [{
"name": "fatima",
"age": 25,
"neighbour": {
"name": "taqi",
"location": "end of the street",
"property": {
"built in": 1990,
"owned": false,
"years on market": [1990, 1998, 2002, 2013],
"year short listed": [], //means never
}
},
"town": "Mountain View",
"state": "CA"
},
{
"name": "qianru",
"age": 20,
"neighbour": {
"name": "joe",
"location": "opposite to the park",
"property": {
"built in": 2011,
"owned": true,
"years on market": [1996, 2011],
"year short listed": [], //means never
}
},
"town": "Pittsburgh",
"state": "PA"
}]
function flatten(json, flattened, str_key) {
for (var key in json) {
if (json.hasOwnProperty(key)) {
if (json[key] instanceof Object && json[key] != "") {
flatten(json[key], flattened, str_key + "." + key);
} else {
flattened[str_key + "." + key] = json[key];
}
}
}
}
var flattened = {};
console.time('flatten');
flatten(new_json, flattened, "");
console.timeEnd('flatten');
for (var key in flattened){
console.log(key + ": " + flattened[key]);
}
Вывод:
flatten: 1ms
.0.name: fatima
.0.age: 25
.0.neighbour.name: taqi
.0.neighbour.location: end of the street
.0.neighbour.property.built in: 1990
.0.neighbour.property.owned: false
.0.neighbour.property.years on market.0: 1990
.0.neighbour.property.years on market.1: 1998
.0.neighbour.property.years on market.2: 2002
.0.neighbour.property.years on market.3: 2013
.0.neighbour.property.year short listed:
.0.town: Mountain View
.0.state: CA
.1.name: qianru
.1.age: 20
.1.neighbour.name: joe
.1.neighbour.location: opposite to the park
.1.neighbour.property.built in: 2011
.1.neighbour.property.owned: true
.1.neighbour.property.years on market.0: 1996
.1.neighbour.property.years on market.1: 2011
.1.neighbour.property.year short listed:
.1.town: Pittsburgh
.1.state: PA
Ответ 9
Я добавил эффективность +/- 10-15% к выбранному ответу путем рефакторинга второстепенного кода и перемещения рекурсивной функции вне пространства имен функций.
См. мой вопрос: Пересмотрены функции с именами, пересчитанные при каждом вызове?, почему это замедляет вложенные функции вниз.
function _flatten (target, obj, path) {
var i, empty;
if (obj.constructor === Object) {
empty = true;
for (i in obj) {
empty = false;
_flatten(target, obj[i], path ? path + '.' + i : i);
}
if (empty && path) {
target[path] = {};
}
}
else if (obj.constructor === Array) {
i = obj.length;
if (i > 0) {
while (i--) {
_flatten(target, obj[i], path + '[' + i + ']');
}
} else {
target[path] = [];
}
}
else {
target[path] = obj;
}
}
function flatten (data) {
var result = {};
_flatten(result, data, null);
return result;
}
См. эталон.
Ответ 10
Здесь мой. Он работает в < 2ms в Google Apps Script на значимом объекте. Он использует тире вместо точек для разделителей, и он не обрабатывает массивы, особенно как в вопросе об афере, но это то, что я хотел для моего использования.
function flatten (obj) {
var newObj = {};
for (var key in obj) {
if (typeof obj[key] === 'object' && obj[key] !== null) {
var temp = flatten(obj[key])
for (var key2 in temp) {
newObj[key+"-"+key2] = temp[key2];
}
} else {
newObj[key] = obj[key];
}
}
return newObj;
}
Пример:
var test = {
a: 1,
b: 2,
c: {
c1: 3.1,
c2: 3.2
},
d: 4,
e: {
e1: 5.1,
e2: 5.2,
e3: {
e3a: 5.31,
e3b: 5.32
},
e4: 5.4
},
f: 6
}
Logger.log("start");
Logger.log(JSON.stringify(flatten(test),null,2));
Logger.log("done");
Пример вывода:
[17-02-08 13:21:05:245 CST] start
[17-02-08 13:21:05:246 CST] {
"a": 1,
"b": 2,
"c-c1": 3.1,
"c-c2": 3.2,
"d": 4,
"e-e1": 5.1,
"e-e2": 5.2,
"e-e3-e3a": 5.31,
"e-e3-e3b": 5.32,
"e-e4": 5.4,
"f": 6
}
[17-02-08 13:21:05:247 CST] done
Ответ 11
Я хотел бы добавить новую версию сплющенного футляра (это то, что мне нужно:)), который, согласно моим пробкам с указанным выше jsFiddler, немного быстрее, чем текущий выбранный.
Более того, я лично вижу этот фрагмент немного более читабельным, что, конечно, важно для проектов с несколькими разработчиками.
function flattenObject(graph) {
let result = {},
item,
key;
function recurr(graph, path) {
if (Array.isArray(graph)) {
graph.forEach(function (itm, idx) {
key = path + '[' + idx + ']';
if (itm && typeof itm === 'object') {
recurr(itm, key);
} else {
result[key] = itm;
}
});
} else {
Reflect.ownKeys(graph).forEach(function (p) {
key = path + '.' + p;
item = graph[p];
if (item && typeof item === 'object') {
recurr(item, key);
} else {
result[key] = item;
}
});
}
}
recurr(graph, '');
return result;
}
Ответ 12
Используйте эту библиотеку:
npm install flat
Использование (с https://www.npmjs.com/package/flat):
Свести:
var flatten = require('flat')
flatten({
key1: {
keyA: 'valueI'
},
key2: {
keyB: 'valueII'
},
key3: { a: { b: { c: 2 } } }
})
// {
// 'key1.keyA': 'valueI',
// 'key2.keyB': 'valueII',
// 'key3.a.b.c': 2
// }
Un-выравниваться:
var unflatten = require('flat').unflatten
unflatten({
'three.levels.deep': 42,
'three.levels': {
nested: true
}
})
// {
// three: {
// levels: {
// deep: 42,
// nested: true
// }
// }
// }