Самый быстрый способ сглаживания/разглаживания вложенных объектов JSON

Я выбросил некоторый код, чтобы сгладить и сгладить сложные/вложенные объекты JSON. Он работает, но он немного медленный (запускает предупреждение "long script" ).

Для сплющенных имен я хочу "." как разделитель и [INDEX] для массивов.

Примеры:

un-flattened | flattened
---------------------------
{foo:{bar:false}} => {"foo.bar":false}
{a:[{b:["c","d"]}]} => {"a[0].b[0]":"c","a[0].b[1]":"d"}
[1,[2,[3,4],5],6] => {"[0]":1,"[1].[0]":2,"[1].[1].[0]":3,"[1].[1].[1]":4,"[1].[2]":5,"[2]":6}

Я создал тест, который ~ имитирует мой пример использования http://jsfiddle.net/WSzec/

  • Получить вложенный объект JSON
  • Сгладить его
  • Посмотрите на него и, возможно, измените его, сглаживая
  • Отменить его обратно в исходный вложенный формат, который будет отправлен

Мне бы хотелось получить более быстрый код: для уточнения кода, который завершает тест JSFiddle (http://jsfiddle.net/WSzec/) значительно быстрее (~ 20% + было бы хорошо ) в IE 9+, FF 24+ и Chrome 29 +.

Вот соответствующий код JavaScript: Current Fastest: http://jsfiddle.net/WSzec/6/

JSON.unflatten = function(data) {
    "use strict";
    if (Object(data) !== data || Array.isArray(data))
        return data;
    var result = {}, cur, prop, idx, last, temp;
    for(var p in data) {
        cur = result, prop = "", last = 0;
        do {
            idx = p.indexOf(".", last);
            temp = p.substring(last, idx !== -1 ? idx : undefined);
            cur = cur[prop] || (cur[prop] = (!isNaN(parseInt(temp)) ? [] : {}));
            prop = temp;
            last = idx + 1;
        } while(idx >= 0);
        cur[prop] = data[p];
    }
    return result[""];
}
JSON.flatten = function(data) {
    var result = {};
    function recurse (cur, prop) {
        if (Object(cur) !== cur) {
            result[prop] = cur;
        } else if (Array.isArray(cur)) {
             for(var i=0, l=cur.length; i<l; i++)
                 recurse(cur[i], prop ? prop+"."+i : ""+i);
            if (l == 0)
                result[prop] = [];
        } else {
            var isEmpty = true;
            for (var p in cur) {
                isEmpty = false;
                recurse(cur[p], prop ? prop+"."+p : p);
            }
            if (isEmpty)
                result[prop] = {};
        }
    }
    recurse(data, "");
    return result;
}

РЕДАКТИРОВАТЬ 1 Модифицировал приведенную выше реализацию @Bergi, которая в настоящее время является самой быстрой. В стороне использование ".indexOf" вместо "regex.exec" примерно на 20% быстрее в FF, но на 20% медленнее в Chrome; поэтому я буду придерживаться регулярного выражения, поскольку он проще (здесь моя попытка использовать indexOf для замены регулярного выражения http://jsfiddle.net/WSzec/2/).

РЕДАКТИРОВАТЬ 2 Основываясь на идее @Bergi, мне удалось создать более быструю версию без регулярного выражения (3 раза быстрее в FF и на 10% быстрее в Chrome). http://jsfiddle.net/WSzec/6/ В этой (текущей) реализации правила для имен ключей просто, ключи не могут начинаться с целого числа или содержать период.

Пример:

  • { "foo": { "bar": [0]}} = > { "foo.bar.0": 0}

РЕДАКТИРОВАТЬ 3 Добавление @AaditMShah подход синтаксического анализа пути (а не String.split) помог улучшить нефиксированную производительность. Я очень доволен достигнутым общим улучшением производительности.

Последние jsfiddle и jsperf:

http://jsfiddle.net/WSzec/14/

http://jsperf.com/flatten-un-flatten/4

Ответы

Ответ 1

Здесь моя более короткая реализация:

Object.unflatten = function(data) {
    "use strict";
    if (Object(data) !== data || Array.isArray(data))
        return data;
    var regex = /\.?([^.\[\]]+)|\[(\d+)\]/g,
        resultholder = {};
    for (var p in data) {
        var cur = resultholder,
            prop = "",
            m;
        while (m = regex.exec(p)) {
            cur = cur[prop] || (cur[prop] = (m[2] ? [] : {}));
            prop = m[2] || m[1];
        }
        cur[prop] = data[p];
    }
    return resultholder[""] || resultholder;
};

flatten не сильно изменился (и я не уверен, действительно ли вам нужны те случаи isEmpty):

Object.flatten = function(data) {
    var result = {};
    function recurse (cur, prop) {
        if (Object(cur) !== cur) {
            result[prop] = cur;
        } else if (Array.isArray(cur)) {
             for(var i=0, l=cur.length; i<l; i++)
                 recurse(cur[i], prop + "[" + i + "]");
            if (l == 0)
                result[prop] = [];
        } else {
            var isEmpty = true;
            for (var p in cur) {
                isEmpty = false;
                recurse(cur[p], prop ? prop+"."+p : p);
            }
            if (isEmpty && prop)
                result[prop] = {};
        }
    }
    recurse(data, "");
    return result;
}

Вместе они запускают ваш тест примерно в половине случаев (Opera 12.16: ~ 900ms вместо ~ 1900 мс, Chrome 29: ~ 800 мс вместо ~ 1600 мс).

Ответ 2

Я написал две функции для flatten и unflatten объекта JSON.


Сгладить объект JSON:

var flatten = (function (isArray, wrapped) {
    return function (table) {
        return reduce("", {}, table);
    };

    function reduce(path, accumulator, table) {
        if (isArray(table)) {
            var length = table.length;

            if (length) {
                var index = 0;

                while (index < length) {
                    var property = path + "[" + index + "]", item = table[index++];
                    if (wrapped(item) !== item) accumulator[property] = item;
                    else reduce(property, accumulator, item);
                }
            } else accumulator[path] = table;
        } else {
            var empty = true;

            if (path) {
                for (var property in table) {
                    var item = table[property], property = path + "." + property, empty = false;
                    if (wrapped(item) !== item) accumulator[property] = item;
                    else reduce(property, accumulator, item);
                }
            } else {
                for (var property in table) {
                    var item = table[property], empty = false;
                    if (wrapped(item) !== item) accumulator[property] = item;
                    else reduce(property, accumulator, item);
                }
            }

            if (empty) accumulator[path] = table;
        }

        return accumulator;
    }
}(Array.isArray, Object));

Производительность

  • Это быстрее, чем текущее решение в Opera. Текущее решение на Opera на 26% медленнее.
  • Это быстрее, чем текущее решение в Firefox. Текущее решение на Firefox на 9% медленнее.
  • Это быстрее, чем текущее решение в Chrome. Текущее решение на Chrome на 29% медленнее.

Unflatten объект JSON:

function unflatten(table) {
    var result = {};

    for (var path in table) {
        var cursor = result, length = path.length, property = "", index = 0;

        while (index < length) {
            var char = path.charAt(index);

            if (char === "[") {
                var start = index + 1,
                    end = path.indexOf("]", start),
                    cursor = cursor[property] = cursor[property] || [],
                    property = path.slice(start, end),
                    index = end + 1;
            } else {
                var cursor = cursor[property] = cursor[property] || {},
                    start = char === "." ? index + 1 : index,
                    bracket = path.indexOf("[", start),
                    dot = path.indexOf(".", start);

                if (bracket < 0 && dot < 0) var end = index = length;
                else if (bracket < 0) var end = index = dot;
                else if (dot < 0) var end = index = bracket;
                else var end = index = bracket < dot ? bracket : dot;

                var property = path.slice(start, end);
            }
        }

        cursor[property] = table[path];
    }

    return result[""];
}

Производительность

  • Это быстрее, чем текущее решение в Opera. Текущее решение на Opera на 5% медленнее.
  • Это медленнее, чем текущее решение в Firefox. Мое решение на 26% медленнее в Firefox.
  • Это медленнее, чем текущее решение в Chrome. Мое решение на 6% медленнее в Chrome.

Сгладить и разблокировать объект JSON:

В целом мое решение работает одинаково хорошо или даже лучше, чем текущее решение.

Производительность

  • Это быстрее, чем текущее решение в Opera. Текущее решение на Opera на 21% медленнее.
  • Это так же быстро, как текущее решение в Firefox.
  • Это быстрее, чем текущее решение в Firefox. Текущее решение на Chrome на 20% медленнее.

Формат вывода:

Сплошный объект использует точечную нотацию для свойств объекта и нотацию привязки для индексов массива:

  • {foo:{bar:false}} => {"foo.bar":false}
  • {a:[{b:["c","d"]}]} => {"a[0].b[0]":"c","a[0].b[1]":"d"}
  • [1,[2,[3,4],5],6] => {"[0]":1,"[1][0]":2,"[1][1][0]":3,"[1][1][1]":4,"[1][2]":5,"[2]":6}

По-моему, этот формат лучше, чем использование точечной нотации:

  • {foo:{bar:false}} => {"foo.bar":false}
  • {a:[{b:["c","d"]}]} => {"a.0.b.0":"c","a.0.b.1":"d"}
  • [1,[2,[3,4],5],6] => {"0":1,"1.0":2,"1.1.0":3,"1.1.1":4,"1.2":5,"2":6}

<сильные > Преимущества:

  • Сглаживание объекта происходит быстрее, чем текущее решение.
  • Сглаживание и снятие объекта происходит так же быстро, как и текущее решение.
  • Сжатые объекты используют как точечную нотацию, так и обозначение скобки для удобства чтения.

Недостатки

  • Unflattening объект в большинстве (но не во всех) случаях медленнее текущего решения.

Текущая демонстрация JSFiddle в качестве вывода выводила следующие значения:

Nested : 132175 : 63
Flattened : 132175 : 564
Nested : 132175 : 54
Flattened : 132175 : 508

Моя обновленная демонстрация JSFiddle показала следующие значения:

Nested : 132175 : 59
Flattened : 132175 : 514
Nested : 132175 : 60
Flattened : 132175 : 451

Я не совсем уверен, что это значит, поэтому я буду придерживаться результатов jsPerf. Ведь jsPerf - это утилита для тестирования производительности. JSFiddle нет.

Ответ 3

На основе кода @Bergi я сделал простую веб-страницу, чтобы сгладить //unflatten.

http://fiddle.jshell.net/blowsie/S2hsS/show/light/

enter image description here

JSON.flatten = function (data) {
    var result = {};

    function recurse(cur, prop) {
        if (Object(cur) !== cur) {
            result[prop] = cur;
        } else if (Array.isArray(cur)) {
            for (var i = 0, l = cur.length; i < l; i++)
            recurse(cur[i], prop + "[" + i + "]");
            if (l == 0) result[prop] = [];
        } else {
            var isEmpty = true;
            for (var p in cur) {
                isEmpty = false;
                recurse(cur[p], prop ? prop + "." + p : p);
            }
            if (isEmpty && prop) result[prop] = {};
        }
    }
    recurse(data, "");
    return result;
};
JSON.unflatten = function (data) {
    "use strict";
    if (Object(data) !== data || Array.isArray(data)) return data;
    var regex = /\.?([^.\[\]]+)|\[(\d+)\]/g,
        resultholder = {};
    for (var p in data) {
        var cur = resultholder,
            prop = "",
            m;
        while (m = regex.exec(p)) {
            cur = cur[prop] || (cur[prop] = (m[2] ? [] : {}));
            prop = m[2] || m[1];
        }
        cur[prop] = data[p];
    }
    return resultholder[""] || resultholder;
};


$("#process").click(function () {
    var flatten = $("#flatten").is(":checked");

    var result = flatten ? JSON.stringify(JSON.flatten(JSON.parse($("#input").val())), null, "\t") : JSON.stringify(JSON.unflatten(JSON.parse($("#input").val())), null, "\t")

    $("#output").val(result);
    $("#formatted").text(result);
});
body {
    padding:20px;
}
<link href="http://netdna.bootstrapcdn.com/bootstrap/3.1.1/css/bootstrap.min.css" rel="stylesheet"/>
<h1>JSON Flattener</h1>

<div class="form-group">
    <label>Mode:</label>
    <label class="radio-inline">
        <input id="flatten" name="mode" type="radio" value="flatten" checked="">Flatten</label>
    <label class="radio-inline">
        <input name="mode" type="radio" value="unflatten">Unflatten</label>
</div>
<div class="form-group">
    <label>Input:</label>
    <input class="form-control" type="text" name="" id="input">
</div>
<div class="form-group">
    <label>Output:</label>
    <textarea class="form-control" name="" id="output" cols="30" rows="5"></textarea>
</div>
<button id="process" class="btn btn-primary">Process</button>
<br/>
<br/>
<label>Formatted:</label>
<pre><code id="formatted"></code></pre>

Ответ 4

3 с половиной года спустя...

Для моего собственного проекта я хотел сгладить объекты JSON в точечной нотации mongoDB и предложил простое решение:

/**
 * Recursively flattens a JSON object using dot notation.
 *
 * NOTE: input must be an object as described by JSON spec. Arbitrary
 * JS objects (e.g. {a: () => 42}) may result in unexpected output.
 * MOREOVER, it removes keys with empty objects/arrays as value (see
 * examples bellow).
 *
 * @example
 * // returns {a:1, 'b.0.c': 2, 'b.0.d.e': 3, 'b.1': 4}
 * flatten({a: 1, b: [{c: 2, d: {e: 3}}, 4]})
 * // returns {a:1, 'b.0.c': 2, 'b.0.d.e.0': true, 'b.0.d.e.1': false, 'b.0.d.e.2.f': 1}
 * flatten({a: 1, b: [{c: 2, d: {e: [true, false, {f: 1}]}}]})
 * // return {a: 1}
 * flatten({a: 1, b: [], c: {}})
 *
 * @param obj item to be flattened
 * @param {Array.string} [prefix=[]] chain of prefix joined with a dot and prepended to key
 * @param {Object} [current={}] result of flatten during the recursion
 *
 * @see https://docs.mongodb.com/manual/core/document/#dot-notation
 */
function flatten (obj, prefix, current) {
  prefix = prefix || []
  current = current || {}

  // Remember kids, null is also an object!
  if (typeof (obj) === 'object' && obj !== null) {
    Object.keys(obj).forEach(key => {
      this.flatten(obj[key], prefix.concat(key), current)
    })
  } else {
    current[prefix.join('.')] = obj
  }

  return current
}

Особенности и/или предостережения

  • Он принимает только объекты JSON. Поэтому, если вы передадите что-то вроде {a:() => {}} вы можете не получить то, что хотели!
  • Удаляет пустые массивы и объекты. Так что это {a: {}, b: []} сведено к {}.

Ответ 5

Версия ES6:

const flatten = (obj, path = '') => {        
    if (!(obj instanceof Object)) return {[path.replace(/\.$/g, '')]:obj};

    return Object.keys(obj).reduce((output, key) => {
        return obj instanceof Array ? 
             {...output, ...flatten(obj[key], path +  '[' + key + '].')}:
             {...output, ...flatten(obj[key], path + key + '.')};
    }, {});
}

Пример:

console.log(flatten({a:[{b:["c","d"]}]}));
console.log(flatten([1,[2,[3,4],5],6]));

Ответ 6

Здесь другой подход, который работает медленнее (около 1000 мс), чем приведенный выше ответ, но имеет интересную идею: -)

Вместо того, чтобы выполнять итерацию по каждой цепочке свойств, она просто выбирает последнее свойство и использует остальную таблицу для хранения промежуточных результатов. Эта таблица будет повторяться до тех пор, пока цепочки свойств не будут оставлены, а все значения будут сохранены по незакатированным свойствам.

JSON.unflatten = function(data) {
    "use strict";
    if (Object(data) !== data || Array.isArray(data))
        return data;
    var regex = /\.?([^.\[\]]+)$|\[(\d+)\]$/,
        props = Object.keys(data),
        result, p;
    while(p = props.shift()) {
        var m = regex.exec(p),
            target;
        if (m.index) {
            var rest = p.slice(0, m.index);
            if (!(rest in data)) {
                data[rest] = m[2] ? [] : {};
                props.push(rest);
            }
            target = data[rest];
        } else {
            target = result || (result = (m[2] ? [] : {}));
        }
        target[m[2] || m[1]] = data[p];
    }
    return result;
};

В настоящее время он использует входной параметр data для таблицы и помещает на него множество свойств - также должна быть неразрушающая версия. Возможно, умное использование lastIndexOf работает лучше, чем регулярное выражение (зависит от механизма регулярного выражения).

Смотрите здесь в действии.

Ответ 7

Вы можете использовать https://github.com/hughsk/flat

Возьмите вложенный объект Javascript и сгладьте его, или unflatten объект с разделителями.

Пример из документа

var flatten = require('flat')

flatten({
    key1: {
        keyA: 'valueI'
    },
    key2: {
        keyB: 'valueII'
    },
    key3: { a: { b: { c: 2 } } }
})

// {
//   'key1.keyA': 'valueI',
//   'key2.keyB': 'valueII',
//   'key3.a.b.c': 2
// }


var unflatten = require('flat').unflatten

unflatten({
    'three.levels.deep': 42,
    'three.levels': {
        nested: true
    }
})

// {
//     three: {
//         levels: {
//             deep: 42,
//             nested: true
//         }
//     }
// }

Ответ 8

Этот код рекурсивно выравнивает объекты JSON.

Я включил механизм синхронизации в код, и он дает мне 1 мс, но я не уверен, что это самый точный.

            var new_json = [{
              "name": "fatima",
              "age": 25,
              "neighbour": {
                "name": "taqi",
                "location": "end of the street",
                "property": {
                  "built in": 1990,
                  "owned": false,
                  "years on market": [1990, 1998, 2002, 2013],
                  "year short listed": [], //means never
                }
              },
              "town": "Mountain View",
              "state": "CA"
            },
            {
              "name": "qianru",
              "age": 20,
              "neighbour": {
                "name": "joe",
                "location": "opposite to the park",
                "property": {
                  "built in": 2011,
                  "owned": true,
                  "years on market": [1996, 2011],
                  "year short listed": [], //means never
                }
              },
              "town": "Pittsburgh",
              "state": "PA"
            }]

            function flatten(json, flattened, str_key) {
                for (var key in json) {
                  if (json.hasOwnProperty(key)) {
                    if (json[key] instanceof Object && json[key] != "") {
                      flatten(json[key], flattened, str_key + "." + key);
                    } else {
                      flattened[str_key + "." + key] = json[key];
                    }
                  }
                }
            }

        var flattened = {};
        console.time('flatten'); 
        flatten(new_json, flattened, "");
        console.timeEnd('flatten');

        for (var key in flattened){
          console.log(key + ": " + flattened[key]);
        }

Вывод:

flatten: 1ms
.0.name: fatima
.0.age: 25
.0.neighbour.name: taqi
.0.neighbour.location: end of the street
.0.neighbour.property.built in: 1990
.0.neighbour.property.owned: false
.0.neighbour.property.years on market.0: 1990
.0.neighbour.property.years on market.1: 1998
.0.neighbour.property.years on market.2: 2002
.0.neighbour.property.years on market.3: 2013
.0.neighbour.property.year short listed: 
.0.town: Mountain View
.0.state: CA
.1.name: qianru
.1.age: 20
.1.neighbour.name: joe
.1.neighbour.location: opposite to the park
.1.neighbour.property.built in: 2011
.1.neighbour.property.owned: true
.1.neighbour.property.years on market.0: 1996
.1.neighbour.property.years on market.1: 2011
.1.neighbour.property.year short listed: 
.1.town: Pittsburgh
.1.state: PA

Ответ 9

Я добавил эффективность +/- 10-15% к выбранному ответу путем рефакторинга второстепенного кода и перемещения рекурсивной функции вне пространства имен функций.

См. мой вопрос: Пересмотрены функции с именами, пересчитанные при каждом вызове?, почему это замедляет вложенные функции вниз.

function _flatten (target, obj, path) {
  var i, empty;
  if (obj.constructor === Object) {
    empty = true;
    for (i in obj) {
      empty = false;
      _flatten(target, obj[i], path ? path + '.' + i : i);
    }
    if (empty && path) {
      target[path] = {};
    }
  } 
  else if (obj.constructor === Array) {
    i = obj.length;
    if (i > 0) {
      while (i--) {
        _flatten(target, obj[i], path + '[' + i + ']');
      }
    } else {
      target[path] = [];
    }
  }
  else {
    target[path] = obj;
  }
}

function flatten (data) {
  var result = {};
  _flatten(result, data, null);
  return result;
}

См. эталон.

Ответ 10

Здесь мой. Он работает в < 2ms в Google Apps Script на значимом объекте. Он использует тире вместо точек для разделителей, и он не обрабатывает массивы, особенно как в вопросе об афере, но это то, что я хотел для моего использования.

function flatten (obj) {
  var newObj = {};
  for (var key in obj) {
    if (typeof obj[key] === 'object' && obj[key] !== null) {
      var temp = flatten(obj[key])
      for (var key2 in temp) {
        newObj[key+"-"+key2] = temp[key2];
      }
    } else {
      newObj[key] = obj[key];
    }
  }
  return newObj;
}

Пример:

var test = {
  a: 1,
  b: 2,
  c: {
    c1: 3.1,
    c2: 3.2
  },
  d: 4,
  e: {
    e1: 5.1,
    e2: 5.2,
    e3: {
      e3a: 5.31,
      e3b: 5.32
    },
    e4: 5.4
  },
  f: 6
}

Logger.log("start");
Logger.log(JSON.stringify(flatten(test),null,2));
Logger.log("done");

Пример вывода:

[17-02-08 13:21:05:245 CST] start
[17-02-08 13:21:05:246 CST] {
  "a": 1,
  "b": 2,
  "c-c1": 3.1,
  "c-c2": 3.2,
  "d": 4,
  "e-e1": 5.1,
  "e-e2": 5.2,
  "e-e3-e3a": 5.31,
  "e-e3-e3b": 5.32,
  "e-e4": 5.4,
  "f": 6
}
[17-02-08 13:21:05:247 CST] done

Ответ 11

Я хотел бы добавить новую версию сплющенного футляра (это то, что мне нужно:)), который, согласно моим пробкам с указанным выше jsFiddler, немного быстрее, чем текущий выбранный. Более того, я лично вижу этот фрагмент немного более читабельным, что, конечно, важно для проектов с несколькими разработчиками.

function flattenObject(graph) {
    let result = {},
        item,
        key;

    function recurr(graph, path) {
        if (Array.isArray(graph)) {
            graph.forEach(function (itm, idx) {
                key = path + '[' + idx + ']';
                if (itm && typeof itm === 'object') {
                    recurr(itm, key);
                } else {
                    result[key] = itm;
                }
            });
        } else {
            Reflect.ownKeys(graph).forEach(function (p) {
                key = path + '.' + p;
                item = graph[p];
                if (item && typeof item === 'object') {
                    recurr(item, key);
                } else {
                    result[key] = item;
                }
            });
        }
    }
    recurr(graph, '');

    return result;
}

Ответ 12

Используйте эту библиотеку:

npm install flat

Использование (с https://www.npmjs.com/package/flat):

Свести:

    var flatten = require('flat')


    flatten({
        key1: {
            keyA: 'valueI'
        },
        key2: {
            keyB: 'valueII'
        },
        key3: { a: { b: { c: 2 } } }
    })

    // {
    //   'key1.keyA': 'valueI',
    //   'key2.keyB': 'valueII',
    //   'key3.a.b.c': 2
    // }

Un-выравниваться:

var unflatten = require('flat').unflatten

unflatten({
    'three.levels.deep': 42,
    'three.levels': {
        nested: true
    }
})

// {
//     three: {
//         levels: {
//             deep: 42,
//             nested: true
//         }
//     }
// }