Сравните два data.frames, чтобы найти строки в data.frame 1, которых нет в data.frame 2
У меня есть следующие 2 data.frames:
a1 <- data.frame(a = 1:5, b=letters[1:5])
a2 <- data.frame(a = 1:3, b=letters[1:3])
Я хочу найти строку a1, которой нет a2.
Есть ли встроенная функция для этого типа операций?
(p.s: Я написал для него решение, мне просто интересно, если кто-то уже сделал более продуманный код)
Вот мое решение:
a1 <- data.frame(a = 1:5, b=letters[1:5])
a2 <- data.frame(a = 1:3, b=letters[1:3])
rows.in.a1.that.are.not.in.a2 <- function(a1,a2)
{
a1.vec <- apply(a1, 1, paste, collapse = "")
a2.vec <- apply(a2, 1, paste, collapse = "")
a1.without.a2.rows <- a1[!a1.vec %in% a2.vec,]
return(a1.without.a2.rows)
}
rows.in.a1.that.are.not.in.a2(a1,a2)
Ответы
Ответ 1
Это не отвечает на ваш вопрос напрямую, но это даст вам общие элементы. Это можно сделать с помощью пакета Paul Murrell compare:
library(compare)
a1 <- data.frame(a = 1:5, b = letters[1:5])
a2 <- data.frame(a = 1:3, b = letters[1:3])
comparison <- compare(a1,a2,allowAll=TRUE)
comparison$tM
# a b
#1 1 a
#2 2 b
#3 3 c
Функция compare дает вам большую гибкость в отношении того, какие сравнения допустимы (например, изменение порядка элементов каждого вектора, изменение порядка и имен переменных, сокращение переменных, изменение случая строк). Из этого вы должны быть в состоянии выяснить, чего не хватает в том или ином. Например (это не очень элегантно):
difference <-
data.frame(lapply(1:ncol(a1),function(i)setdiff(a1[,i],comparison$tM[,i])))
colnames(difference) <- colnames(a1)
difference
# a b
#1 4 d
#2 5 e
Ответ 2
SQLDF обеспечивает хорошее решение
a1 <- data.frame(a = 1:5, b=letters[1:5])
a2 <- data.frame(a = 1:3, b=letters[1:3])
require(sqldf)
a1NotIna2 <- sqldf('SELECT * FROM a1 EXCEPT SELECT * FROM a2')
И строки, которые находятся в обоих кадрах данных:
a1Ina2 <- sqldf('SELECT * FROM a1 INTERSECT SELECT * FROM a2')
В новой версии dplyr имеется функция anti_join для точно таких сравнений
require(dplyr)
anti_join(a1,a2)
И semi_join для фильтрации строк в a1, которые также находятся в a2
semi_join(a1,a2)
Ответ 3
Это определенно неэффективно для этой конкретной цели, но то, что я часто делаю в этих ситуациях, заключается в том, чтобы вставлять индикаторные переменные в каждый файл data.frame и затем объединяться:
a1$included_a1 <- TRUE
a2$included_a2 <- TRUE
res <- merge(a1, a2, all=TRUE)
Отсутствующие значения в include_a1 будут отмечать, какие строки отсутствуют в a1. аналогично для a2.
Одна проблема с вашим решением заключается в том, что порядки столбцов должны совпадать. Другая проблема заключается в том, что легко представить себе ситуации, когда строки кодируются как одно и то же, когда на самом деле разные. Преимущество использования слияния заключается в том, что вы получаете бесплатно всю проверку ошибок, которая необходима для хорошего решения.
Ответ 4
В dplyr:
setdiff(a1,a2)
В принципе, setdiff(bigFrame, smallFrame) получает дополнительные записи в первой таблице.
В SQLverse это называется
![Left Excluding Join Venn Diagram]()
Для хороших описаний всех параметров соединения и набора предметов это одно из лучших резюме, которые я видел вместе: http://www.vertabelo.com/blog/technical-articles/sql-joins
Но вернемся к этому вопросу - вот результаты для кода setdiff() при использовании данных OP:
> a1
a b
1 1 a
2 2 b
3 3 c
4 4 d
5 5 e
> a2
a b
1 1 a
2 2 b
3 3 c
> setdiff(a1,a2)
a b
1 4 d
2 5 e
Или даже anti_join(a1,a2) даст вам те же результаты.
Для получения дополнительной информации: https://www.rstudio.com/wp-content/uploads/2015/02/data-wrangling-cheatsheet.pdf
Ответ 5
Я написал пакет (https://github.com/alexsanjoseph/compareDF), так как у меня была такая же проблема.
> df1 <- data.frame(a = 1:5, b=letters[1:5], row = 1:5)
> df2 <- data.frame(a = 1:3, b=letters[1:3], row = 1:3)
> df_compare = compare_df(df1, df2, "row")
> df_compare$comparison_df
row chng_type a b
1 4 + 4 d
2 5 + 5 e
Более сложный пример:
library(compareDF)
df1 = data.frame(id1 = c("Mazda RX4", "Mazda RX4 Wag", "Datsun 710",
"Hornet 4 Drive", "Duster 360", "Merc 240D"),
id2 = c("Maz", "Maz", "Dat", "Hor", "Dus", "Mer"),
hp = c(110, 110, 181, 110, 245, 62),
cyl = c(6, 6, 4, 6, 8, 4),
qsec = c(16.46, 17.02, 33.00, 19.44, 15.84, 20.00))
df2 = data.frame(id1 = c("Mazda RX4", "Mazda RX4 Wag", "Datsun 710",
"Hornet 4 Drive", " Hornet Sportabout", "Valiant"),
id2 = c("Maz", "Maz", "Dat", "Hor", "Dus", "Val"),
hp = c(110, 110, 93, 110, 175, 105),
cyl = c(6, 6, 4, 6, 8, 6),
qsec = c(16.46, 17.02, 18.61, 19.44, 17.02, 20.22))
> df_compare$comparison_df
grp chng_type id1 id2 hp cyl qsec
1 1 - Hornet Sportabout Dus 175 8 17.02
2 2 + Datsun 710 Dat 181 4 33.00
3 2 - Datsun 710 Dat 93 4 18.61
4 3 + Duster 360 Dus 245 8 15.84
5 7 + Merc 240D Mer 62 4 20.00
6 8 - Valiant Val 105 6 20.22
В пакете также есть команда html_output для быстрой проверки
df_compare $html_output ![введите описание изображения здесь]()
Ответ 6
Я адаптировал функцию слияния, чтобы получить эту функциональность. На больших кадрах данных он использует меньше памяти, чем полное решение слияния. И я могу играть с именами ключевых столбцов.
Другим решением является использование проблемы с библиотекой.
# Derived from src/library/base/R/merge.R
# Part of the R package, http://www.R-project.org
#
# This program is free software; you can redistribute it and/or modify
# it under the terms of the GNU General Public License as published by
# the Free Software Foundation; either version 2 of the License, or
# (at your option) any later version.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
# GNU General Public License for more details.
#
# A copy of the GNU General Public License is available at
# http://www.r-project.org/Licenses/
XinY <-
function(x, y, by = intersect(names(x), names(y)), by.x = by, by.y = by,
notin = FALSE, incomparables = NULL,
...)
{
fix.by <- function(by, df)
{
## fix up 'by' to be a valid set of cols by number: 0 is row.names
if(is.null(by)) by <- numeric(0L)
by <- as.vector(by)
nc <- ncol(df)
if(is.character(by))
by <- match(by, c("row.names", names(df))) - 1L
else if(is.numeric(by)) {
if(any(by < 0L) || any(by > nc))
stop("'by' must match numbers of columns")
} else if(is.logical(by)) {
if(length(by) != nc) stop("'by' must match number of columns")
by <- seq_along(by)[by]
} else stop("'by' must specify column(s) as numbers, names or logical")
if(any(is.na(by))) stop("'by' must specify valid column(s)")
unique(by)
}
nx <- nrow(x <- as.data.frame(x)); ny <- nrow(y <- as.data.frame(y))
by.x <- fix.by(by.x, x)
by.y <- fix.by(by.y, y)
if((l.b <- length(by.x)) != length(by.y))
stop("'by.x' and 'by.y' specify different numbers of columns")
if(l.b == 0L) {
## was: stop("no columns to match on")
## returns x
x
}
else {
if(any(by.x == 0L)) {
x <- cbind(Row.names = I(row.names(x)), x)
by.x <- by.x + 1L
}
if(any(by.y == 0L)) {
y <- cbind(Row.names = I(row.names(y)), y)
by.y <- by.y + 1L
}
## create keys from 'by' columns:
if(l.b == 1L) { # (be faster)
bx <- x[, by.x]; if(is.factor(bx)) bx <- as.character(bx)
by <- y[, by.y]; if(is.factor(by)) by <- as.character(by)
} else {
## Do these together for consistency in as.character.
## Use same set of names.
bx <- x[, by.x, drop=FALSE]; by <- y[, by.y, drop=FALSE]
names(bx) <- names(by) <- paste("V", seq_len(ncol(bx)), sep="")
bz <- do.call("paste", c(rbind(bx, by), sep = "\r"))
bx <- bz[seq_len(nx)]
by <- bz[nx + seq_len(ny)]
}
comm <- match(bx, by, 0L)
if (notin) {
res <- x[comm == 0,]
} else {
res <- x[comm > 0,]
}
}
## avoid a copy
## row.names(res) <- NULL
attr(res, "row.names") <- .set_row_names(nrow(res))
res
}
XnotinY <-
function(x, y, by = intersect(names(x), names(y)), by.x = by, by.y = by,
notin = TRUE, incomparables = NULL,
...)
{
XinY(x,y,by,by.x,by.y,notin,incomparables)
}
Ответ 7
Использование пакета diffobj:
library(diffobj)
diffPrint(a1, a2)
diffObj(a1, a2)
![введите описание изображения здесь]()
![введите описание изображения здесь]()
Ответ 8
В ваших данных примера нет дубликатов, но ваше решение обрабатывает их автоматически. Это означает, что потенциально некоторые ответы не будут соответствовать результатам вашей функции в случае дубликатов.
Вот мое решение, которое адресует дубликаты так же, как и ваши. Он также отлично масштабируется!
a1 <- data.frame(a = 1:5, b=letters[1:5])
a2 <- data.frame(a = 1:3, b=letters[1:3])
rows.in.a1.that.are.not.in.a2 <- function(a1,a2)
{
a1.vec <- apply(a1, 1, paste, collapse = "")
a2.vec <- apply(a2, 1, paste, collapse = "")
a1.without.a2.rows <- a1[!a1.vec %in% a2.vec,]
return(a1.without.a2.rows)
}
library(data.table)
setDT(a1)
setDT(a2)
# no duplicates - as in example code
r <- fsetdiff(a1, a2)
all.equal(r, rows.in.a1.that.are.not.in.a2(a1,a2))
#[1] TRUE
# handling duplicates - make some duplicates
a1 <- rbind(a1, a1, a1)
a2 <- rbind(a2, a2, a2)
r <- fsetdiff(a1, a2, all = TRUE)
all.equal(r, rows.in.a1.that.are.not.in.a2(a1,a2))
#[1] TRUE
Ему нужна data.table 1.9.7, которая в настоящее время может быть установлена из исходного репо
install.packages("data.table", type = "source",
repos = "https://Rdatatable.github.io/data.table")
Ответ 9
Может быть, он слишком упрощен, но я использовал это решение, и я считаю его очень полезным, когда у меня есть первичный ключ, который я могу использовать для сравнения наборов данных. Надеюсь, это поможет.
a1 <- data.frame(a = 1:5, b = letters[1:5])
a2 <- data.frame(a = 1:3, b = letters[1:3])
different.names <- (!a1$a %in% a2$a)
not.in.a2 <- a1[different.names,]
Ответ 10
Вы можете использовать daff package (который обертывает daff.js с помощью V8 package):
library(daff)
diff_data(data_ref = a2,
data = a1)
который создает следующий разностный объект:
Daff Comparison: ‘a2’ vs. ‘a1’
First 6 and last 6 patch lines:
@@ a b
1 ... ... ...
2 3 c
3 +++ 4 d
4 +++ 5 e
5 ... ... ...
6 ... ... ...
7 3 c
8 +++ 4 d
9 +++ 5 e
Формат diff описывается в формате флажков Coopy highlighter для таблиц и должен быть довольно понятным. Линии с +++ в первом столбце @@ являются теми, которые являются новыми в a1 и не присутствуют в a2.
Разностный объект можно использовать для patch_data(), чтобы сохранить разницу для целей документации, используя write_diff() или визуализировать разницу, используя render_diff():
render_diff(
diff_data(data_ref = a2,
data = a1)
)
который генерирует аккуратный вывод HTML:
![введите описание изображения здесь]()
Ответ 11
Еще одно решение, основанное на match_df в plyr.
Здесь plyr match_df:
match_df <- function (x, y, on = NULL)
{
if (is.null(on)) {
on <- intersect(names(x), names(y))
message("Matching on: ", paste(on, collapse = ", "))
}
keys <- join.keys(x, y, on)
x[keys$x %in% keys$y, , drop = FALSE]
}
Мы можем изменить его для отрицания:
library(plyr)
negate_match_df <- function (x, y, on = NULL)
{
if (is.null(on)) {
on <- intersect(names(x), names(y))
message("Matching on: ", paste(on, collapse = ", "))
}
keys <- join.keys(x, y, on)
x[!(keys$x %in% keys$y), , drop = FALSE]
}
Тогда:
diff <- negate_match_df(a1,a2)
