Ответ 1
Я думаю, что самый лучший способ сделать это в dplyr
library(dplyr)
shop %>%
group_by(shop_id, shop_name, city) %>%
summarise_all(sum)
Сумма по отдельному значению столбца в R
У меня очень большой фрейм данных в R и я хотел бы суммировать два столбца для каждого отдельного значения в других столбцах, например, например, у нас были данные о кадре данных транзакций в разных магазинах в течение дня следующим образом
shop <- data.frame('shop_id' = c(1, 1, 1, 2, 3, 3),
'shop_name' = c('Shop A', 'Shop A', 'Shop A', 'Shop B', 'Shop C', 'Shop C'),
'city' = c('London', 'London', 'London', 'Cardiff', 'Dublin', 'Dublin'),
'sale' = c(12, 5, 9, 15, 10, 18),
'profit' = c(3, 1, 3, 6, 5, 9))
который:
shop_id shop_name city sale profit
1 Shop A London 12 3
1 Shop A London 5 1
1 Shop A London 9 3
2 Shop B Cardiff 15 6
3 Shop C Dublin 10 5
3 Shop C Dublin 18 9
И я хотел бы суммировать продажи и прибыль для каждого магазина, чтобы дать:
shop_id shop_name city sale profit
1 Shop A London 26 7
2 Shop B Cardiff 15 6
3 Shop C Dublin 28 14
В настоящее время я использую следующий код:
shop_day <-ddply(shop, "shop_id", transform, sale=sum(sale), profit=sum(profit))
shop_day <- subset(shop_day, !duplicated(shop_id))
который работает абсолютно нормально, но, как я уже сказал, мой фреймворк большой (140 000 строк, 37 столбцов и почти 100 000 уникальных строк, которые я хочу суммировать), и мой код требует времени для запуска, а затем, в конце концов, говорит, что у него закончилась нехватка памяти.
Кто-нибудь знает о самом эффективном способе сделать это.
Спасибо заранее!
Ответы
Ответ 2
** Ответ на таблицу обязательных данных **
> library(data.table)
data.table 1.8.0 For help type: help("data.table")
> shop.dt <- data.table(shop)
> shop.dt[,list(sale=sum(sale), profit=sum(profit)), by='shop_id']
shop_id sale profit
[1,] 1 26 7
[2,] 2 15 6
[3,] 3 28 14
>
Что звучит прекрасно и хорошо, пока вещи не станут больше...
shop <- data.frame(shop_id = letters[1:10], profit=rnorm(1e7), sale=rnorm(1e7))
shop.dt <- data.table(shop)
> system.time(ddply(shop, .(shop_id), summarise, sale=sum(sale), profit=sum(profit)))
user system elapsed
4.156 1.324 5.514
> system.time(shop.dt[,list(sale=sum(sale), profit=sum(profit)), by='shop_id'])
user system elapsed
0.728 0.108 0.840
>
Вы получаете дополнительное увеличение скорости, если вы создаете таблицу данных с помощью клавиши:
shop.dt <- data.table(shop, key='shop_id')
> system.time(shop.dt[,list(sale=sum(sale), profit=sum(profit)), by='shop_id'])
user system elapsed
0.252 0.084 0.336
>
Ответ 3
Здесь, как использовать base R для ускорения операций, таких как:
idx <- split(1:nrow(shop), shop$shop_id)
a2 <- data.frame(shop_id=sapply(idx, function(i) shop$shop_id[i[1]]),
sale=sapply(idx, function(i) sum(shop$sale[i])),
profit=sapply(idx, function(i) sum(shop$profit[i])) )
Время сокращается до 0,75 с против 5,70 с для версии ddply в моей системе.
Ответ 4
На всякий случай, если у вас длинный список столбцов, используйте sumrize_if()
Суммирует все столбцы, если тип данных int
library(dplyr)
shop %>%
group_by(shop_id, shop_name, city) %>%
summarise_if(is.integer, sum)