Совокупная функция в искро-sql не найдена

Я новичок в Spark, и я пытаюсь использовать некоторые совокупные функции, такие как sum или avg. Мой запрос в искровой оболочке отлично работает:

val somestats = pf.groupBy("name").agg(sum("days")).show()

Когда я пытаюсь запустить его из проекта scala, он не работает, бросая сообщение об ошибке

not found: value sum

Я попытался добавить

import sqlContext.implicits._
import org.apache.spark.SparkContext._

перед командой, но это не помогает. Моя искра версии 1.4.1 Я что-то пропустил?

Ответы

Ответ 1

Вам нужен этот импорт:

import org.apache.spark.sql.functions._

Ответ 2

Вы можете использовать метод sum непосредственно на GroupedData (groupBy возвращает этот тип)

val somestats = pf.groupBy("name").sum("days").show()