Является ли Spark SQL UDAF (пользовательская агрегатная функция) доступной в API Python?

По Spark 1.5.0 представляется возможным написать собственный UDAF для пользовательских агрегаций в DataFrames: Spark 1.5 Основные характеристики API DataFrame: обработка даты/времени/строк, интервалы времени и UDAF

Однако мне непонятно, поддерживается ли эта функциональность в API Python?

Ответы

Ответ 1

Вы не можете определить UDAF Python в Spark 1.5.0-2.0.0. JIRA отслеживает этот запрос функции:

разрешено с целью "позже", поэтому, вероятно, это не произойдет в ближайшее время.

Вы можете использовать Scala UDAF от PySpark - описано Искра: как сопоставить Python с Scala или функциями, определенными пользователем Java?