Библиотека для градиентного дерева
Знаете ли вы о хорошей библиотеке для обучения машинам с использованием градиента?
предпочтительно:
- с хорошими алгоритмами, такими как AdaBoost, TreeBoost, AnyBoost, LogitBoost и т.д.
- с настраиваемыми слабыми классификаторами
- способный как к классификации, так и к прогнозированию (регрессии)
- со всеми видами разрешенных сигналов: номерами, категориями или свободным текстом
- C/С++ или Python
- с открытым исходным кодом
До сих пор я нашел http://www.multiboost.org/home, который выглядит хорошо. Но мне интересно, есть ли другие библиотеки?
Ответы
Ответ 1
Если вы ищете версию python, последняя версия scikit-learn содержит градиентные деревья регрессии для классификации и регрессии (docs).
Он похож на R gbm package - gbm быстрее для регрессии (наименьших квадратов), когда реализация scikit-learn выполняется быстрее при тестировании и когда количество функций > 1000.
Ответ 2
Они не обязательно соответствуют всем вашим предпочтениям, но также:
- Treenet коммерциализация и расширение оригинальной реализации Джерома Фридмана. Не с открытым исходным кодом, но мы обнаружили, что он работает очень хорошо.
- R gbm package для градиентных усиленных деревьев.
Ответ 3
Я бы порекомендовал xgboost (чего не было к тому моменту, когда задавался вопрос), который представляет собой пакет R/python с открытым исходным кодом.
В настоящее время он является одним из самых быстрых методов повышения уровня градиента, который существует, позволяет регрессировать/классифицировать, поддерживает разреженные матрицы...
Ответ 4
Лично я предпочитаю использовать weka (это java), используя модуль подпроцесса python. Однако мои коллеги часто используют:
- orange - рекомендуется мне как лучший инструментарий машинного обучения для Python.
- opencv - это С++, но имеет привязки python. Эта библиотека была первоначально разработана для Computer Vision, но реализовано множество алгоритмов ML (включая boosting).