Использование Phoenix с Cloudera Hbase (установлено из репо)

Я могу заставить Phoenix работать на автономном Apache Hbase

Для аромата Cloudera Hbase, тем не менее, я никогда не получаю работу, не бросая Исключения. (даже попробовал RHEL7 минимальный как en OS)

Ответы

Ответ 1

Cloudera официально не поддерживает Apache phoenix, он все еще находится в cloudera Labs, поэтому вы не можете найти файлы Cloudera Pheonix tar.gz в репозитории cloudera. Единственное место, где вы можете найти Phoenix в репозитории Cloudera, находится в пакете , но посылка может использоваться только при установке через менеджера cloudera, последняя доступная версия cloudera Phoenix - это 4.3.0.

Если вы хотите выполнить версию Phoenix 4.4 или 4.5 на дистрибутиве Cloudera Hadoop, вам необходимо перестроить библиотеки phoenix, используя банки зависимости CDH. Вы не можете просто использовать apache Phoenix tar.gz

Вот шаги.

Недавно я обнаружил, что Andrew Purtell проделал огромную работу, чтобы сделать Phoenix совместимым с версией CDH. То же самое можно найти на странице github ниже. Загрузите соответствующую ветку из приведенной ниже ссылки github. Это экономит ваше время.

https://github.com/chiastic-security/phoenix-for-cloudera/branches

Загрузите Apache phoenix 4.5 из Apache репозиторий. (Пропустите этот шаг, если вы загружаетесь с указанной выше страницы github)

Восстановить исходный код с помощью CDH-зависимых jars - обновить pom.xml и 2 исходных файла следующим образом (Моя версия CDH - 5.4.2)

[[email protected] phoenix]$ diff phoenix-4.5_Updated/phoenix-4.5.0-HBase-1.0-src/pom.xml  phoenix-4.5_Orig/phoenix-4.5.0-HBase-1.0-src/pom.xml
28c28
< <!--    <module>phoenix-pig</module> -->
---
>     <module>phoenix-pig</module>
37a38,41
>       <id>apache release</id>
>       <url>https://repository.apache.org/content/repositories/releases/</url>
>     </repository>
>     <repository>
42,43c46,50
<       <id>cloudera</id>
<       <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
---
>       <id>apache snapshot</id>
>       <url>https://repository.apache.org/content/repositories/snapshots/</url>
>       <snapshots>
>         <enabled>true</enabled>
>       </snapshots>
45d51
<
54d59
<
77,81c82,83
<     <hbase.version>1.0.0-cdh5.4.2</hbase.version>
<     <hadoop-two.version>2.6.0-cdh5.4.2</hadoop-two.version>
/<     <hadoop.version>2.6.0-cdh5.4.2</hadoop.version>
<     <pig.version>0.12.0</pig.version>
<     <flume.version>1.5.0-cdh5.4.2</flume.version>
---
>     <hbase.version>1.0.1</hbase.version>
>     <hadoop-two.version>2.5.1</hadoop-two.version>
84a87,88
>     <hadoop.version>2.5.1</hadoop.version>
>     <pig.version>0.13.0</pig.version>
97a102
>     <flume.version>1.4.0</flume.version>
449,450c454
<
<   <dependency>
---
>       <dependency>
454c458
<       </dependency>
---
>       </dependency>

[[email protected] phoenix]$ diff phoenix-4.5_Updated/phoenix-4.5.0-HBase-1.0-src/phoenix-core/src/main/java/org/apache/hadoop/hbase/regionserver/LocalIndexMerger.java  phoenix-4.5_Orig/phoenix-4.5.0-HBase-1.0-src/phoenix-core/src/main/java/org/apache/hadoop/hbase/regionserver/LocalIndexMerger.java
84c84
<                     rss.getServerName(), metaEntries,1);
---
>                     rss.getServerName(), metaEntries);

[[email protected] phoenix]$ diff phoenix-4.5_Updated/phoenix-4.5.0-HBase-1.0-src/phoenix-core/src/main/java/org/apache/hadoop/hbase/regionserver/IndexSplitTransaction.java phoenix-4.5_Orig/phoenix-4.5.0-HBase-1.0-src/phoenix-core/src/main/java/org/apache/hadoop/hbase/regionserver/IndexSplitTransaction.java
291c291
<                 daughterRegions.getSecond().getRegionInfo(), server.getServerName(),1);
---
>                 daughterRegions.getSecond().getRegionInfo(), server.getServerName());
978c978
< }
---
> }
\ No newline at end of file

Выше сборки создадут новые Jars в целевом каталоге каждого дополнительного компонента.
Загрузите Apache phoenix 4.5 из Apache репозиторий
Извлеките phoenix-4.5.0-HBase-1.0-bin.tar.gz и замените нижние феникс-банки новыми банками
- phoenix-4.5.0-HBase-1.0-client.jar
- Феникс-4.5.0-HBase-1,0-сервер-без antlr.jar
- phoenix-4.5.0-HBase-1.0-client-minimal.jar
- Феникс-сборочно-4.5.0-HBase-1,0-tests.jar
- phoenix-4.5.0-HBase-1.0-client-without-hbase.jar
- phoenix-core-4.5.0-HBase-1.0.jar
- Феникс-4.5.0-HBase-1,0-server.jar
Замените phoenix-4.5.0-HBase-1.0-server.jar и phoenix-core-4.5.0-HBase-1.0.jar в каталоге hbase lib и перезапустите hbase. (В 4.7 только скопировать phoenix-4.7.0-cdh5.X.1-server.jar в hbase lib)
Выполнить команду phoenix из новой обновленной директории.

Из-за некоторых проблем зависимости phoenix-pig не обрабатывается, это всего лишь обходной путь.

Использование Phoenix с Cloudera Hbase (установлено из репо)

Ответы

Ответ 1

Ответ 2