Доступна команда свободного пространства HDFS

Есть ли команда hdfs для просмотра свободного места в hdf. Мы видим, что через браузер у мастера: hdfsport в браузере, но по какой-то причине я не могу получить к нему доступ, и мне нужна некоторая команда. Я вижу использование диска с помощью команды. /bin/hadoop fs -du -h, но не вижу свободного места.

Спасибо за ответ заранее.

Ответы

Ответ 1

Попробуйте следующее:

hdfs dfsadmin -report

В более старых версиях Hadoop попробуйте следующее:

hadoop dfsadmin -report

Ответ 2

Методы

1. dfsadmin

В новых версиях HDFS hasoop CLI для dfsadmin устарел:

$ sudo -u hdfs hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

Таким образом, вы должны использовать только hdfs на этом этапе. Кроме того, когда в системах, где требуется sudo, вы запускаете его следующим образом:

$ sudo -u hdfs hdfs dfsadmin -report
2. fs -df

У вас есть дополнительный метод, доступный через модуль fs до hadoop:

$ hadoop fs -df -h

Пример вывода

dfsadmin

Кроме того, чтобы дать более подробный ответ на этот вопрос, какой результат будет выглядеть из одной установки node.

$ sudo -u hdfs hdfs dfsadmin -report
Configured Capacity: 7504658432 (6.99 GB)
Present Capacity: 527142912 (502.72 MB)
DFS Remaining: 36921344 (35.21 MB)
DFS Used: 490221568 (467.51 MB)
DFS Used%: 93.00%
Under replicated blocks: 128
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (1):

Name: 192.168.114.48:50010 (host-192-168-114-48.td.local)
Hostname: host-192-168-114-48.td.local
Decommission Status : Normal
Configured Capacity: 7504658432 (6.99 GB)
DFS Used: 490221568 (467.51 MB)
Non DFS Used: 6977515520 (6.50 GB)
DFS Remaining: 36921344 (35.21 MB)
DFS Used%: 6.53%
DFS Remaining%: 0.49%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 2
Last contact: Thu Feb 04 13:35:04 EST 2016

В приведенном выше примере пространство жесткого диска HDFS использовалось на 100%.

fs -df

Эта же система с подкомандой -df из модуля fs:

$ hadoop fs -df -h
Filesystem                                 Size     Used  Available  Use%
hdfs://host-192-168-114-48.td.local:8020  7.0 G  467.5 M     18.3 M    7%

Ответ 3

Hadoop версия 1:

hadoop fs -df -h

ИЛИ

hadoop dfsadmin -report

Версия Hadoop 2:

hdfs dfs -df -h

ИЛИ

hadoop dfsadmin -report