HDFSへをputできません!

496 views
Skip to first unread message

Yuu Nakata

unread,
Dec 10, 2013, 10:49:20 PM12/10/13
to hado...@googlegroups.com
いつもお世話になっております。

CDH4の擬似分散での環境で、ローカルファイルシステムからHDFSへファイルをあげようとすると、エラーが起こります。
以前までは問題なくできていたのですが、何か問題あることをしてしまったのか(覚えていません・・・)できなくなりました。

以下ではローカルのtestFileをHDFS上の/user/root/におこうとすると、エラーが起きます。

[root@localhost ~]# hadoop fs -put testFile /user/root/
13/12/11 12:42:21 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/testFile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and no node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1339)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2198)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:501)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:299)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44954)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1751)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1747)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1745)

    at org.apache.hadoop.ipc.Client.call(Client.java:1237)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
    at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
    at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:291)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1177)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1030)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:488)
put: File /user/root/testFile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and no node(s) are excluded in this operation.
13/12/11 12:42:21 ERROR hdfs.DFSClient: Failed to close file /user/root/testFile._COPYING_
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/testFile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and no node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1339)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2198)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:501)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:299)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44954)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1751)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1747)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1745)

    at org.apache.hadoop.ipc.Client.call(Client.java:1237)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
    at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
    at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:291)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1177)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1030)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:488)

また、lsコマンドをすると、HDFS上のすべてのディレクトリ/ファイル0MBになっていることも原因のひとつとは思うのですが、なぜ起きてしまったのかがわかりません。
[root@localhost ~]# hadoop fs -ls
Found 22 items
drwxr-xr-x   - root supergroup          0 2013-12-09 20:33 -output
drwxr-xr-x   - root supergroup          0 2013-12-10 11:39 TEST_OUT
drwxr-xr-x   - root supergroup          0 2013-12-11 11:59 TMPIN
drwxr-xr-x   - root supergroup          0 2013-12-09 09:29 db
drwxr-xr-x   - root supergroup          0 2013-12-10 13:17 inputURL
drwxr-xr-x   - root supergroup          0 2013-10-15 16:59 input_itemlist
drwxr-xr-x   - root supergroup          0 2013-10-15 16:58 input_sales
drwxr-xr-x   - root supergroup          0 2013-10-15 16:59 input_sales_detail
drwxr-xr-x   - root supergroup          0 2013-10-15 16:59 input_shoplist
drwxr-xr-x   - root supergroup          0 2013-12-09 21:21 output_mr1
drwxr-xr-x   - root supergroup          0 2013-10-15 19:25 output_new_job1
drwxr-xr-x   - root supergroup          0 2013-10-15 19:47 output_new_job2
drwxr-xr-x   - root supergroup          0 2013-12-09 20:48 output_streaming
drwxr-xr-x   - root supergroup          0 2013-12-09 21:10 output_streaming2
drwxr-xr-x   - root supergroup          0 2013-12-11 12:04 ruby
drwxr-xr-x   - root supergroup          0 2013-12-11 12:04 test
drwxr-xr-x   - root supergroup          0 2013-12-09 20:23 testStreaming
drwxr-xr-x   - root supergroup          0 2013-10-16 19:21 testinput
drwxr-xr-x   - root supergroup          0 2013-10-26 16:58 testinput2
drwxr-xr-x   - root supergroup          0 2013-10-16 19:43 testoutput
drwxr-xr-x   - root supergroup          0 2013-12-11 10:38 tmp
drwxr-xr-x   - root supergroup          0 2013-12-09 20:36 wordcount_new


どなたか解決方法をわかる方はいらっしゃいませんか。
よろしくお願いします。

Tatsuo Kawasaki

unread,
Dec 10, 2013, 11:02:31 PM12/10/13
to hado...@googlegroups.com
Nakataさん

こんにちは、川崎と申します。

ディレクトリのサイズが0で表示されるのは問題ないと
思います。

sudo -u hdfs hadoop fsck / 
sudo -u hdfs hadoop dfsadmin -report

の結果を教えていただけないでしょうか?

以上、よろしくお願い致します。
--
Cloudera 川崎

 


2013/12/11 Yuu Nakata <i7tsu...@gmail.com>

--
 
---
このメールは Google グループのグループ「Hadoopユーザー会」の登録者に送られています。
このグループから退会し、メールの受信を停止するには、hadoop-jp+...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。

Yuu Nakata

unread,
Dec 11, 2013, 1:02:49 AM12/11/13
to hado...@googlegroups.com, kawa...@wwing.net
川崎様 
ご返信ありがとうございます。

示していただいたコマンドを試そうとOSを起動したところ、
なんらかの不具合により起動できなくなってしまい、再インストールを検討していたところです。

再びこのような現象が起こり、解決できなくなった場合はお世話になるかと思いますので、
その際はよろしくお願いします。
お騒がせしました。


2013年12月11日水曜日 13時02分31秒 UTC+9 Tatsuo Kawasaki:


2013/12/11 Yuu Nakata <i7tsu...@gmail.com>
このグループから退会し、メールの受信を停止するには、hadoop-jp+unsubscribe@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。

Tatsuo Kawasaki

unread,
Dec 11, 2013, 10:01:50 AM12/11/13
to hado...@googlegroups.com
こんばんは。

なんと、それは大変でしたね... 
もし再発したらお知らせ下さい。

なお、CDHに特化した話であれば、cdh-user-jpというメーリング
リストもありますので、念のためお知らせしておきます。

川崎


2013/12/11 Yuu Nakata <i7tsu...@gmail.com>
このグループから退会し、メールの受信を停止するには、hadoop-jp+...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。

Message has been deleted

Yuu Nakata

unread,
Dec 11, 2013, 5:44:01 PM12/11/13
to hado...@googlegroups.com, kawa...@wwing.net
川崎 様

そのようなメーリングリストがあることは存じていませんでした。
次回から利用させていただきます!


2013年12月12日木曜日 0時01分50秒 UTC+9 Tatsuo Kawasaki:
Reply all
Reply to author
Forward
0 new messages