HDFSへをputできません！
496 views
Skip to first unread message
Yuu Nakata
Dec 10, 2013, 10:49:20 PM12/10/13
to hado...@googlegroups.com
いつもお世話になっております。
CDH4の擬似分散での環境で、ローカルファイルシステムからHDFSへファイルをあげようとすると、エラーが起こります。
以前までは問題なくできていたのですが、何か問題あることをしてしまったのか（覚えていません・・・）できなくなりました。
以下ではローカルのtestFileをHDFS上の/user/root/におこうとすると、エラーが起きます。
[root@localhost ~]# hadoop fs -put testFile /user/root/
13/12/11 12:42:21 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/testFile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1339)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2198)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:501)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:299)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44954)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1751)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1747)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1745)
at org.apache.hadoop.ipc.Client.call(Client.java:1237)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:291)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1177)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1030)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:488)
put: File /user/root/testFile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.
13/12/11 12:42:21 ERROR hdfs.DFSClient: Failed to close file /user/root/testFile._COPYING_
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/testFile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1339)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2198)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:501)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:299)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44954)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1751)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1747)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1745)
at org.apache.hadoop.ipc.Client.call(Client.java:1237)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:291)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1177)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1030)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:488)
また、lsコマンドをすると、HDFS上のすべてのディレクトリ/ファイル0MBになっていることも原因のひとつとは思うのですが、なぜ起きてしまったのかがわかりません。
[root@localhost ~]# hadoop fs -ls
Found 22 items
drwxr-xr-x - root supergroup 0 2013-12-09 20:33 -output
drwxr-xr-x - root supergroup 0 2013-12-10 11:39 TEST_OUT
drwxr-xr-x - root supergroup 0 2013-12-11 11:59 TMPIN
drwxr-xr-x - root supergroup 0 2013-12-09 09:29 db
drwxr-xr-x - root supergroup 0 2013-12-10 13:17 inputURL
drwxr-xr-x - root supergroup 0 2013-10-15 16:59 input_itemlist
drwxr-xr-x - root supergroup 0 2013-10-15 16:58 input_sales
drwxr-xr-x - root supergroup 0 2013-10-15 16:59 input_sales_detail
drwxr-xr-x - root supergroup 0 2013-10-15 16:59 input_shoplist
drwxr-xr-x - root supergroup 0 2013-12-09 21:21 output_mr1
drwxr-xr-x - root supergroup 0 2013-10-15 19:25 output_new_job1
drwxr-xr-x - root supergroup 0 2013-10-15 19:47 output_new_job2
drwxr-xr-x - root supergroup 0 2013-12-09 20:48 output_streaming
drwxr-xr-x - root supergroup 0 2013-12-09 21:10 output_streaming2
drwxr-xr-x - root supergroup 0 2013-12-11 12:04 ruby
drwxr-xr-x - root supergroup 0 2013-12-11 12:04 test
drwxr-xr-x - root supergroup 0 2013-12-09 20:23 testStreaming
drwxr-xr-x - root supergroup 0 2013-10-16 19:21 testinput
drwxr-xr-x - root supergroup 0 2013-10-26 16:58 testinput2
drwxr-xr-x - root supergroup 0 2013-10-16 19:43 testoutput
drwxr-xr-x - root supergroup 0 2013-12-11 10:38 tmp
drwxr-xr-x - root supergroup 0 2013-12-09 20:36 wordcount_new
どなたか解決方法をわかる方はいらっしゃいませんか。
よろしくお願いします。
CDH4の擬似分散での環境で、ローカルファイルシステムからHDFSへファイルをあげようとすると、エラーが起こります。
以前までは問題なくできていたのですが、何か問題あることをしてしまったのか（覚えていません・・・）できなくなりました。
以下ではローカルのtestFileをHDFS上の/user/root/におこうとすると、エラーが起きます。
[root@localhost ~]# hadoop fs -put testFile /user/root/
13/12/11 12:42:21 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/testFile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1339)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2198)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:501)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:299)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44954)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1751)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1747)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1745)
at org.apache.hadoop.ipc.Client.call(Client.java:1237)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:291)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1177)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1030)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:488)
put: File /user/root/testFile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.
13/12/11 12:42:21 ERROR hdfs.DFSClient: Failed to close file /user/root/testFile._COPYING_
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/testFile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1339)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2198)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:501)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:299)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44954)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1751)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1747)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1745)
at org.apache.hadoop.ipc.Client.call(Client.java:1237)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:291)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1177)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1030)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:488)
また、lsコマンドをすると、HDFS上のすべてのディレクトリ/ファイル0MBになっていることも原因のひとつとは思うのですが、なぜ起きてしまったのかがわかりません。
[root@localhost ~]# hadoop fs -ls
Found 22 items
drwxr-xr-x - root supergroup 0 2013-12-09 20:33 -output
drwxr-xr-x - root supergroup 0 2013-12-10 11:39 TEST_OUT
drwxr-xr-x - root supergroup 0 2013-12-11 11:59 TMPIN
drwxr-xr-x - root supergroup 0 2013-12-09 09:29 db
drwxr-xr-x - root supergroup 0 2013-12-10 13:17 inputURL
drwxr-xr-x - root supergroup 0 2013-10-15 16:59 input_itemlist
drwxr-xr-x - root supergroup 0 2013-10-15 16:58 input_sales
drwxr-xr-x - root supergroup 0 2013-10-15 16:59 input_sales_detail
drwxr-xr-x - root supergroup 0 2013-10-15 16:59 input_shoplist
drwxr-xr-x - root supergroup 0 2013-12-09 21:21 output_mr1
drwxr-xr-x - root supergroup 0 2013-10-15 19:25 output_new_job1
drwxr-xr-x - root supergroup 0 2013-10-15 19:47 output_new_job2
drwxr-xr-x - root supergroup 0 2013-12-09 20:48 output_streaming
drwxr-xr-x - root supergroup 0 2013-12-09 21:10 output_streaming2
drwxr-xr-x - root supergroup 0 2013-12-11 12:04 ruby
drwxr-xr-x - root supergroup 0 2013-12-11 12:04 test
drwxr-xr-x - root supergroup 0 2013-12-09 20:23 testStreaming
drwxr-xr-x - root supergroup 0 2013-10-16 19:21 testinput
drwxr-xr-x - root supergroup 0 2013-10-26 16:58 testinput2
drwxr-xr-x - root supergroup 0 2013-10-16 19:43 testoutput
drwxr-xr-x - root supergroup 0 2013-12-11 10:38 tmp
drwxr-xr-x - root supergroup 0 2013-12-09 20:36 wordcount_new
どなたか解決方法をわかる方はいらっしゃいませんか。
よろしくお願いします。
Tatsuo Kawasaki
Dec 10, 2013, 11:02:31 PM12/10/13
to hado...@googlegroups.com
Nakataさん
ディレクトリのサイズが0で表示されるのは問題ないと
思います。
sudo -u hdfs hadoop fsck /
と
sudo -u hdfs hadoop dfsadmin -report
の結果を教えていただけないでしょうか？
以上、よろしくお願い致します。
--
Cloudera 川崎
--
---
このメールは Google グループのグループ「Hadoopユーザー会」の登録者に送られています。
このグループから退会し、メールの受信を停止するには、hadoop-jp+...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
Yuu Nakata
Dec 11, 2013, 1:02:49 AM12/11/13
to hado...@googlegroups.com, kawa...@wwing.net
川崎様
再びこのような現象が起こり、解決できなくなった場合はお世話になるかと思いますので、
2013年12月11日水曜日 13時02分31秒 UTC+9 Tatsuo Kawasaki:
ご返信ありがとうございます。
示していただいたコマンドを試そうとOSを起動したところ、
なんらかの不具合により起動できなくなってしまい、再インストールを検討していたところです。
再びこのような現象が起こり、解決できなくなった場合はお世話になるかと思いますので、
その際はよろしくお願いします。
お騒がせしました。
2013年12月11日水曜日 13時02分31秒 UTC+9 Tatsuo Kawasaki:
このグループから退会し、メールの受信を停止するには、hadoop-jp+unsubscribe@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
Tatsuo Kawasaki
Dec 11, 2013, 10:01:50 AM12/11/13
to hado...@googlegroups.com
こんばんは。
なんと、それは大変でしたね...
もし再発したらお知らせ下さい。
なお、CDHに特化した話であれば、cdh-user-jpというメーリング
リストもありますので、念のためお知らせしておきます。
川崎
このグループから退会し、メールの受信を停止するには、hadoop-jp+...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
Message has been deleted
Yuu Nakata
Dec 11, 2013, 5:44:01 PM12/11/13
to hado...@googlegroups.com, kawa...@wwing.net
川崎 様
2013年12月12日木曜日 0時01分50秒 UTC+9 Tatsuo Kawasaki:
そのようなメーリングリストがあることは存じていませんでした。
次回から利用させていただきます！
2013年12月12日木曜日 0時01分50秒 UTC+9 Tatsuo Kawasaki:
Reply all
Reply to author
Forward
0 new messages