共有ストレージ間のコピーエラーについて

[平野則之]

澤津さま、はじめまして。

昨年RapidCopyを導入しました旧キュー・テック現クープの平野と申します。

こちらのグループは山崎さまよりご紹介いただきました。

さて、RapidCopyのエラーコード確認とコピーエラー原因を解決したくお伺いします。

Protoolsの音響データバックアップを行っておりまして、以下のケースでコピーエラーが出たり出なかったりする事があり、お尋ねしたい次第です。

作業の段取り

①Ptotoolsから外付けHDDにコピーされたタグ付管理済のHDDデータをRapidCopyで

　NASのヘッドがLinuxのXFS共有ストレージＡにCopy

　→ほとんどエラーは出ないです

②共有ストレージＡからNASのヘッドがWin2019のNTFS共有ストレージBに

　RapidCopyでコピーの際、完了する事もあれば、以下のエラーでNGになる

　→10回作業して2～3回エラー発生

・コピー／ベリファイ出来ていない

MakeDigestAsync:open(errno:2 ファイルまたはディレクトリが見つからないので対象ファイルへの処理をキャンセルしました。実在を確認してください。

・コピー・ベリファイ出来ていない
WriteFileWithReduce(errno:60 タイムアウトを検知しました。ネットワーク環境や相手システムが正常か確認してください。  

・コピー出来ていない
WriteFileProc:open()ファイル/フォルダ名にWindows固有禁則文字が含まれている可能性があります。ファイル名を変更してください。

・ベリファイ出来ていない
MakeDigestAsync:ReadFileWithReduce(errno:5 I/Oエラーが発生しました。デバイスまたはファイルシステムが正常か確認してください。  

共有ストレージ間であればFastCopyでの複製も検討したのですが、MACのタグが外れてしまうため選択から外し、RapidCopyで作業を進めた次第です。

また、HDD上にProtoolsデータ12万点程度のデータを共有ストレージAにコピーの際、

6万ファイルでコピーが止まりベリファイ処理がかかりエラー終了した経験もあります。

共有ストレージ側のサーバーログを管理者に確認したところ問題なしとの回答。

MAC OSは10.15.7でiMACで作業。

共有ストレージは10G網もMAC端末からは1Gbpsでアクセス。

RapidCopyHELPを見てBufferを8MB、先読みを有効に設定も傾向は変わらず。

以上の情報で何かお分かりになる様でしたらお知らせ頂きたい次第です。

以上、よろしくお願いいたします。

　

[Kengo Sawatsu]

開発者の澤津です。

いただいた概要のみですとざっくりした回答しかできませんが、以下、参考にしてください。

＜MakeDigestAsync:open(errno:2 ファイルまたはディレクトリが見つからないので対象ファイルへの処理をキャンセルしました。実在を確認してください。

メッセージの通りですが、メッセージに出ているファイルの実在とアクセス権を確認してください。

Protoolsからアクセスされるデータの場合、Protools側のリネーム、アクセス権限変更などでエラーが起きることがよくあります。

弊社社内のprotools共有用サーバでもよく発生しますが、これはprotools側が不定期にアクセスしてしまうがゆえの問題なので、

RapidCopy側では対処できません。

＜WriteFileWithReduce(errno:60 タイムアウトを検知しました。ネットワーク環境や相手システムが正常か確認してください。  

WifiやLAN配線不良などがない限り、なかなかでることが考えられないエラーコードです。

ファイル共有の接続プロトコルや書き込み先の相手システムのハードウェアの構成や挙動次第なので、相手システムを調査するしかありません。

＜WriteFileProc:open()ファイル/フォルダ名にWindows固有禁則文字が含まれている可能性があります。ファイル名を変更してください。

メッセージにある通りです、「AUX」など、Windowsには太古の慣習の仕様やシステム内部仕様の都合でどうしても存在が許されないファイル名、フォルダ名称があります。

https://learn.microsoft.com/en-us/windows/win32/fileio/naming-a-file

CON, PRN, AUX, NUL, COM0, COM1, COM2, COM3, COM4, COM5, COM6, COM7, COM8, COM9, LPT0, LPT1, LPT2, LPT3, LPT4, LPT5, LPT6, LPT7, LPT8, and LPT9

問題となっているファイルをリネームするなどして対応してください。

＜ 共有ストレージ間であればFastCopyでの複製も検討したのですが、MACのタグが外れてしまうため選択から外し、RapidCopyで作業を進めた次第です。

共有ストレージAの仕様にもよりますが、MACのタグはWindowsサーバに格納する場合はNTFSの「副次ストリーム」として記録されます。

FastCopyの前面画面設定で「副次ストリーム」を有効にして、コピーを実施してみてください。

以上、参考にしてください。

2023年1月19日木曜日 18:31:19 UTC+9 平野則之:

[平野則之]

澤津さま

ご回答ありがとうございます。

アクセス権については特定できましたので手作業で解決しました。

FASTCOPYの副次ストリームについてはHash値記録しか頭になくて、MACのタグも副次ストリームとして追記可能、目からうろこです。

別作業でMACが空いていない時にLTO接続用のWIN端末にFASTCOPY副次ストリームONで共有ストレージBから問題なくコピー移動できました。

端末スケジュールがこれで楽になりそうです。

さて、悩ましいのは共有ストレージAのLinux環境共有ストレージAに残っているデータです。

共有ストレージAのProtoolsデータをMACから見た時はMACのタグが見えますが、WIN端末経由でFASTCOPY、WINコマンドラインのコピーでは

MACのタグが消えてしまいました。

一旦MACフォーマットのUSB-HDDにRapidCopyでコピーし、USB-HDDから再度共有ストレージBのNTFSにRapidCopyで移動するしかないのかな、と思いました。

他に良い方法はございましたら、ご教示いただけると幸いです。

よろしくお願いいたします。

2023年1月24日火曜日 12:39:36 UTC+9 Kengo Sawatsu:

[平野則之]

澤津さま

今回の共有ストレージのコピーについて、一通り分かる範囲で調べて見て、現状はRapidCopyで問題なく作業が出来る様になりましたのでお知らせします。

sambaとMACOSのバージョンが関連している様に見受けられたのでバージョンを管理者に確認しました。

sambaについて

共有ストレージA(XFS)　 smb version 2.002

共有ストレージB（NTFS） smb version 3.02

MACOSについて

前回作業MAC　catalina 10.15.7　で、共有ストレージAからBへのコピーを再実施　→共有ストレージB(NTFS)の接続解除が頻発・現状変わらず、

システムログにも接続解除が残らないケースあり（エラーが出るときはFetch errorが出ました）

他のVersionのMAC　High Sierra 10.13.6　で共有ストレージAからBへのコピーを実施　→接続解除なくRapidCopyが走りコピーが完了　詳細ログも一致

という事で一番の要因はMACOS catalinaでのNAS>NASコピーでのトラブル多発と特定しました。

catalinaでのNAS間コピーを行わず、HDD>共有ストレージBへのコピー運用としました。

sambaのバージョンも影響があるのかも知れませんが、今のところ問題なく動いておりますので、現状運用で利用して行きます。

以上です。

2023年1月25日水曜日 18:17:16 UTC+9 平野則之:

[Kengo Sawatsu]

平野さま

レスパスビジョン　澤津

連絡ありがとうございます、澤津です。

いただいた情報、参考にさせていただきます。

2023年1月31日(火) 16:44 平野則之 <noriyuk...@qooop.co.jp>:

--
このメールは Google グループのグループ「RapidCopy(Pro)掲示板」のトピックを登録しているユーザーに送られています。
このトピックの登録を解除するには https://groups.google.com/d/topic/rapidcopy_jp/6dYCnUKQnu8/unsubscribe にアクセスしてください。
このグループを退会し、グループのすべてのトピックの登録を解除するには rapidcopy_jp...@googlegroups.com にメールを送信してください。
このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/rapidcopy_jp/6c69636c-cfe2-4e47-b802-e879be7c27d6n%40googlegroups.com にアクセスしてください。

--

----

Kengo Sawatsu(澤津健吾)
R&D / Software Engineer

saw...@lespace.co.jp
cell 080-2231-1423

Lespace Vision Co.ltd
〒151-0051 東京都渋谷区千駄ヶ谷4-26-15 秀和代々木駅前ビル4F
Tel 03-3478-0521
Fax 03-3478-0696

http://www.lespace.co.jp