MNISTダウンロード時のエラー

1,689 views
Skip to first unread message

綿谷朋大

unread,
Mar 13, 2021, 9:57:05 PM3/13/21
to Neural Network Console Users (JP)
本日Windows版NNCをダウンロードし、MNISTを回答しようとしたのですが、エラーが出て正しくダウンロードされません。お手数ですが解決策等ご教示いただければと存じます。
（私はこれまでも何度か同様の処理は行っており、私としては特に変わったことは行っていないつもりです）

エラー内容：zlib.error: Error -3 while decompressing data: incorrect header check

yoshida.hi...@gmail.com

unread,
Mar 13, 2021, 10:32:19 PM3/13/21
to Neural Network Console Users (JP)
私も昨日同じ現象に会っています。
MNIST本家の方のトラブルじゃないかと思います。
現時点で以下のサイトが、Service Unavailableになります。
http://yann.lecun.com/exdb/mnist/index.html


2021年3月14日日曜日 11:57:05 UTC+9 kknb...@gmail.com:

綿谷朋大

unread,
Mar 13, 2021, 11:13:39 PM3/13/21
to Neural Network Console Users (JP)
私だけではなかったんですね

ネット記事を見ていますと、このような解決策があるようです。
2021年3月14日日曜日 12:32:19 UTC+9 yoshida.hi...@gmail.com:

Mittu Foo

unread,
Mar 14, 2021, 4:47:18 AM3/14/21
to Neural Network Console Users (JP)
私は数日前に初めてNeural Network Consoleをインストールしました。
同様のエラーが何度も出て、いろいろためしたのですが解決せず、
自分の使い方が悪いのかと思い使用をあきらめていました。
kknbさんから教えていただいた解決法は初心者の私にはハードルが高いので、ソニーさん何とか対応をお願いします。


2021年3月14日日曜日 13:13:39 UTC+9 kknb...@gmail.com:

綿谷朋大

unread,
Mar 14, 2021, 11:07:21 PM3/14/21
to Neural Network Console Users (JP)
見た目ほど難しい話でないです。
１）
をそれぞれダウンロード（アドレスをブラウザのアドレス欄に各々コピペしてEnter押すと勝手にダウンロードされる）

２）NNCのフォルダ内にある、settings¥nnabla_dataフォルダ内に4つのファイルを置く

あとは通常のNNCの操作で可能です。 
2021年3月14日日曜日 17:47:18 UTC+9 iza0...@nifty.com:
Message has been deleted

suna jazz

unread,
Mar 26, 2021, 12:17:54 PM3/26/21
to Neural Network Console Users (JP)
MINISTのサイトがダウンしているようですね。
少し強引なやり方で解決しましたので紹介しておきます。
ダウンロードファイルのスキャン、変更ファイルのバックアップを実施のうえお試しください。

①MNISTファイルをダウンロード
　以下からMNISTファイルをダウンロードします。

②①でダウンロードしたファイルをMNISTフォルダに解凍します。
　解凍先の例：NNCをC:/SONY以下に配置した場合
　C:\SONY\neural_network_console\samples\sample_dataset\MNIST

③MNISTフォルダ内のcreate_mnist_csv.pyの__init__関数（30行目～70行名）を以下のように修正します。
    def __init__(self, train=True, shuffle=False, rng=None):
        super(MnistDataSource, self).__init__(shuffle=shuffle)
        self._train = train
        if self._train:

            #logger.info('Getting label data from {}.'.format(label_uri))
            # With python3 we can write this logic as following, but with
            # python2, gzip.object does not support file-like object and
            # urllib.request does not support 'with statement'.
            #
            #   with request.urlopen(label_uri) as r, gzip.open(r) as f:
            #       _, size = struct.unpack('>II', f.read(8))
            #       self._labels = numpy.frombuffer(f.read(), numpy.uint8).reshape(-1, 1)
            #
            #r = download(label_uri)
            r = open('C:/SONY/neural_network_console/samples/sample_dataset/MNIST/train-labels-idx1-ubyte.gz', 'rb')
            data = zlib.decompress(r.read(), zlib.MAX_WBITS | 32)
            _, size = struct.unpack('>II', data[0:8])
            self._labels = numpy.frombuffer(data[8:], numpy.uint8).reshape(-1, 1)
            r.close()
            logger.info('Getting label data done.')
   
            #logger.info('Getting image data from {}.'.format(image_uri))
            #r = download(image_uri)
            r = open('C:/SONY/neural_network_console/samples/sample_dataset/MNIST/train-images-idx3-ubyte.gz', 'rb')
            data = zlib.decompress(r.read(), zlib.MAX_WBITS | 32)
            _, size, height, width = struct.unpack('>IIII', data[0:16])
            self._images = numpy.frombuffer(data[16:], numpy.uint8).reshape(
                size, 1, height, width)
            r.close()
            logger.info('Getting image data done.')


        else:

            #logger.info('Getting label data from {}.'.format(label_uri))
            # With python3 we can write this logic as following, but with
            # python2, gzip.object does not support file-like object and
            # urllib.request does not support 'with statement'.
            #
            #   with request.urlopen(label_uri) as r, gzip.open(r) as f:
            #       _, size = struct.unpack('>II', f.read(8))
            #       self._labels = numpy.frombuffer(f.read(), numpy.uint8).reshape(-1, 1)
            #
            #r = download(label_uri)
            r = open('C:/SONY/neural_network_console/samples/sample_dataset/MNIST/t10k-labels-idx1-ubyte.gz', 'rb')
            data = zlib.decompress(r.read(), zlib.MAX_WBITS | 32)
            _, size = struct.unpack('>II', data[0:8])
            self._labels = numpy.frombuffer(data[8:], numpy.uint8).reshape(-1, 1)
            r.close()
            logger.info('Getting label data done.')
        
            #logger.info('Getting image data from {}.'.format(image_uri))
            #r = download(image_uri)
            r = open('C:/SONY/neural_network_console/samples/sample_dataset/MNIST/t10k-images-idx3-ubyte.gz', 'rb')
            data = zlib.decompress(r.read(), zlib.MAX_WBITS | 32)
            _, size, height, width = struct.unpack('>IIII', data[0:16])
            self._images = numpy.frombuffer(data[16:], numpy.uint8).reshape(
                size, 1, height, width)
            r.close()
            logger.info('Getting image data done.')

        self._size = self._labels.size
        self._variables = ('x', 'y')
        if rng is None:
            rng = numpy.random.RandomState(313)
        self.rng = rng
        self.reset()


④③で変更したcreate_mnist_csv.pyを上書き保存したら、再度NNCのプロジェクトを開くなどして、メッセージに従いMNISTデータをダウンロードします

…これでいけるはずですが、間違ってたらすいません、ご指摘ください。


2021年3月15日月曜日 12:07:21 UTC+9 kknb...@gmail.com:

suna jazz

unread,
Mar 26, 2021, 12:23:00 PM3/26/21
to Neural Network Console Users (JP)
なお、上記に記載した__init__関数の修正案に絶対パスが含まれています。
具体的にはNNCをC:/SONYに配置することを想定したパス'C:/SONY/neural_network_console/samples/sample_dataset/MNIST'が含まれています。
ご使用の環境に合わせて修正したうえでお試しください。

2021年3月27日土曜日 1:17:54 UTC+9 suna jazz:

yoshida.hi...@gmail.com

unread,
Mar 26, 2021, 7:24:12 PM3/26/21
to Neural Network Console Users (JP)
解凍して4つのgzファイルを手に入れたら、インストールフォルダのsettings¥nnabla_dataにそれらを置けば、Pythonスクリプトを書き直す必要はありません。
なお、以前のバージョンを持っているのでしたら、settings¥nnabla_dataに4つのgzファイルが残っているかもしれません。それをコピーすればOKです。

2021年3月27日土曜日 1:23:00 UTC+9 jazz...@gmail.com:

小林由幸

unread,
Jun 7, 2021, 3:55:43 AM6/7/21
to Neural Network Console Users (JP)
2021年 5/13リリースのWindows版Version 2.1以降はこちらの現象が修正されています。
同じ現象に合われた方は最新版の方をお試しいただければと思います。

Neural Network ConsoleWindowsアプリ
https://dl.sony.com/ja/app/

2021年3月27日土曜日 8:24:12 UTC+9 yoshida.hi...@gmail.com:
Reply all
Reply to author
Forward
0 new messages