LMDB vs HDF5 !

Soodabe Zarezade

unread,

Jul 26, 2016, 5:11:11 AM7/26/16

to IranDeepLearning

سلام دوستان

من برای کارم از یک مدل pretrain شده استفاده می کنم / دیتاهایی که استفاده می کنم مجموعه ای از تصاویر با لیبل عدد تک بعدی اعشار هست فایل train.txt من به صورت زیر هست !

00013688.jpg 0.857143

00024401.jpg 0.756757

00028523.jpg 0.897436

00050981.jpg 0.902439

00001291.jpg 0.880000

اما در فایل train_val.prototxt نوع لایه دیتا را LMDB گذاشته ! هم برای train و هم برای validation

data_param {

source: "train_lmdb"

backend: LMDB

batch_size: 256

}

سوال من این هست با توجه به این دو موضوعی که مطرح کردم / داده ورودی شبکه موقع train در چه قالبی به شبکه داده شده ؟

ممنون

Mohsen

unread,

Jul 26, 2016, 5:20:57 AM7/26/16

to IranDeepLearning

سلام اینجور که به نظر میاد خروجی های شما رگرسیونی هستن. هر نمونه داده شما به ازای خروجی متناظر به شبکتون داده می شن.

Soodabe Zarezade

unread,

Jul 26, 2016, 6:20:51 AM7/26/16

to IranDeepLearning

درسته که خروجی رگرسیون هست / اما این که توی فایل prototxt پارامتر backend که نوع داده رو نشون میده رو LMDB ست کرده / این رو چه جوری میشه توجیه کرد ؟

Mohsen

unread,

Jul 26, 2016, 6:43:50 AM7/26/16

to IranDeepLearning

دیتاست شما از نوع image data هستش باید تغییر بدین لایه ورودی رو

Soodabe Zarezade

unread,

Jul 26, 2016, 7:01:26 AM7/26/16

to IranDeepLearning

این فایل train_val ای که گذاشتم فایلی هست که شبکه رو باهاش train کردن ینی داده ها رگرسیون بودند ولی backend رو LMDB ست کرده و شبکه رو هم train کرده ! من از شبکه استفاده هم کردم .

سوال من هم این بود که آیا این اصلا ممکن هست که داده ها رگرسیون باشند و ما به فرمت LMDB بدیم به شبکه ! اگر جواب نه هست چجوری این رو می تونیم توجیه کنیم .

Seyyed Hossein Hasanpour

unread,

Jul 26, 2016, 7:32:39 AM7/26/16

to IranDeepLearning

سلام

مثال رگرشن شما مال کجاست امکانش هست لینکش رو بدید یه نگاهی بندازیم ؟

Soodabe Zarezade

unread,

Jul 26, 2016, 7:45:49 AM7/26/16

to IranDeepLearning

http://memorability.csail.mit.edu/download.html

توی این مسیر مدلی با عنوان memnet هست که من میخام چیزی شبیه به این پیاده کنم ! memnet مدلی هست برای پیش بینی memorability تصویر و memscore هر تصویر یک عدد اعشاری بین صفر و یک هست .

ممنون

Seyyed Hossein Hasanpour

unread,

Jul 27, 2016, 8:16:43 AM7/27/16

to irandeep...@googlegroups.com

خب بهتره اینم اینجا گفته بشه تا بعدها بدونن داستان اخر چی شد.

من ایمیل زدم به نویسنده و ایشون هم گفتن که بله من فایلها رو تغییر دادم ایشون علاوه بر تغغیرات در convert_imageset که بالا گفته شد فایل caff.proto رو هم تغییر دادن و Label رو که int تعریف شده بود float تعریف کردن و بعد هم کامپایل و کارشون رو انجام دادن .

منتها گفتن یادتشون نمیاد لایه داده رو هم دست زده بودن یا نه . که اونم البته چیز خاصی نداره .

اینم متن ایمیلشون :

Hi Hossein,
Good question - I simply modified caffe.proto (https://github.com/BVLC/caffe/blob/master/src/caffe/proto/caffe.proto) from "optional int32 label = 5;" in "message Datum" to "optional float label = 5;" and modified the LMDB generation scripts accordingly to support a float label. I forget if the data layer also had to be modified to treat this value as float but it's pretty straightforward to change that as well. Then you simply recompile caffe and all is well.

اینم بگم که کسایی که میخوان این تغییرات رو بدن حواسشون باشه برای استفاده های دیگه یا از یه ورژن جداگانه استفاده کنن یا اینکه تغییرات رو برگردونن چون احتمال برخوردن با خطا و ... تو سناریوهای دیگه هست.

Soodabe Zarezade

unread,

Jul 28, 2016, 7:48:49 AM7/28/16

to IranDeepLearning

تغییرات مربوط به فایل conver_imagest در اینجا گفته شده .

Reply all

Reply to author

Forward