exception when adding input to ComputeTSet

[Ahmet Uyar]

Hi guys,

I am running the membership-finding application with 4 workers only. Each reading 10M tweetID-date pairs. A worker is throwing the attached exception when reading data from addInput in the prepare method. 

The exception comes from BufferedCollectionPartition.java:232

thanks,

Ahmet

[Niranda Perera]

Hi Ahmet, 

It looks like the persisted data is missing. Do you see non-empty persisted files in the disk?

--
You received this message because you are subscribed to the Google Groups "Twister2" group.
To unsubscribe from this group and stop receiving emails from it, send an email to twister2+u...@googlegroups.com.
To view this discussion on the web visit https://groups.google.com/d/msgid/twister2/CAPBRfYcPQRFOrhRvDnXEmq9W_a9gmM_w70o-Cqv5ZXTCwHn-8g%40mail.gmail.com.

--

Niranda Perera

@n1r44

+1 812 558 8884 / +94 71 554 8430

https://www.linkedin.com/in/niranda

[Ahmet Uyar]

Hi Niranda,

I see that DeleteIDs are persisted successfully. I see checkpointed files. 

Content of the directory __kgather4_0 is below. 

$ pwd
$HOME/.twister2/jobs/auyar-membership-finding-n1n2cl9/persistent
$ ls -l __kgather4_0
total 810848
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 0.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 10.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 11.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 12.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 13.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 14.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 15.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 16.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 17.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 18.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 19.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 1.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 20.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 21.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 22.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 23.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 24.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 25.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 26.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 27.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 28.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 29.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 2.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 30.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 31.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 32.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 33.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 34.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 35.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 36.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 37.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 38.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 39.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 3.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 40.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 41.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 42.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 43.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 44.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 45.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 46.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 47.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 48.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 49.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 4.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 50.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 51.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 52.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 53.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 54.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 55.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 56.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 57.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 58.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 59.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 5.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 60.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 61.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 62.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 63.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 64.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 65.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 66.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 67.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 68.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 69.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 6.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 70.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 71.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 72.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 73.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 74.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 75.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 76.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:48 77.pbck
-rw-r--r-- 1 auyar users 10501666 Ağu  3 07:48 78.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 7.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 8.pbck
-rw-r--r-- 1 auyar users 10506397 Ağu  3 07:47 9.pbck

thanks,

Ahmet