solvability test on sven-1591 levels using BoxSearch, Takaken, YASS
not...@gmail.com
------------------------------------------------------------------------------------------------------------------------------------------------------------------
Summary of running the Sven level set against the 3 solvers (BoxSearch
v5.1 beta, Takaken v7.0, YASS):
Though you might see some timing listed in each of the solver's file,
this summary disregards all timing associated with solving the levels.
This test is mainly for testing solvability, not timing.
Note that not all solvers support the same options.
BoxSearch allows setting for max memory but lacks max time limit.
[time limit is supported in 5.1 beta2]
Takaken allows setting for max time but lacks max memory option.
YASS allows setting for max time and max memory option.
Test machine info:
==================
Machine: ThinkPad T42P
CPU: x86 Family 6 Model 13 Stepping 6 Genuine Intel
Physical RAM: 2 GB
OS Name & Version: Microsoft Windows XP Professional v5.12600 Service
Pack 2 Build 2600.
For the tests:
==============
BoxSearch is set with max memory limit of 1500 MB
Takaken is set with 600 seconds (additional tests done with 9999
seconds on those failed levels)
YASS is set with 256 MB memory and 600 second limits. (additional
tests done with 1500 MB and 600 seconds on those failed levels)
The following table shows the levels where each of the solvers failed:
======================================================================
BoxSearch Takaken YASS
=========== ============ ===========
1
2 2
3 3
4
5 5
6
7 7 7
8
10
11 11
12 12
13
14
15 15 15
16 16 16
17 17
18 18
19 19
21 21
23 23 23
24 24 24
25
26
28
29
30 30 30
31
34 34
37
39
42 42 42
43 43
45
46 46
47
48
49 49
50
53
55 55
56 56
58
59 59
61 61 61
62 62 62
63 63 63
64
66
70
82 82 82
84
86
93
94
95
96
97
98 98
99 99
101
103 103 103
104 104
105 105
106 106
107 107
108 108
109
111 111
112 112 112
113
115 115
116 116
117 117 117
118 118
126
139 139
140 140
141 141
142 142
143 143 143
144 144 144
145
146 146 146
147 147
148 148
151
152
154 154
155 155
156 156 156
158 158 158
159
160 160
161 161 161
164 164
165
166
167 167
168 168
169 169 169
170 170 170
171 171
172 172
173 173 173
175
176 176
177 177
178 178 178
182
183 183 183
184
187 187 187
188 188 188
189 189 189
196 196 196
197 197 197
198 198 198
199 199 199
201 201
202 202
203 203 203
204 204 204
205 205 205
206 206 206
207 207 207
208 208 208
209 209 209
211 211 211
213 213 213
214 214 214
215 215 215
216 216 216
217 217 217
218 218 218
219 219 219
220 220 220
221 221 221
222 222 222
223 223 223
224 224 224
225 225 225
226 226 226
227 227 227
228 228 228
229 229 229
230
231 231 231
232 232 232
233 233 233
234 234
235 235 235
236
238 238
239 239 239
240 240 240
243
245
246
248
249 249 249
250 250
251
257
259 259 259
267
268 268
270 270 270
271 271 271
272 272 272
273 273
274 274 274
277
278 278 278
279 279 279
280 280 280
281 281
282
283 283 283
285 285 285
287 287
288
290
291 291 291
292 292 292
293 293 293
295 295 295
297 297
299 299
300 300
301 301 301
304 304
305
308 308
309
311
312 312
313 313 313
326 326
327 327 327
328
333
334 334
338
339
340 340
341 341 341
342 342
343 343 343
345 345
363
397
399
400
441
442
443
444
455
470
471
472
481
482
483
484
491
520
522
525
528
537
538
539
560 560
632
633
636
644
645
658
687
689 689 689
690
691 691 691
694
695
718
723
744 744 744
779
821 821 821
822 822 822
823 823 823
824 824 824
825 825 825
826 826 826
827 827
828 828 828
829 829 829
830 830 830
831 831 831
832 832 832
834
837 837 837
838
840 840 840
841 841
842 842
843 843 843
844 844 844
850
851
852
855
856 856 856
858
859 859
860 860 860
861 861
862 862 862
863 863 863
864 864
865 865 865
866 866 866
867 867 867
871 871 871
874 874
878 878
879 879
880 880 880
881 881 881
882
883
887 887 887
888 888 888
889 889
892
893
898
899 899 899
901
904
905 905 905
906
907
908
910 910 910
912
913 913 913
916
920 920 920
921 921 921
922 922
923 923 923
925
927 927 927
930 930
931
932 932
937
942
943
946
947 947
948
949
951
954
955
956
957
958 958 958
959 959 959
961
962
963
964
965 965 965
966 966 966
974
975
976
977 977 977
978 978 978
979 979 979
980
981
984 984 984
985 985 985
986 986 986
987 987
988 988
989 989 989
990 990 990
991 991
992 992 992
993 993 993
994
995
999
1000
1001 1001 1001
1002 1002 1002
1003 1003
1006
1014 1014 1014
1015 1015 1015
1016 1016
1017 1017 1017
1018 1018 1018
1019 1019 1019
1020
1021 1021
1023 1023 1023
1024
1025
1026 1026
1028 1028
1029 1029 1029
1031 1031 1031
1032 1032 1032
1033 1033
1034
1035 1035 1035
1036 1036 1036
1037
1038
1039 1039 1039
1040 1040 1040
1041 1041 1041
1042 1042 1042
1043 1043 1043
1044 1044
1046
1047 1047
1048 1048 1048
1049 1049
1055 1055 1055
1057
1058 1058 1058
1060
1061
1062
1063
1064 1064 1064
1065 1065
1066 1066 1066
1067
1068
1071 1071
1072 1072 1072
1074
1075
1076 1076 1076
1077 1077 1077
1078 1078 1078
1079 1079
1080 1080 1080
1083 1083
1087 1087 1087
1088
1089 1089 1089
1090
1094 1094
1101
1107 1107
1108 1108 1108
1109 1109 1109
1110 1110 1110
1111 1111 1111
1112 1112 1112
1113 1113
1114 1114 1114
1120 1120 1120
1121 1121 1121
1122 1122 1122
1123 1123 1123
1124 1124
1125 1125 1125
1126
1128 1128 1128
1129 1129
1130
1131 1131
1132 1132
1133
1134 1134
1135
1137 1137 1137
1139 1139 1139
1143 1143 1143
1144 1144 1144
1145 1145 1145
1146 1146 1146
1147 1147 1147
1149 1149
1150 1150 1150
1151 1151 1151
1152
1153 1153 1153
1154 1154
1155 1155 1155
1158
1159 1159
1160 1160
1162 1162 1162
1164
1165 1165 1165
1166 1166
1168 1168
1172 1172 1172
1173 1173 1173
1174 1174 1174
1175 1175
1176 1176 1176
1178 1178
1180
1185 1185
1187 1187
1193 1193
1194
1196 1196 1196
1197 1197 1197
1198
1199
1200 1200 1200
1202 1202 1202
1208 1208
1209
1211 1211
1212 1212 1212
1214 1214 1214
1216 1216 1216
1217 1217
1218 1218 1218
1219 1219 1219
1221 1221 1221
1225
1226 1226 1226
1227 1227
1228 1228 1228
1231
1232
1233
1234 1234 1234
1235 1235
1236 1236
1239 1239 1239
1242 1242 1242
1244 1244 1244
1245 1245 1245
1246 1246
1247
1248 1248 1248
1249 1249 1249
1250 1250
1251 1251 1251
1252 1252 1252
1253 1253 1253
1254 1254 1254
1255
1256 1256
1257 1257 1257
1262
1264
1265
1267 1267 1267
1268
1269
1270
1271
1272 1272 1272
1273 1273
1275
1276 1276
1278
1279 1279
1280 1280
1281
1283 1283 1283
1284 1284
1287
1288 1288 1288
1291 1291 1291
1292
1293
1294 1294 1294
1296
1297 1297 1297
1298 1298 1298
1299
1300
1302 1302 1302
1304 1304 1304
1305 1305 1305
1306
1307 1307
1308
1309
1310 1310 1310
1311
1314 1314 1314
1315 1315 1315
1316
1318 1318 1318
1319
1320 1320 1320
1321 1321 1321
1323 1323
1324 1324
1325 1325 1325
1326
1327 1327 1327
1328 1328
1329 1329 1329
1330 1330 1330
1331 1331 1331
1332 1332 1332
1333
1334 1334 1334
1335
1336 1336 1336
1339 1339
1340
1341 1341 1341
1342 1342 1342
1343
1344 1344 1344
1345 1345 1345
1347 1347 1347
1348 1348 1348
1350 1350
1352 1352 1352
1353
1354
1355
1356
1357
1358 1358 1358
1359
1361 1361
1362 1362 1362
1363
1364
1366 1366 1366
1367 1367 1367
1368 1368
1370 1370 1370
1372
1373 1373
1377 1377 1377
1378 1378
1379 1379 1379
1380 1380
1381 1381 1381
1382 1382 1382
1383 1383 1383
1384 1384
1385 1385 1385
1387
1388
1389 1389 1389
1390 1390
1392 1392 1392
1393 1393
1394 1394 1394
1395 1395 1395
1397
1398 1398 1398
1399 1399 1399
1401
1403 1403
1404 1404 1404
1405 1405 1405
1406
1407 1407 1407
1408 1408 1408
1409 1409 1409
1410 1410
1411 1411 1411
1414
1415
1416 1416 1416
1417 1417 1417
1418 1418 1418
1419
1420 1420 1420
1421 1421
1424 1424 1424
1425 1425 1425
1426 1426 1426
1428
1434 1434 1434
1435 1435 1435
1437 1437
1442 1442 1442
1443 1443
1447 1447 1447
1449 1449 1449
1451
1452
1453 1453
1454 1454 1454
1457 1457 1457
1458 1458 1458
1459 1459 1459
1460
1461
1462 1462 1462
1463
1465 1465 1465
1468 1468 1468
1469
1470 1470 1470
1472 1472 1472
1473 1473
1474
1476 1476
1477 1477
1479
1480 1480 1480
1482
1486
1487
1488 1488
1489 1489
1491 1491
1492
1497 1497
1499
1502 1502
1503
1504
1506 1506 1506
1507 1507 1507
1508 1508 1508
1509 1509 1509
1510 1510 1510
1513 1513 1513
1514
1515 1515 1515
1516 1516 1516
1517 1517
1522
1523
1527
1528
1530 1530 1530
1531
1533 1533 1533
1537
1542
1547 1547
1551
1555
1556 1556
1557
1560 1560 1560
1561
1566 1566 1566
1567 1567
1570
1572 1572 1572
1573 1573 1573
1574 1574 1574
1578
1580
1583 1583
1584 1584 1584
1589 1589 1589
============== ============== ==============
Total: 442 609 463
Total (unique level count): 730
All solvers failed on these levels:
===================================================================================
7 15 16 23 24 30 42 61
62 63
82 103 112 117 143 144 146 156
158 161
169 170 173 178 183 187 188 189
196 197
198 199 203 204 205 206 207 208
209 211
213 214 215 216 217 218 219 220
221 222
223 224 225 226 227 228 229 231
232 233
235 239 240 249 259 270 271 272
274 278
279 280 283 285 291 292 293 295
301 313
327 341 343 689 691 744 821 822
823 824
825 826 828 829 830 831 832 837
840 843
844 856 860 862 863 865 866 867
871 880
881 887 888 899 905 910 913 920
921 923
927 958 959 965 966 977 978 979
984 985
986 989 990 992 993 1001 1002 1014
1015 1017
1018 1019 1023 1029 1031 1032 1035 1036
1039 1040
1041 1042 1043 1048 1055 1058 1064 1066
1072 1076
1077 1078 1080 1087 1089 1108 1109 1110
1111 1112
1114 1120 1121 1122 1123 1125 1128 1137
1139 1143
1144 1145 1146 1147 1150 1151 1153 1155
1162 1165
1172 1173 1174 1176 1196 1197 1200 1202
1212 1214
1216 1218 1219 1221 1226 1228 1234 1239
1242 1244
1245 1248 1249 1251 1252 1253 1254 1257
1267 1272
1283 1288 1291 1294 1297 1298 1302 1304
1305 1310
1314 1315 1318 1320 1321 1325 1327 1329
1330 1331
1332 1334 1336 1341 1342 1344 1345 1347
1348 1352
1358 1362 1366 1367 1370 1377 1379 1381
1382 1383
1385 1389 1392 1394 1395 1398 1399 1404
1405 1407
1408 1409 1411 1416 1417 1418 1420 1424
1425 1426
1434 1435 1442 1447 1449 1454 1457 1458
1459 1462
1465 1468 1470 1472 1480 1506 1507 1508
1509 1510
1513 1515 1516 1530 1533 1560 1566 1572
1573 1574
1584 1589
===================================================================================
Total count: 312
"BoxSearch" solved 1149 of 1591 levels.
"Takaken" solved 982 of 1591 levels.
"YASS" solved 1128 of 1591 levels.
All solvers combined solved 1279 of 1591 levels.
"BoxSearch" failed on these levels where at least one solver solved:
===================================================================================
2 11 17 18 19 21 26 34
43 46
49 50 55 56 58 59 98 99
104 105
106 107 108 111 115 116 118 139
140 141
142 147 148 151 154 155 159 160
171 172
177 184 201 202 230 234 238 273
287 304
308 309 311 312 326 328 333 334
340 841
842 861 864 874 879 889 892 904
907 922
930 932 954 988 991 1026 1028 1038
1065 1094
1101 1113 1124 1129 1131 1132 1133 1134
1149 1154
1159 1160 1166 1168 1175 1178 1185 1187
1217 1227
1236 1246 1250 1256 1273 1276 1323 1324
1328 1350
1361 1368 1380 1384 1390 1403 1410 1443
1460 1473
1476 1477 1482 1486 1488 1491 1517 1531
1547 1555
===================================================================================
Total count: 130
"Takaken" failed on these levels where at least one solver solved:
===================================================================================
3 5 12 25 28 29 53 56
64 66
70 84 86 96 97 98 99 101
107 108
109 139 140 147 148 154 155 164
165 167
168 175 176 236 243 245 246 248
250 251
257 268 277 281 282 287 288 297
299 300
305 308 326 334 338 339 340 342
345 363
397 399 400 441 442 443 444 455
470 471
472 481 482 483 484 491 520 522
525 528
537 538 539 560 632 633 636 644
645 658
687 690 694 695 718 723 779 827
834 838
850 851 852 855 858 859 861 874
878 882
883 889 893 901 906 908 912 916
922 925
931 937 942 943 946 947 951 955
956 957
962 963 974 975 976 980 981 987
988 994
995 1003 1006 1016 1020 1021 1024 1025
1028 1033
1034 1037 1044 1046 1047 1049 1057 1060
1061 1063
1065 1067 1068 1071 1074 1075 1079 1083
1088 1090
1107 1113 1124 1126 1131 1132 1134 1135
1152 1158
1159 1160 1164 1166 1168 1180 1185 1187
1193 1194
1198 1199 1208 1211 1217 1225 1227 1231
1232 1233
1235 1247 1250 1255 1256 1262 1264 1265
1268 1269
1270 1271 1275 1278 1279 1280 1281 1284
1287 1292
1293 1296 1299 1300 1306 1307 1308 1309
1311 1316
1319 1323 1326 1333 1335 1339 1340 1343
1353 1354
1355 1356 1357 1359 1363 1364 1372 1373
1378 1380
1384 1387 1388 1393 1397 1401 1403 1406
1414 1415
1419 1421 1428 1437 1451 1452 1453 1463
1469 1473
1474 1477 1487 1489 1492 1497 1499 1502
1503 1504
1514 1522 1523 1527 1528 1537 1542 1547
1551 1556
1557 1561 1567 1570 1578 1580 1583
===================================================================================
Total count: 297
"YASS" failed on these levels where at least one solver solved:
===================================================================================
1 2 3 4 5 6 8 10
11 12
13 14 17 18 19 21 31 34
37 39
43 45 46 47 48 49 55 59
93 94
95 104 105 106 111 113 115 116
118 126
141 142 145 152 160 164 166 167
168 171
172 176 177 182 201 202 234 238
250 267
268 273 281 290 297 299 300 304
312 342
345 560 827 841 842 859 864 878
879 898
930 932 947 948 949 961 964 987
991 999
1000 1003 1016 1021 1026 1033 1044 1047
1049 1062
1071 1079 1083 1094 1107 1129 1130 1149
1154 1175
1178 1193 1208 1209 1211 1235 1236 1246
1273 1276
1279 1280 1284 1307 1324 1328 1339 1350
1361 1368
1373 1378 1390 1393 1410 1421 1437 1443
1453 1461
1476 1479 1488 1489 1491 1497 1502 1517
1556 1567
1583
===================================================================================
Total count: 151
"BoxSearch" solved these levels where all other solvers failed:
===================================================================================
3 5 12 164 167 168 176 250
268 281
297 299 300 342 345 560 827 859
878 947
987 1003 1016 1021 1033 1044 1047 1049
1071 1079
1083 1107 1193 1208 1211 1235 1279 1280
1284 1307
1339 1373 1378 1393 1421 1437 1453 1489
1497 1502
1556 1567 1583
===================================================================================
Total count: 53
"Takaken" solved these levels where all other solvers failed:
===================================================================================
2 11 17 18 19 21 34 43
46 49
55 59 104 105 106 111 115 116
118 141
142 160 171 172 177 201 202 234
238 273
304 312 841 842 864 879 930 932
991 1026
1094 1129 1149 1154 1175 1178 1236 1246
1273 1276
1324 1328 1350 1361 1368 1390 1410 1443
1476 1488
1491 1517
===================================================================================
Total count: 62
"YASS" solved these levels where all other solvers failed:
===================================================================================
56 98 99 107 108 139 140 147
148 154
155 287 308 326 334 340 861 874
889 922
988 1028 1065 1113 1124 1131 1132 1134
1159 1160
1166 1168 1185 1187 1217 1227 1250 1256
1323 1380
1384 1403 1473 1477 1547
===================================================================================
Total count: 45
"BoxSearch" failed on these levels where all other solvers solved:
===================================================================================
26 50 58 151 159 184 230 309
311 328
333 892 904 907 954 1038 1101 1133
1460 1482
1486 1531 1555
===================================================================================
Total count: 23
"Takaken" failed on these levels where all other solvers solved:
===================================================================================
25 28 29 53 64 66 70 84
86 96
97 101 109 165 175 236 243 245
246 248
251 257 277 282 288 305 338 339
363 397
399 400 441 442 443 444 455 470
471 472
481 482 483 484 491 520 522 525
528 537
538 539 632 633 636 644 645 658
687 690
694 695 718 723 779 834 838 850
851 852
855 858 882 883 893 901 906 908
912 916
925 931 937 942 943 946 951 955
956 957
962 963 974 975 976 980 981 994
995 1006
1020 1024 1025 1034 1037 1046 1057 1060
1061 1063
1067 1068 1074 1075 1088 1090 1126 1135
1152 1158
1164 1180 1194 1198 1199 1225 1231 1232
1233 1247
1255 1262 1264 1265 1268 1269 1270 1271
1275 1278
1281 1287 1292 1293 1296 1299 1300 1306
1308 1309
1311 1316 1319 1326 1333 1335 1340 1343
1353 1354
1355 1356 1357 1359 1363 1364 1372 1387
1388 1397
1401 1406 1414 1415 1419 1428 1451 1452
1463 1469
1474 1487 1492 1499 1503 1504 1514 1522
1523 1527
1528 1537 1542 1551 1557 1561 1570 1578
1580
===================================================================================
Total count: 199
"YASS" failed on these levels where all other solvers solved:
===================================================================================
1 4 6 8 10 13 14 31
37 39
45 47 48 93 94 95 113 126
145 152
166 182 267 290 898 948 949 961
964 999
1000 1062 1130 1209 1461 1479
===================================================================================
Total count: 36