Ranking Methods for Multicriteria Decision-Making: Application to Benchmarking of Solvers and Problems
Table 3
metric.
S1
S2
S3
S4
S5
S6
S7
S8
S9
P1
11657
24049
491
264
329
904
606
202
168
P2
7401
11567
739
309
379
894
3653
137
318
P3
6536
32763
606
356
519
1148
1045
135
210
P4
6182
13326
570
285
342
662
1712
694
310
P5
4342
4766
536
311
527
871
564
459
160
P6
7404
11728
491
234
315
807
603
124
168
P7
256
124
482
310
596
879
169
32365
107
P8
2877
3011
1783
2084
2673
2720
2082
132
2771
P9
15735
24058
467
269
380
818
726
126
193
P10
11658
24054
474
256
320
850
630
201
172
P11
2414
1555
1967
1502
1321
1541
1979
368
1949
P12
1072
934
509
342
416
931
594
128
225
P13
15709
10150
524
224
231
723
898
161
289
P14
7497
19174
2735
1735
1509
2366
6379
6899
1658
P15
437
373
668
366
565
857
458
1016
185
P16
2999
11671
490
335
615
689
616
219
179
P17
6925
11670
514
362
572
845
693
9096
178
P18
1017
1036
501
314
460
741
341
263
143
P19
1271
1045
533
317
551
836
389
259
148
P20
1190
1098
491
315
545
1039
384
284
154
P21
9466
24251
498
253
327
901
597
301
175
P22
2433
2889
489
281
389
730
602
13320
202
P23
13650
24194
474
254
325
802
586
664
181
P24
7785
4449
544
272
376
911
573
10183
187
P25
220
115
445
304
554
855
167
5321
109
P26
19030
9054
439
205
254
674
579
192
178
P27
9055
8145
572
316
388
908
2135
127
296
P28
3819
10317
514
289
455
764
566
121
145
P29
19059
10175
538
341
434
920
2931
1332
310
P30
9173
19040
568
294
366
964
1418
451
214
P31
11557
13327
491
235
244
831
609
132
182
P32
394
187
443
289
536
884
231
24041
109
P33
1732
2347
2098
1792
2724
2522
2740
117
1960
P34
15719
19060
482
245
295
845
738
123
194
P35
24071
24059
456
235
306
739
661
169
188
P36
2024
2568
2187
1324
1814
1825
1675
347
1331
P37
1183
1263
560
340
418
1132
774
119
224
P38
7381
9057
514
227
193
604
1139
145
336
P39
7476
15824
1792
1310
1198
1296
3482
4706
1808
P40
341
291
557
354
556
852
331
205
173
P41
7506
11568
495
320
487
738
593
260
156
P42
11585
32369
640
327
515
794
809
5743
192
P43
10264
19135
631
319
380
1071
892
352
226
P44
24351
7387
511
290
389
866
728
307
210
P45
19307
13407
533
321
372
915
794
380
227
P46
13571
9089
486
243
320
871
605
325
176
P47
3311
5068
564
291
431
755
724
19048
153
P48
7468
7544
483
248
333
880
590
537
170
P49
15709
13335
498
231
245
784
688
8170
201
P50
304
163
488
315
552
1038
210
13368
109
Note: S1, …, S9 are solvers, P1, …, P50 are problems, and metric is assessment function (as described in the main text of the article, see Section 4.1). Source: Sala et al. [12].
