AIBPO: Combine the Intrinsic Reward and Auxiliary Task for 3D Strategy Game

<table class="table-group" id="tab4"><tr><td><table class="table"><tr><td class="thead-hr" colspan="6"><hr/></td></tr><tr class="thead"><td class="align_left">Evaluation criteria</td><td class="align_center">AIBPO</td><td class="align_center">IBPO</td><td class="align_center">IBPO + <svg height="12.1958pt" id="M31" style="vertical-align:-3.181479pt" version="1.1" viewbox="-0.0498162 -9.01432 18.6233 12.1958" width="18.6233pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"><g transform="matrix(.013,0,0,-0.013,0,0)"><path d="M608 643C551 682 486 687 443 687C299 687 188 608 188 504C188 361 341 312 465 312C483 312 501 313 518 315C454 195 366 93 314 59C255 82 201 109 141 109C73 109 33 83 33 52C33 13 76 -9 159 -9C218 -9 267 -1 314 15C354 0 402 -15 478 -15C575 -15 671 36 759 141L740 155C657 63 571 16 475 16C448 16 411 26 372 39C458 74 565 199 627 333C806 381 931 499 931 587C931 634 908 669 848 669C767 669 671 582 620 506C591 462 569 411 534 347C503 343 490 342 471 342C330 342 229 399 229 500C229 603 346 657 451 657C486 657 540 657 596 624L608 643ZM890 588C890 519 822 457 747 414C712 395 678 378 643 369C683 484 760 632 841 632C873 632 890 615 890 588ZM266 35C235 24 200 21 161 21C103 21 74 32 74 54C74 75 122 79 141 79C172 79 209 69 266 36V35Z"></path></g><g transform="matrix(.0091,0,0,-0.0091,12.298,3.132)"><path d="M622 479C622 589 545 650 400 650H146L140 618C229 609 230 602 215 527L135 132C117 43 112 41 27 32L18 0H305L313 32C213 40 205 44 222 132L251 284L324 262H365C484 269 622 333 622 479ZM528 477C528 356 420 305 344 305C300 305 276 314 259 321L303 554C311 597 313 600 331 606C345 611 361 614 379 614C463 614 528 580 528 477Z"></path></g></svg></td><td class="align_center">IBPO + <svg height="12.3054pt" id="M32" style="vertical-align:-3.29108pt" version="1.1" viewbox="-0.0498162 -9.01432 19.5002 12.3054" width="19.5002pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"><g transform="matrix(.013,0,0,-0.013,0,0)"><path d="M608 643C551 682 486 687 443 687C299 687 188 608 188 504C188 361 341 312 465 312C483 312 501 313 518 315C454 195 366 93 314 59C255 82 201 109 141 109C73 109 33 83 33 52C33 13 76 -9 159 -9C218 -9 267 -1 314 15C354 0 402 -15 478 -15C575 -15 671 36 759 141L740 155C657 63 571 16 475 16C448 16 411 26 372 39C458 74 565 199 627 333C806 381 931 499 931 587C931 634 908 669 848 669C767 669 671 582 620 506C591 462 569 411 534 347C503 343 490 342 471 342C330 342 229 399 229 500C229 603 346 657 451 657C486 657 540 657 596 624L608 643ZM890 588C890 519 822 457 747 414C712 395 678 378 643 369C683 484 760 632 841 632C873 632 890 615 890 588ZM266 35C235 24 200 21 161 21C103 21 74 32 74 54C74 75 122 79 141 79C172 79 209 69 266 36V35Z"></path></g><g transform="matrix(.0091,0,0,-0.0091,12.298,3.132)"><path d="M735 650H491L482 618L516 614C568 608 571 595 541 535L299 115H297L196 559C187 600 195 608 238 614L265 618L275 650H26L18 618C79 611 98 605 115 527L234 -9H272C389 197 542 449 591 523C647 608 656 612 726 618L735 650Z"></path></g></svg></td><td class="align_center">IBPO + <svg height="12.3054pt" id="M33" style="vertical-align:-3.29108pt" version="1.1" viewbox="-0.0498162 -9.01432 19.1257 12.3054" width="19.1257pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"><g transform="matrix(.013,0,0,-0.013,0,0)"><path d="M608 643C551 682 486 687 443 687C299 687 188 608 188 504C188 361 341 312 465 312C483 312 501 313 518 315C454 195 366 93 314 59C255 82 201 109 141 109C73 109 33 83 33 52C33 13 76 -9 159 -9C218 -9 267 -1 314 15C354 0 402 -15 478 -15C575 -15 671 36 759 141L740 155C657 63 571 16 475 16C448 16 411 26 372 39C458 74 565 199 627 333C806 381 931 499 931 587C931 634 908 669 848 669C767 669 671 582 620 506C591 462 569 411 534 347C503 343 490 342 471 342C330 342 229 399 229 500C229 603 346 657 451 657C486 657 540 657 596 624L608 643ZM890 588C890 519 822 457 747 414C712 395 678 378 643 369C683 484 760 632 841 632C873 632 890 615 890 588ZM266 35C235 24 200 21 161 21C103 21 74 32 74 54C74 75 122 79 141 79C172 79 209 69 266 36V35Z"></path></g><g transform="matrix(.0091,0,0,-0.0091,12.298,3.132)"><path d="M690 629C653 643 577 667 483 667C225 667 24 528 24 292C24 92 174 -17 367 -17C448 -17 534 1 570 10C592 34 642 131 658 174C648 180 639 186 629 192C562 89 499 21 382 21C223 21 130 138 130 298C130 467 255 627 462 627C582 627 643 589 650 462L686 466C689 517 688 580 690 629Z"></path></g></svg></td></tr><tr><td class="thead-hr" colspan="6"><hr/></td></tr><tr><td class="align_left">Surs<sub>step</sub></td><td class="align_center"><b>293.7</b></td><td class="align_center">266.5</td><td class="align_center">273.4</td><td class="align_center">268.7</td><td class="align_center">282.5</td></tr><tr><td class="align_left">Pics<sub>hp</sub></td><td class="align_center"><b>9.58</b></td><td class="align_center">7.83</td><td class="align_center">9.11</td><td class="align_center">8.19</td><td class="align_center">8.17</td></tr><tr class="table-tr"><td colspan="6"><hr class="tbody-hr"/></td></tr></table></td></tr></table>

<div>Ablation experiment results of auxiliary tasks.</div>

Complexity

tab4

Table 4

Table 4: AIBPO: Combine the Intrinsic Reward and Auxiliary Task for 3D Strategy Game 