Експеримент со автоматизирани агенти за управување со тим во фантази фудбал од Премиер лигата покажал дека подобрата обработка на вести, статистики и претходни резултати може да донесе покорисни предлози, но сѐ уште не и предност во однос на просечните играчи.
Авторот на тестот најпрво употребил Codex за да изгради систем со инструкции и код што прибира свежи информации и пресметува прогнози. Во системот биле внесени и неколку истражувачки трудови поврзани со предвидувања. Почетните предлози, сепак, биле слаби, меѓу другото и поради одлуки важни играчи да останат на клупата.
Резултатите се подобриле откако задачите биле поделени меѓу повеќе агенти. Дел од нив читале вести и блогови, други ги анализирале неодамнешните натпревари, трети работеле со модели за предвидување, а дополнителна група ги проверувала и критикувала предложените состави. Зголемувањето на бројот на агенти на повеќе од 100, сепак, не донело значајно подобрување, туку главно повисока сметка за користење на услугата.
Според Хаифенг Сју, компјутерски научник од Универзитетот во Чикаго, поновите модели можат подобро да предвидуваат бидејќи обработуваат големи количини информации од реалниот свет и координираат посложени системи. Сју со колеги ги тестирал комерцијалните модели и на пазари за предвидување, со прашања како исходот од НБА шампионатот или идни средби на претседателот Трамп.
Во тие тестови, GPT-5 бил најуспешен, пред Grok 4, Claude Sonnet, Gemini и Llama. Тимот развил и мерило наречено Prophet Arena за оценување на способностите за прогнозирање. Друг експеримент, Prediction Arena, им доделил по 10.000 долари на водечки модели за обложување на пазари за предвидување во период од 57 дена. Тие постојано губеле пари, но покажале напредок со текот на тестот.
И покрај тоа, особено вештите човечки прогнозери и натаму често имаат предност, бидејќи подобро ги разбираат причините и пошироките околности зад настаните. Во конкретниот фантази фудбалски тест, автоматизираниот тим не освоил повеќе поени од просекот во изминатите недели.