Корпоративните центри за податоци во голема мера се градени за тренирање големи модели, но сè поголем дел од потребите се префрла кон инференција – процесот во кој моделите одговараат на барања од корисници и системи во реално време. Според Deloitte, инференцијата веќе учествува со приближно две третини од компјутерската обработка, додека McKinsey очекува до 2030 година да сочинува меѓу 30 и 40 проценти од вкупната побарувачка во центрите за податоци.
Проблемот е што инфраструктурата за овие две задачи има различни приоритети. Тренирањето најчесто се потпира на огромни, централизирани GPU-кластери, висока густина на пресметковна моќ и брзи врски во рамките на еден објект. Инференцијата, пак, мора да обработува непредвидлив број барања во текот на целиот ден и да испорачува одговори со многу мала латентност.
Тоа значи дека се потребни географски распределени пресметковни ресурси, edge-локации, стандардни Ethernet-мрежи и брзи врски меѓу корисниците, складиштето и серверите. Архитектурата оптимизирана за максимален проток во еден центар за податоци не е нужно соодветна за услуга што постојано комуницира со надворешни системи.
Дополнителен притисок создаваат автономните агенти, кои не извршуваат само една задача. Тие можат да планираат повеќе чекори, да повикуваат надворешни алатки, да разменуваат резултати со други агенти и да создадат бројни паралелни API-барања. Gartner предвидува дека до крајот на 2026 година 40 проценти од деловните апликации ќе вклучуваат агенти за специфични задачи. IDC, пак, очекува нивната употреба да порасне десеткратно до 2027 година.
Во вакви работни оптоварувања CPU-серверите добиваат поголема улога. Тие се важни за планирање, распоредување задачи, координација на повици кон алатки и обработка на повеќечекорни процеси. GPU-акцелераторите и понатаму се неопходни, но недостигот од CPU-капацитет може да стане главно тесно грло.
За продукциско работење потребно е усогласување на пресметковната моќ, мрежата и складиштето. Само 28 проценти од случаите во анкета на Gartner целосно ги исполниле очекувањата за поврат на инвестицијата, а 20 проценти не успеале. Главна причина била инфраструктура што не можела да го издржи планираното оптоварување.