Компаниите што ги префрлаат системите со вештачка интелигенција од пробни проекти во секојдневна употреба се соочуваат со поинаква пресметка на трошоците. Решение што изгледа евтино додека го користат неколкумина може значително да поскапи кога работи илјадници пати дневно или кога автоматизираните агенти повикуваат повеќе модели за една задача.

Наместо сите работни оптоварувања да се извршуваат со најголемиот достапен модел и на ист тип хардвер, поефикасен пристап е изборот да почне од задачата. Помалите модели можат побрзо и со пониска цена да извршуваат рутински класификации, извлекување податоци и насочување барања. Моделите од средна класа се погодни за голем дел од секојдневните задачи што бараат расудување, додека најмоќните имаат смисла кај сложено планирање и ситуации во кои се пресудни точноста и нијансите.

Приоритетите не се исти за сите организации. Асистент за корисничка поддршка бара брз одговор, добро корисничко искуство и контрола на трошокот при голем обем. Кај јавните институции и системите со чувствителни податоци, подеднакво важни стануваат местото на извршување, безбедноста, сопственоста и локалната контрола над информациите.

Истото важи и за акцелераторите. Хардверот оптимизиран за мала латентност не мора да биде најдобриот избор за задачи со голем обем, каде што поважни се пропусноста и цената. Потпирањето на еден тип акцелератор за сите процеси може да значи плаќање за перформанси што корисникот воопшто не ги забележува.

Поради тоа, се наметнува комбинација од различни типови силициум и добавувачи, меѓу кои се NVIDIA, AMD, Qualcomm, Microsoft и Cerebras. Како пример за специјализирани перформанси, Cerebras го извршувал моделот gpt-oss-120b на OpenAI со околу 3.000 токени во секунда, брзина значајна за услуги каде што времето на одговор е клучно.

Трошокот не зависи само од избраниот модел, туку и од начинот на употреба. Агентите што читаат датотеки, создаваат и тестираат код, па потоа го проверуваат резултатот, можат да потрошат многу повеќе токени од обичен разговорен систем. Затоа, мерката за успех не треба да биде само бројот токени или суровата моќност, туку вредноста на завршената работа — на пример, цената за решен кориснички случај или реалното забрзување на работата на вработените.