Адвокатот Ник Мермигес го надградил својот приватен сервер со уште една плоча Nvidia V100 графички картички, со што конфигурацијата сега има вкупно 12 користени модели со по 32 GB меморија. Според неговите објавени мерења, системот може да ги смести сите 15.360 експерти од DeepSeek V4.1 Flash во 4-битниот NVFP4 формат директно во меморијата на графичките картички.

Целата конфигурација чинела 9.450 долари. Претходната верзија имала осум V100 картички и располагала со околу 254 GiB достапна меморија, што не било доволно за 278,9 GiB потребни за експертите во NVFP4. Тогаш дел од нив биле зачувани во 2-битна прецизност, а најчесто користените 5.949 експерти биле во NVFP4. Со дополнителните четири картички, сите експерти се достапни во истиот формат, без дополнително намалување на прецизноста.

Серверот постигнал меѓу 157 и 184 токени во секунда при обработка на еден тек на програмски код. За документи со контекст од 128.000 токени, читањето на датотека траело 28 секунди. Кај контекст од 256.000 токени, првиот токен за код пристигнувал по 58 секунди, речиси двојно побрзо во однос на 108,4 секунди кај претходната надградба.

Иако V100 е графичка картичка од 2018 година, таа нема наменски FP4 и FP8 тензорски јадра. Затоа NVFP4 податоците прво се распакуваат со софтвер и се претвораат во половична прецизност. Добивката доаѓа од помалото количество податоци што треба да се прочитаат од меморијата, а не од побрзо пресметување на самиот формат.

Картичките се распоредени на три плочи со по четири единици. Во рамките на секоја плоча комуницираат преку NVLink, додека преносот меѓу плочите минува низ PCIe прекинувачи. Третата плоча користи одделен прекинувач, па преносот до неа носи дополнително доцнење.

Со три паралелни барања и контекст од 128.000 токени, системот достигнал вкупно околу 360 токени во секунда за код и 213 токени во секунда за правни текстови. Мермигес планира дополнително да истражува обработка на повеќе барања истовремено и зачувување на разговорите и документите на диск.