Ентузијаст за домашни сервери успеал да извршува модел Kimi K3 со 2,8 билиони параметри на систем без графичка картичка, потпирајќи се на прекинатата Intel Optane Persistent Memory 200 меморија и 40-јадрен процесор Xeon Scalable од третата генерација.

Проектот е објавен на Reddit и покажува како половна серверска меморија може да понуди капацитет кој вообичаено би бил прескап за домашна конфигурација. Според објавените информации, и најмалите достапни верзии на моделот бараат најмалку 610 GB меморија. Авторот наведува дека Optane модулите ги набавил за значително помала сума од соодветен капацитет DRAM.

Сепак, системот не е наменет за интерактивна работа. Со 1-битна квантизација, конфигурацијата достигнува околу 0,85 токени во секунда. При 3-битна квантизација брзината паѓа на 0,75 токени во секунда. Со такво темпо, задача од 50.000 токени би можела да трае приближно 13 часа, иако вакви перформанси би можеле да бидат прифатливи за серии задачи што се обработуваат преку ноќ.

Intel ја претстави серијата Optane PMem 200 во 2020 година, со модули од 128 GB, 256 GB и 512 GB. Таа е наменета за Xeon Scalable платформи од третата генерација и може да работи во Memory Mode, каде DRAM служи како кеш, или во App Direct Mode, каде софтверот директно користи посебен постојан мемориски простор. Во овој случај е употребен App Direct Mode, кој овозможува попрецизно распределување на податоците во меморијата.

Најголемиот практичен проблем е температурата. Авторот предупредува дека активното ладење на DIMM модулите е неопходно при продолжено оптоварување. За тоа биле поставени два вентилатори од 12 W насочени директно кон меморијата, бидејќи топлината од Optane модулите може да влијае и врз соседните DRAM плочки.

Според спецификациите на Intel, секој модул троши 12 или 15 W и бара присилен проток на воздух, како во серверски центар. Модулите почнуваат да го ограничуваат работењето на 83 степени Целзиусови, а се исклучуваат на 85 степени. Авторот планира дополнително да ја оптимизира конфигурацијата, да додаде графички картички и да користи DRAM како побрз слој покрај Optane меморијата.