Telegram · @happypc
🔥 Домашний хомлаб запустил 2.8T-параметровую AI-модель на CPU с помощью Optane
Пользователь Reddit смог запустить тяжёлую модель Kimi K3 с 2.8 триллионами параметров на процесcоре Xeon с 40 ядрами, используя для памяти устаревшие модули второго поколения Optane PMem 200. Важно: без серьёзного охлаждения ОЗУ система греется, автор советует устанавливать активное охлаждение DIMM.
Проект медленный — около 0,85 токена в секунду — и далеко не готов для домашнего использования из-за высокой нагрузки и требований по памяти. Но это редкий пример, когда AI такого масштаба удалось запустить на CPU без GPU и