Процессор (CPU) | 8-ядерный с поддержкой AVX2 (обязательно!) |
Видеокарта (GPU) | NVIDIA RTX 3060 (12 ГБ) или мощный CPU |
ОЗУ (RAM) | 32 ГБ DDR4 |
Видеопамять (VRAM) | 12-16 ГБ |
Накопитель | SSD 256+ ГБ |
Ожидаемый результат | Модель запустится на CPU или с выгрузкой на GPU, но очень медленно. Контекстное окно придется сильно снизить. |
Процессор (CPU) | Intel Core i7 / AMD Ryzen 7 |
Видеокарта (GPU) | NVIDIA RTX 4080 / 4090 (16-24 ГБ) |
ОЗУ (RAM) | 64 ГБ DDR5 |
Видеопамять (VRAM) | 24 ГБ |
Накопитель | NVMe SSD 512+ ГБ |
Ожидаемый результат | Идеальный баланс. Модель работает с приемлемой скоростью и хорошим контекстом (8-32k токенов). Ваш виджет будет отвечать за секунды. |
Процессор (CPU) | Intel Core i9 / AMD Ryzen 9 / серверный Xeon |
Видеокарта (GPU) | Несколько RTX 4090 / RTX A6000 (48 ГБ) |
ОЗУ (RAM) | 128+ ГБ DDR5 |
Видеопамять (VRAM) | 48+ ГБ (суммарно) |
Накопитель | NVMe SSD 1-2 ТБ |
Ожидаемый результат | Максимальная производительность. Можно полностью раскрыть потенциал модели, но цена крайне высока. |