Lokálne výpočtové uzly
Pre efektívnu prácu s lokálnymi modelmi (napr. Llama 3 alebo Mistral) je nevyhnutná vysoká priepustnosť pamäte VRAM. Minimálne požiadavky pre plynulý vývoj zahŕňajú:
- GPU s minimálne 24GB VRAM pre 4-bitovú kvantizáciu
- NVMe SSD s rýchlosťou čítania nad 7000 MB/s
- Minimálne 64GB systémovej RAM pre orchestráciu kontajnerov