Lab — cât de repede rulează AI local
Viteza de generare (tokeni pe secundă) pentru modele AI open-source rulate local, pe plăci video profesionale și workstation-uri HP Z. Cifrele te ajută să știi la ce să te aștepți înainte să cumperi.
Cifrele marcate estimat sunt referință orientativă (cuantizare Q4), nu măsurători pe o mașină anume. Le înlocuim cu valori măsurate, cu dată, pe măsură ce testăm configurațiile din stoc. Vrei cifre pe configurația ta exactă? Îți rulăm un benchmark real.
Llama 3.1 8B
8B parametri| Placă video | Workstation | Tokeni/sec | Sursă |
|---|---|---|---|
| NVIDIA RTX 2000 Ada 16GB | HP Z2 G1i | ≈ 45–60 | estimat |
| NVIDIA RTX 4000 Ada 20GB | HP Z2 G1i | ≈ 55–75 | estimat |
| NVIDIA RTX 5000 Ada 32GB | HP Z4 G5 | ≈ 70–95 | estimat |
| NVIDIA RTX 6000 Ada 48GB | HP Z4 G5 | ≈ 85–115 | estimat |
Qwen 2.5 14B
14B parametri| Placă video | Workstation | Tokeni/sec | Sursă |
|---|---|---|---|
| NVIDIA RTX 2000 Ada 16GB | HP Z2 G1i | ≈ 28–38 | estimat |
| NVIDIA RTX 4000 Ada 20GB | HP Z2 G1i | ≈ 35–48 | estimat |
| NVIDIA RTX 5000 Ada 32GB | HP Z4 G5 | ≈ 48–65 | estimat |
| NVIDIA RTX 6000 Ada 48GB | HP Z4 G5 | ≈ 60–80 | estimat |
Qwen 2.5 32B
32B parametri| Placă video | Workstation | Tokeni/sec | Sursă |
|---|---|---|---|
| NVIDIA RTX 5000 Ada 32GB | HP Z4 G5 | ≈ 22–30 | estimat |
| NVIDIA RTX 6000 Ada 48GB | HP Z4 G5 | ≈ 28–40 | estimat |
Llama 3.3 70B
70B parametri| Placă video | Workstation | Tokeni/sec | Sursă |
|---|---|---|---|
| NVIDIA RTX 6000 Ada 48GB | HP Z4 G5 | ≈ 14–22 | estimat |
| Multi-GPU (2× RTX 6000 Ada) | HP Z8 Fury | ≈ 22–34 | estimat |
Metodologie
- Cuantizare
- Q4_K_M (cuantizare pe 4 biți)
- Rulare
- llama.cpp / Ollama pe Windows 11
- Context
- context 4K, prompt scurt
- Sarcină
- un singur utilizator (batch = 1)
- Metrică
- viteza de generare a răspunsului (output), tokeni pe secundă
Viteza reală variază cu modelul exact, lungimea contextului, cuantizarea și driverul. Cifrele sunt un punct de plecare pentru dimensionare — nu o garanție. Pentru cifre pe configurația ta, îți rulăm un benchmark real.
Vrei cifre pe configurația ta exactă?
Îți rulăm un benchmark real cu modelul tău, pe workstation-ul potrivit, înainte să cumperi.