- Главная
- IA locale
КАЛЬКУЛЯТОР КОНФИГУРАЦИИ · 2026-11-05
Какое оборудование нужно для локального ИИ Mistral?
Предварительная оценка — без регистрации и загрузки документов. Укажите сценарий, чтобы подобрать конфигурацию для обсуждения со специалистом.
02 / Ориентировочный результат
Рекомендуемая модель
03 / SOURCES
Open Mistral models: weights, context and licences
Architecture details from config.json/params.json on Hugging Face. Verified 2026-11-05. API-retired models are marked where weights remain downloadable.
| Modèle / dépôt source | Параметры | Слои | KV-головы | head_dim / MLA | Максимальный контекст | Лицензия |
|---|---|---|---|---|---|---|
| Ministral 3 8B Instruct (2512) | 8.9B | 34 | 8 | 128 | 256k | Apache-2.0 |
| Ministral 3 14B Instruct (2512) | 13.9B | 40 | 8 | 128 | 256k | Apache-2.0 |
| Mistral Small 3.2 24B Instruct (2506)Retired from Mistral's API on 2026-07-31 (replaced by Mistral Small 4); open weights remain downloadable. | 24.0B | 40 | 8 | 128 | 128k | Apache-2.0 |
| Devstral Small 2 24B Instruct (2512) | 24.0B | 40 | 8 | 128 | 256k | Apache-2.0 |
| Mistral Small 4 119B (2603) — MoE | 119.4B6.5B actifs | 36 | — | MLA rank 256 + rope 64 | 256k | Apache-2.0 |
| Devstral 2 123B Instruct (2512) | 125.0B | 88 | 8 | 128 | 256k | Modified MITNot usable if the company's (or employer's) consolidated monthly revenue exceeds USD 20 million; commercial licence from Mistral AI otherwise. |
| Mistral Medium 3.5 128B | 127.7B | 88 | 8 | 128 | 256k | Modified MITNot usable if the company's (or employer's) consolidated monthly revenue exceeds USD 20 million; commercial licence from Mistral AI otherwise. |
| Mistral Large 3 675B Instruct (2512) — MoEModel card: FP8 runs on one 8×H200 (or B200) node; NVFP4 on one node of H100/A100. Parameter count from the model card (params.json has no total). | 675.0B41B actifs | 61 | — | MLA rank 512 + rope 64 | 256k | Apache-2.0 |
Apache 2.0 generally permits commercial use subject to its terms. Modified licences may include exceptions: read the linked text for your specific use.
04 / MÉTHODE
Как мы считаем
Reproducible sizing from published configs and verifiable hardware specifications. No fabricated prices.
1. Weights and KV cache
poids (GB) = paramètres × bits / 8 / 10⁹KV GQA = 2 × couches × têtes KV × head_dim × octets × tokens × utilisateursKV MLA = couches × (kv_lora_rank + qk_rope_head_dim) × octets × tokens × utilisateursВеса ≈ параметры × эффективные биты / 8. GQA KV = 2 (K+V) × слои × KV-головы × head_dim × байты на элемент × контекст × пользователи. FP8: 1 байт на K/V; llama.cpp: 2 байта. Итого = веса + KV + 10 % запаса runtime + 2 ГБ. Загрузка контекста на пользователя — 50 %.
2. Throughput and hardware
Скорость генерации ориентировочная, не benchmark: пропускная способность памяти × предполагаемая эффективность (GPU 50–75 %, Apple 45–70 %) / чтение весов и активный KV-кэш. Упрощённая модель; реальная скорость сильно зависит от системы.
Доступно 95 % VRAM GPU; unified memory Apple — 75 %. Несколько GPU требуют шардирования; учтена потеря 15 % на соединение. RAM ≈ памяти GPU, диск ≥ 2× веса + 500 ГБ, БП ≈ 1,25× (GPU + 350 Вт). Цены не указаны: они меняются.
05 / IA PRIVÉE
Why local AI?
A local installation can avoid sending prompts and documents to a cloud AI provider. Mistral AI is a French company founded in Paris. Local deployment may reduce certain data flows; it does not replace legal review or security controls.
No legal, GDPR, professional-secrecy, HDS or SecNumCloud guarantee is implied.
- RGPD · contrôle des flux à analyser
- Secret professionnel · configuration et accès
- HDS / SecNumCloud · certifications distinctes
- Mistral AI · entreprise française
06 / FAQ
Частые вопросы
Достаточно ли локального сервера для GDPR?
Нет. Он ограничивает отдельные передачи в облако, но соответствие зависит от обработки данных, мер защиты, доступа, подрядчиков и сроков хранения.
Что такое HDS и SecNumCloud?
Это отдельные системы сертификации. Локальная модель или рабочая станция автоматически не получают HDS/SecNumCloud. Проверьте применимые требования.
Какую квантизацию выбрать?
Q4 экономит память и может снижать качество отдельных задач; Q8 ближе к исходным весам, но требует больше памяти. Сравните на своих данных и проверьте условия лицензии.
Почему KV-кэш умножается на пользователей?
Каждая одновременная последовательность занимает собственный KV-кэш. Формула учитывает заданные контекст и пользователей.
Скорость токенов в секунду гарантирована?
Нет. Это теоретический диапазон по пропускной способности и предполагаемой эффективности. Реальный результат зависит от сервера, ядер, batch, квантизации и длины ответа.
Какие данные останутся локально?
Запросы и документы могут не покидать сервер, если система не обращается к облачным сервисам. Нужно проверить логи, телеметрию, резервные копии и интеграции.
Mac или NVIDIA GPU?
Объединённая память Mac позволяет запускать большие модели, но используется и системой. Отдельные GPU часто лучше подходят для CUDA/vLLM и нескольких пользователей.
Можно ли обрабатывать медицинские данные?
Не следует считать локальную установку достаточной для HDS. Состав данных, хостинг и отраслевые требования нужно проверить до обработки.
Обсудить конфигурацию
Your configuration is attached to the contact form for a contextual discussion.