Quel Mac pour installer et faire fonctionner un LLM ?

[Raphael10]

Pour info, Je fais tourner Gemma3 et DeepSeek R1 sur mon vieux MacBookPro 2012, I7 16GB RAM.
Alors oui, ce n'est pas très rapide, mais ça marche très bien. (le débit reste correct, comparable à celui de ChatGPT d'OpenAI quand c'est sorti)
Je n'ose pas imaginer ce que ça doit faire sur un Mac avec puce Apple Silicon...

 

[meeshoot]

Le modèle pèse un certain poids sur le disque dur, et pèse un autre certain poids sur la mémoire vive.
poids sur le disque dur n'est pas corrélé au poids dans la mémoire vive.