Quel Mac pour installer et faire fonctionner un LLM ?

[amonbophis]

Bonjour à tous. J’aimerais installer un LLM en local sur un Mac. Ik faut partir sur 32 gigaoctets de RAM, mais je me pose la question du type de professeur processeur M4. M4 pro, M4 MAX ?
Ça ne sera pas un Mac de travail, mais installé dans une armoire comme un serveur.
Me conseillez-vous un Mac mini, un Mac Studio, lequel ? Je ne tiens pas à mettre plus de 1500 €.
Merci d’avance

 

[Bicus]

Me conseillez-vous un Mac mini, un Mac Studio, lequel ? Je ne tiens pas à mettre plus de 1500 €.

Avec cette contrainte budgétaire, je pense que tu peux oublier le Mac Studio, même en reconditionné.

En partant sur un Mac mini M4, si on se concentre sur le Neural Engine, il n'y a pas de différence sur ce point entre les puces M4 et M4 Pro :

Mac mini - Caractéristiques

Découvrez toutes les caractéristiques du Mac mini avec puce M4 ou M4 Pro.

www.apple.com

Donc j'aurai tendance à recommander un Mac mini M4 avec 32 Go de mémoire. Peut-être 512 Go de stockage interne, et éventuellement le port réseau 10 Gb/s si besoin)

 

[Locke]

Un peu de lecture parue dans MacG... Comment faire tourner DeepSeek-R1 (ou un autre LLM) sur votre Mac ...mais il faut être membre du Club pour lire l'article complet. Sinon, tu as beaucoup de lecture générique... Google Search ...mais de base, c'est la quantité de mémoire qui est primordiale.

 

[meeshoot]

Avec cette contrainte budgétaire, je pense que tu peux oublier le Mac Studio, même en reconditionné.

En partant sur un Mac mini M4, si on se concentre sur le Neural Engine, il n'y a pas de différence sur ce point entre les puces M4 et M4 Pro :

Mac mini - Caractéristiques

Découvrez toutes les caractéristiques du Mac mini avec puce M4 ou M4 Pro.

www.apple.com

Donc j'aurai tendance à recommander un Mac mini M4 avec 32 Go de mémoire. Peut-être 512 Go de stockage interne, et éventuellement le port réseau 10 Gb/s si besoin)

Les Mac mini sont excellent, je fais tourner des LLM facilement avec ollama.

 

[Sly54]

mais je me pose la question du type de professeur processeur M4. M4 pro, M4 MAX ?

Note de la modération: je déplace dans le forum "conseils d'achat".

 

[Artyom]

Avec un budget si bas pour faire tourner un LLM en local, il faudra faire des sacrifices. Rationnellement, seul le paramètre de la RAM est bloquant : il faut une quantité minimum (32 ou 64 Go, de ce que j'ai pu voir), sinon le modèle ne fonctionne pas, ne se lance pas.
Le reste, notamment le type de puce, c'est du confort : ça n'empêchera pas le modèle de se lancer et de fonctionner.
Donc, priorise la + grande quantité de RAM possible. Le Mac Mini semble en effet la solution, si possible en 64 Go RAM.

 

[meeshoot]

48Go c'est déjà bien à moins d'en avoir un usage intensif.

 

[Artyom]

48Go c'est déjà bien à moins d'en avoir un usage intensif.

La quantité nécessaire de RAM ne dépend pas de l'usage intensif ou non : certains LLM imposent une quantité minimale. La contrainte la plus élevée est 32 Go RAM, mais quelques rares versions commencent à réclamer 64 Go, et cela ne va aller qu'en augmentant. Vu le prix de la machine dont on parle, autant se garantir une meilleure durée d'exploitation. Après, on trouve aussi des modèles tournant très bien à 16 Go ou même 8 Go. Comme toujours, c'est affaire de besoins spécifiques et de budget, et là, seul le concerné peut répondre.

 

[Artyom]

Nous n'avons pas revu l'auteur de ce fil... il a dû partir sur le Napadélis rejoindre Tournevis.

 

[edenpulse]

je fais tourner Llama3.5 et Mistral 7B tranquillement sur un MacBook M1 Pro avec 16Go de RAM sans soucis en soit… effectivement ça va clairement dépendre des besoins réels à ce niveau.

 

[love_leeloo]

Ça sert à quoi ?

 

[Artyom]

Ça sert à quoi ?

À ne pas dépendre d'une connexion internet, déjà.
À bénéficier de modèles conversationnels (d'une "IA", si on veut) plus performants ou plus spécialisés que ceux disponibles en ligne gratuitement et/ou pour le grand public.
À des fins expérimentales, pour tester en local l'intégration du LLM dans un outil que tu développes, ou un protocole, une formation, etc.
À être moins soumis au système des "tokens", c'est-à-dire en substance le système de gestion des files d'attente des requêtes sur les serveurs des entreprises créatrices ou exploitantes.

 

[edenpulse]

Ça sert à quoi ?

A passer à travers de certaines limites qui sont payantes sur les outils en ligne, et effectivement, tester sur des données locales, que tu ne peux pas uploader ou donner accès directement via les outils en ligne.
Est-ce que je l'utilise souvent? Non. Mais ça m'arrive.

 

[love_leeloo]

merci.

bon c'est surtout l'utilité de "l'IA" qui me laisse un peu pantois.

 

[meeshoot]

merci.

bon c'est surtout l'utilité de "l'IA" qui me laisse un peu pantois.

C'est plus un moyen de faire de l'approximation rapidement.

De mon côté, je l'utilise comme un outil statistique qui comprend le langage naturel, ce qui peut éviter des laborieuses lignes de code à apprendre et à faire et défaire pour un projet brouillon qui parfois ne le mérite pas.
Aussi, en tant que développeur, les Larges Languages Models me permettent de prédire la suite de mon code informatique et me fait gagner du temps fou au quotidien au prix d'une consommation électrique d'un gros jeu-vidéo en continu pendant la rédaction de code.

Avoir un LLM qui tourne en local et aussi bon qu'un LLM en ligne est un Graal en informatique moderne.

 

[Artyom]

J'utilise les outils IA comme aide à la rédaction, en particulier pour des actions de synthèse et de contraction de documents et rapports. Parfois pour de la traduction, car je jongle entre quelques langues que je maîtrise très inégalement.

En revanche, je ne leur fais pas confiance pour trouver de l'information fiable, car j'ai expérimenté plusieurs cas de "mensonges" factuels, avec certaines IA qui préfèrent "inventer" plutôt que de ne rien dire. D'autres sont programmées plus "modestes"...