Faire d'un Raspberry Pi 5 une machine Hermes avec Ollama et un modèle local

uname -m
nproc
free -h
cat /etc/os-release | head -2
hostname

aarch64            <- ARM 64 bits. Si vous voyez « armv7l » ou « armhf », l'image est 32 bits : recommencez à l'étape 1.2.
4                  <- 4 cœurs
               total        used        free
Mem:            15Gi       0.6Gi       14Gi     <- 15Gi pour un 16 Go, 7.6Gi pour un 8 Go, 3.7Gi pour un 4 Go
PRETTY_NAME="Ubuntu 24.04.x LTS"             <- peu importe la version, il faut « Ubuntu » et « LTS »
hermes-pi

Retenez le chiffre de la ligne Mem: : c'est lui qui décidera du modèle au §4. Notez aussi que ~1 Go est déjà pris par le système.

git --version
curl --version | head -1
sensors

git version 2.4x.x
curl 8.x.x (aarch64-...) libcurl/8.x.x
Adapter: ...
Package id 0:  +48.0°C   <- température au repos. Au-delà de 75 °C au repos : ventilateur ou pâte thermique à revoir.

Si sensors ne trouve aucun capteur, ce n'est pas bloquant, mais installez-le : c'est votre indicateur de bridage thermique pour toute la suite.

NAME        SIZE TYPE MOUNTPOINT
nvme0n1   476.9G disk
└─nvme0n1p2 476G part /          <- « / » sur nvme = vous démarrez bien sur le SSD
mmcblk0    29.7G disk
TARGET SOURCE                                FSTYPE OPTIONS
/      /dev/mapper/ubuntu--vg-ubuntu--lv     ext4   rw,relatime
/dev/mapper/ubuntu--vg-ubuntu--lv   48G   14G   32G  31% /     <- il faut au moins 10 Go libres pour les modèles + Hermes

Si / pointe vers mmcblk0p2, vous êtes sur la microSD : ça fonctionne, mais prévoyez le NVMe si vous gardez ce Pi en service permanent.

NAME      TYPE  SIZE  USED PRIO
/swap.img file    4G     0B   -2     <- ou /swapfile, peu importe. S'il n'y a RIEN, signalez-le.
60

Le swap n'est pas un problème tant qu'il n'est pas utilisé. Mais si le modèle se met à swapper, le débit s'effondre (de 4 jetons/s à 0,2). Règle simple : un modèle ne doit jamais être plus gros que la moitié de la RAM, sinon Ollama rame et peut tuer le service (erreur out of memory, cf. §11).

ollama --version
systemctl is-active ollama
systemctl is-enabled ollama
curl -s http://127.0.0.1:11434/api/tags
ss -ltn | grep 11434

ollama version is 0.x.y
active                       <- le service tourne
enabled                      <- il redémarrera tout seul au boot
{"models":[]}                <- aucune erreur : l'API répond, il n'y a juste aucun modèle encore
LISTEN 0  4096  127.0.0.1:11434  0.0.0.0:*

Les deux points qui comptent : l'API répond en JSON (Ollama est vivant) et elle écoute sur 127.0.0.1 uniquement (elle n'est donc pas exposée au réseau). Si vous voyez 0.0.0.0:11434, quelqu'un a ouvert Ollama à tout le réseau : Ollama n'a aucune authentification, remettez OLLAMA_HOST=127.0.0.1:11434 dans la configuration du service.

/usr/local/bin/ollama        <- le binaire existe. Sinon : réinstallez et lisez la sortie du script jusqu'au bout.
... Listening on 127.0.0.1:11434 (version 0.x.y)   <- dernière ligne saine des journaux

ollama list
ollama show qwen3:4b

NAME         ID           SIZE     MODIFIED
qwen3:4b     3be8f7...    2.5 GB   30 seconds ago

  Model
    architecture        qwen3
    parameters          4.0B
    context length      40960            <- IMPORTANT : notez ce chiffre, il borne le contexte
    ...
  Capabilities
    completion
    tools                              <- LA ligne à chercher. Si « tools » est absent, le modèle ne peut pas agir.

Un ordinateur est une machine qui exécute...

total duration:       24.983s
load duration:        2.401s
prompt eval count:    34 token(s)
prompt eval duration: 1.213s
prompt eval rate:     28.03 tokens/s     <- vitesse d'ABSORPTION du prompt (28 j/s : c'est lent)
eval count:           96 token(s)
eval duration:        21.369s
eval rate:            4.49 tokens/s      <- votre DÉBIT de génération. À comparer au tableau du §4.2.

Pour quitter Ollama : tapez  /bye  puis Entrée.

Écartez-vous du tableau de plus de 30 % ? Ce n'est presque jamais le modèle : c'est la température (bridage) ou le stockage (microSD). Vérifiez avec sensors et ollama ps pendant la génération.

{"id":"chatcmpl-...","object":"chat.completion","created":...,"model":"qwen3:4b",
 "choices":[{"index":0,"message":{"role":"assistant","content":"Bonjour !..."},"finish_reason":"stop"}],
 "usage":{...}}

Si vous obtenez ce JSON, alors Hermes pourra parler à Ollama : c'est exactement l'adresse et le format qu'il utilisera (§7).

systemctl show ollama -p Environment
curl -s http://127.0.0.1:11434/api/tags >/dev/null && echo "API OK"

Environment=OLLAMA_KEEP_ALIVE=24h OLLAMA_CONTEXT_LENGTH=16384 OLLAMA_NUM_PARALLEL=1
API OK

Si la ligne Environment est vide, le fichier de surcharge n'a pas été enregistré : recommencez sudo systemctl edit ollama (pensez à Ctrl+O).

ollama ps

NAME         ID           SIZE     PROCESSOR    CONTEXT    UNTIL
qwen3:4b     3be8f7...    3.6 GB   100% CPU     16384      23 hours from now

PROCESSOR = 100% CPU : c'est normal et attendu sur un Pi (aucun GPU n'est utilisé). CONTEXT = 16384 : votre réglage du §5 est bien appliqué. Le total SIZE (3,6 Go ici) est la vraie consommation : poids + contexte. Comparez-le à votre RAM libre.

which hermes
hermes --version
hermes doctor

/home/romain/.local/bin/hermes

Hermes Agent v0.xx.y (2026.x.x) · upstream xxxxxxx
Install directory: /home/romain/.hermes/hermes-agent
Install method: git
Python: 3.11.15

┌─────────────────────────────────────────────────────────┐
│                 🩺 Hermes Doctor                        │
└─────────────────────────────────────────────────────────┘

◆ Python Environment
  ✓ Python 3.11.15
  ✓ Virtual environment active
◆ Configuration Files
  ✓ ~/.hermes/.env file exists
  ⚠ API key or custom endpoint configured   <- ATTENDU À CE STADE : on le corrige au §7
  ✓ ~/.hermes/config.yaml exists
◆ Directory Structure
  ✓ ~/.hermes directory exists

Un ⚠ (avertissement) n'est pas une panne. Un ✗ (croix) est un vrai problème : hermes doctor indique toujours la commande pour le corriger. C'est le premier outil à lancer en cas de doute, et le premier à consulter après une mise à jour (§12).

hermes config get model.provider
hermes config get model.base_url
hermes config get model.default

custom
http://127.0.0.1:11434/v1
qwen3:4b

Les trois lignes doivent être exactement celles-ci. Si model.provider affiche autre chose (openrouter, deepseek…), la configuration n'a pas été prise : relancez la méthode A ou B. Ensuite, hermes doctor doit avoir remplacé son avertissement par une validation du fournisseur.

hermes config env-path
grep -n HERMES_API_TIMEOUT "$(hermes config env-path)"

/home/romain/.hermes/.env
12:HERMES_API_TIMEOUT=1800

Contrôle de sécurité dans le même mouvement : assurez-vous que ce fichier ne contient aucun vrai secret inutile. Affichez seulement les noms de variables, jamais les valeurs :

sed -E 's/=.*/=<masqué>/' "$(hermes config env-path)"

Vous devez voir, au bout d'un moment (parfois plusieurs minutes, cf. 8.3), une phrase cohérente en français : « La capitale de la Suisse est Berne. »

La lenteur n'est pas un échec. Un échec, c'est :

• une erreur explicite (connection refused, model not found, API key not set) ;
• une réponse qui ne vient jamais, même après 15 minutes ;
• une réponse incohérente en boucle (le modèle n'est pas fait pour les outils).

NAME         ID           SIZE     PROCESSOR    CONTEXT    UNTIL
qwen3:4b     3be8f7...    3.6 GB   100% CPU     16384      23 hours from now

  PID USER   %CPU  %MEM  COMMAND
 4213 romain 391%  22.0  ollama runner --model ...   <- un cœur à 100 % : 391 % = les 4 cœurs qui travaillent

Si vous voyez ce ollama runner à fond pendant que Hermes répond, la démonstration est faite : le raisonnement se passe sur le Pi, sans internet. (Preuve négative : coupez le réseau, la même question marche encore.)

Prompt-size breakdown (platform=cli, model=qwen3:4b)

  System prompt total :   23,455 B  (22.9 KB, 22,866 chars)
  Tool schemas         :   40,612 B  (39.7 KB, 25 tools)
  ------------------------------------------------------------------
  Total par requête    :   ~64 000 B  soit environ 16 000 jetons

Le calcul est simple et sévère : 16 000 jetons ÷ 28 jetons/s d'absorption ≈ 570 secondes, soit près de 10 minutes pour la première réponse d'une session. Les tours suivants sont bien plus rapides : le modèle garde en cache le début identique de la conversation (à condition qu'il reste chargé — d'où OLLAMA_KEEP_ALIVE=24h au §5).

Comparez la ligne Tool schemas avant/après. Passer de 40 Ko à 20 Ko de schémas divise par deux le temps de prefill. Dans la conversation, la commande /compress résume l'historique et libère du contexte.

enabled
active

enabled signifie qu'Ollama démarre avant même que vous vous connectiez. C'est l'installateur d'Ollama qui l'a mis en place, rien à faire de plus.

systemctl is-enabled ollama-warmup
systemctl status ollama-warmup --no-pager | head -6
ollama ps

enabled
● ollama-warmup.service - Precharge le modele Ollama utilise par Hermes
     Active: active (exited) since ...
NAME         ID           SIZE     PROCESSOR    CONTEXT    UNTIL
qwen3:4b     ...          3.6 GB   100% CPU     16384      23 hours from now

Changez MODEL="qwen3:4b" dans le script si vous changez de modèle : c'est le seul endroit à adapter.

systemctl --user is-enabled hermes-gateway
systemctl --user is-active hermes-gateway
hermes gateway status
loginctl show-user $USER -p Linger

enabled
active
Gateway: running (profile: default)
Linger=yes

enabled + active + Linger=yes : les trois conditions sont réunies. Notez que systemctl --user reset-failed hermes-gateway est la commande de secours si le gateway entre dans une boucle d'échecs.

active
{"models":[{"name":"qwen3:4b",...}]}
NAME         ID           SIZE     PROCESSOR    CONTEXT    UNTIL
qwen3:4b     ...          3.6 GB   100% CPU     16384      23 hours from now
active
Hermes Agent v0.xx.y

Si les cinq commandes répondent comme ci-dessus, votre Pi est une machine Hermes autonome : vous pouvez couper le courant, il reviendra tout seul en état de marche.

grep -i "telegram" ~/.hermes/logs/gateway.log | tail -5
grep -iE "failed to send|error" ~/.hermes/logs/gateway.log | tail -5

... Telegram: polling started (bot @votre_bot)
... Telegram: message from user 123456789 -> dispatched
                                                            <- la seconde commande doit rester VIDE (pas d'erreur)

Points de blocage connus : le bot ne répond pas dans un groupe (le « privacy mode » de Telegram est activé par défaut : @BotFather → /mybots → Bot Settings → Group Privacy → Turn off, puis retirez et réajoutez le bot au groupe), ou le bot ignore vos messages (votre identifiant n'est pas dans TELEGRAM_ALLOWED_USERS).

Active: active (running)
... Listening on 127.0.0.1:11434
{"models":[...]}          <- l'API répond de nouveau

Si le service refuse de démarrer juste après une modification du §5, c'est presque toujours le fichier de surcharge : retirez vos lignes avec sudo systemctl edit ollama (effacez tout l'intérieur), puis sudo systemctl daemon-reload && sudo systemctl restart ollama.

which hermes
hermes --version

/home/romain/.local/bin/hermes
Hermes Agent v0.xx.y

Erreur voisine : ModuleNotFoundError: No module named 'dotenv' → vous appelez le fichier source ~/.hermes/hermes-agent/hermes avec le Python du système au lieu du lanceur du venv. Utilisez ~/.local/bin/hermes (ou le lien /usr/local/bin/hermes).

NAME         ID        SIZE     PROCESSOR    CONTEXT    UNTIL
qwen3:4b     ...       3.6 GB   100% CPU     16384      23 hours from now

  PID USER   %CPU  %MEM  COMMAND
 4213 romain 388%  22.0  ollama runner ...    <- 300-400 % : les 4 cœurs tournent = ça travaille, attendez.
Package id 0:  +81.0°C                        <- au-delà de 80 °C le Pi bride : ventilateur, aération, boîtier.

Remèdes concrets, du plus efficace au moins : désactiver des outils (hermes tools) pour réduire le préambule ; garder le modèle chargé (OLLAMA_KEEP_ALIVE=24h, §5) ; vérifier que HERMES_API_TIMEOUT=1800 est bien dans .env (§7.1) ; refroidir la machine.

               total   used   free   available
Mem:            7.6Gi  2.1Gi  180Mi    4.9Gi    <- « available » doit rester > 1 Gi
Swap:           4.0Gi  2.7Gi  1.3Gi            <- Swap USED > 0 pendant une génération = c'est perdu

NAME        SIZE     PROCESSOR    CONTEXT
qwen3:4b    3.6 GB   100% CPU     16384          <- si SIZE dépasse la moitié de la RAM : modèle trop gros

Corrections, dans cet ordre : prenez un modèle plus petit (§4.2) ; baissez OLLAMA_CONTEXT_LENGTH à 8 192 ; fermez les autres services du Pi ; enfin seulement, augmentez la RAM (impossible sur un Pi : il faut changer de modèle de carte).

  Capabilities
    completion
    tools          <- présente = le modèle sait appeler des outils. Absente = changez de modèle (voir §4.2).

Si tools est absent, aucune configuration ne le rendra : changez de modèle (qwen3:*, llama3.2:1b/3b, gemma4:* sont marqués tools ; gemma3:* ne l'est pas). Si tools est bien présent, le problème est côté serveur : Hermes tente de réparer automatiquement les appels mal formés, mais un modèle 1–4B en produit régulièrement. Réduisez le nombre d'outils actifs (hermes tools) et reformulez la demande plus simplement.

NAME        SIZE     PROCESSOR   CONTEXT     <- doit afficher 16384 (ce que vous avez réglé au §5)
qwen3:4b    3.6 GB   100% CPU    16384

Prompt-size breakdown ...
  Total par requête : ~64 000 B  (~16 000 jetons)   <- à comparer au CONTEXT ci-dessus

Si le total du préambule approche la taille du contexte, il ne reste plus de place pour la conversation : c'est la cause classique. Trois gestes : /compress dans la session pour résumer l'historique ; augmenter OLLAMA_CONTEXT_LENGTH (16k → 32k) si la RAM disponible le permet (§5.1) ; ou démarrer une nouvelle session (/new).

throttled=0x0                            <- 0x0 = aucun bridage. Toute autre valeur = alimentation insuffisante ou surchauffe.
52600                                    <- 52,6 °C (millièmes de degré). Au-delà de 80 000 : bridage.
[  ... ] Under-voltage detected! ...     <- alimentation trop faible : mettez la 27 W officielle

Cause n°1 des débits décevants sur Pi 5 : l'alimentation, pas le logiciel. Cause n°2 : la carte microSD (le chargement du modèle est lent et le swap l'est encore plus).

Updating Hermes Agent...
📥 Pulling latest code...
📦 Updating dependencies...
🔍 Checking for new config options...
🔄 Restarting gateways...
✅ Hermes Agent updated successfully!

Puis, les trois contrôles d'usage :
  git status --short     <- doit être vide (une arborescence « sale » = à inspecter)
  hermes doctor          <- aucune ✗
  hermes --version       <- le numéro a bien bougé

Bon à savoir : hermes update fait une sauvegarde avant de tirer le nouveau code, se protège d'une coupure de terminal (fermer la fenêtre SSH ne casse plus rien) et redémarre tout seul le service du gateway. Tout est journalisé dans ~/.hermes/logs/update.log si vous avez un doute. Après un gros saut de version : hermes config check puis hermes config migrate pour ajouter les nouveaux réglages.

ollama --version
systemctl is-active ollama
systemctl show ollama -p Environment

ollama version is 0.x.y (numéro supérieur à avant)
active
Environment=OLLAMA_KEEP_ALIVE=24h OLLAMA_CONTEXT_LENGTH=16384 OLLAMA_NUM_PARALLEL=1

Relancer le script d'installation fait la mise à jour et préserve vos réglages du §5.

pulling manifest
... success
NAME         ID           SIZE     MODIFIED
qwen3:4b     7cdf5d13...  2.5 GB   2 seconds ago      <- la date a bougé : vous avez la version à jour

Un ollama pull sur un modèle déjà présent le met à jour sans repartir de zéro. Pour faire de la place : ollama rm nom-du-modele.

uptime -p
systemctl is-active ollama
systemctl --user is-active hermes-gateway

up since 2 minutes
active
active