Passation lot 6 : chargements paresseux sous concurrence (D27 réservée)

Le point ouvert concurrence est scindé : la manifestation caches devient le lot 6 (L6.1 single-flight par clé, L6.2 garde de génération contre les écritures post-invalidation, L6.3 refus d'encaisser un vide anormal — response?.entities || [] transforme une réponse transitoirement anormale en cache vide empoisonné pour tout le TTL, cause probable du count 0 mesuré au lot 5). La manifestation bascule de profil reste en point ouvert, hors périmètre du lot. Preuves dans la passation : 6 chargements Metadata parallèles pour une rafale de 6 appels (lot 2), count 0 contre 44 en séquentiel (lot 5), avec la commande de rafale reproductible et l'exigence de rejouer chaque vérification de concurrence trois fois. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-08-25 15:34:01 +02:00
parent 1851b38c62
commit 8a631f5ea4
2 changed files with 256 additions and 16 deletions
@@ -82,6 +82,43 @@ plus riche que `/AD/api/Application/GetAll`), `GET /healthcheck?tenantCode=` et

 ---

+## Lot 6 — Chargements paresseux sous concurrence
+
+Mesuré le 25/08/2026 (révisions des lots 2 et 5) : sans aucune bascule de
+profil, une rafale d'appels concurrents pendant un chargement paresseux
+produit des résultats faux en silence — `search_workflows("CST_",
+application: "CustomApp")` a répondu `count: 0` (contre 44 en séquentiel), et
+une rafale au lot 2 a déclenché **6 chargements Metadata complets en
+parallèle** (6 × `[EntityResolver] Cache expired or empty, fetching…`).
+Rejoués en séquentiel, les mêmes appels sont corrects.
+
+Trois défauts structurels dans les services à cache (`workflow-service`,
+`ad-service`, `entity-resolver`) :
+
+### L6.1 — Dédupliquer les fetchs en vol
+
+Aucun service ne mémorise la promesse de chargement en cours : N appelants
+concurrents sur la même clé déclenchent N chaînes de fetch complètes.
+Single-flight par clé de cache (promesse partagée, libérée au règlement).
+
+### L6.2 — Protéger l'invalidation contre les fetchs en vol
+
+Un fetch parti avant `clearCache()`/`invalidateCache()` (bascule de profil,
+D8) écrit son résultat **après** l'invalidation : cache repeuplé avec les
+données de l'ancien tenant. Garde de génération (epoch) : un résultat issu
+d'une génération antérieure est jeté, pas écrit.
+
+### L6.3 — Ne pas encaisser un vide anormal
+
+`fetchAllWorkflows` fait `response?.entities || []` puis met en cache le
+résultat même vide, avec un timestamp valide : toute réponse transitoirement
+anormale (forme inattendue sous concurrence) devient un **cache vide
+empoisonné pour tout le TTL** — cause probable du `count: 0` mesuré. Une
+forme sans `entities` doit lever ; un `entities: []` réel reste cachable
+(des applications légitimement vides existent, ex. `SmartUI`).
+
+---
+
 ## Écarté

 | Proposition | Raison |
@@ -105,23 +142,13 @@ plus riche que `/AD/api/Application/GetAll`), `GET /healthcheck?tenantCode=` et
  test.
 - **Bascule de profil concurrente aux appels en vol** (mesuré le 25/08/2026,
  révision du lot 2). Le serveur traite les `tools/call` **en concurrence** :
-  en envoyant une rafale de requêtes dans une même session, les réponses
-  reviennent dans le désordre, et un `switch_wms_profile` émis pendant que des
-  requêtes sont en vol les fait partir sur le nouveau profil (observé : une
-  requête destinée à EUROTRAFIC exécutée sur l'hôte `10.255.255.2` après la
-  bascule suivante). Conséquence du singleton d'état global (D8). Sans gravité
-  pour un usage conversationnel séquentiel, mais Claude peut émettre des appels
-  d'outils **en parallèle** : à traiter si un cas réel de mélange de profils
+  un `switch_wms_profile` émis pendant que des requêtes sont en vol les fait
+  partir sur le nouveau profil (observé : une requête destinée à EUROTRAFIC
+  exécutée sur l'hôte `10.255.255.2` après la bascule suivante). Conséquence du
+  singleton d'état global (D8). À traiter si un cas réel de mélange de profils
  est observé (piste : sérialiser les `tools/call` ou figer le profil résolu au
-  début de chaque appel). **Seconde manifestation mesurée (25/08/2026, révision
-  du lot 5)** : sans aucune bascule de profil, une rafale d'appels concurrents
-  pendant le chargement paresseux du cache workflow renvoie des résultats
-  faux en silence — `search_workflows("CST_", application: "CustomApp")` a
-  répondu `count: 0` (contre 44 en séquentiel), et `get_workflow_details` une
-  réponse anormale — les chargements concurrents du même cache ne sont pas
-  synchronisés (pas de déduplication de fetch en vol). Rejoués en séquentiel,
-  les mêmes appels sont corrects. Piste supplémentaire : mémoriser la promesse
-  de fetch en cours par clé de cache et la partager entre appelants.
+  début de chaque appel). La manifestation « caches » de la même concurrence
+  est traitée par le **lot 6** ci-dessus.
 - **`select_expression`** : les projections via le paramètre `Select` provoquent
  des erreurs de compilation côté serveur (D13). Irritant principal restant.
 - **Déploiement SSH sur la VM** : l'exécutable est validé, la configuration SSH
@@ -0,0 +1,213 @@
+# Passation — lot 6 (chargements paresseux sous concurrence)
+
+Tu travailles sur `mcp-wms-api` : un serveur MCP (Node.js, CommonJS, stdio) qui
+donne à Claude un accès en lecture à un WMS EasyWMS (Mecalux) via ses API REST.
+Lis [../CLAUDE.md](../CLAUDE.md) et [../DECISIONS.md](../DECISIONS.md) —
+en particulier **D8** (invalidation par abonnement), **D10** et **D26**
+(caches par application, chargement paresseux) — avant de toucher au code.
+
+**Mission** : rendre les chargements paresseux corrects sous appels
+concurrents — lot 6 de [../ROADMAP.md](../ROADMAP.md) : déduplication des
+fetchs en vol (L6.1), garde de génération contre les écritures post-invalidation
+(L6.2), refus d'encaisser un vide anormal (L6.3). Trois services concernés :
+`src/services/workflow-service.js`, `src/services/ad-service.js`,
+`src/services/entity-resolver.js`.
+
+**Hors périmètre** :
+- La **sérialisation globale des `tools/call`** et le figeage du profil par
+  appel : c'est l'autre manifestation de la concurrence (bascule de profil
+  redirigeant les requêtes en vol), point ouvert distinct de la ROADMAP — n'y
+  touche pas.
+- Le reste de la roadmap (L4.3, L4.4, L4.5, Metrics). Aucun nouvel outil, le
+  compte reste à 23. Aucun changement des schémas d'outils.
+- Ne pousse rien (`git push` interdit), ne touche pas au `.env`, n'appelle
+  jamais `execute_command` (il écrit dans le WMS).
+
+---
+
+## Contexte matériel
+
+- Profil de travail : `LIMAGRAIN` (par défaut), host `10.255.255.2`, tenant
+  `LIMAGRAI2512`. `EUROTRAFIC` fonctionne (utile pour tester la bascule).
+- **Le profil `AD` est cassé et c'est diagnostiqué — ne le réinvestigue pas**
+  (tenant introuvable côté STS, point ouvert). La baseline se mesure avec
+  `npm test` (profil par défaut), attendu **4/4, code de sortie 0**.
+- Baseline protocolaire : **23 outils**, **6 resources**, rien sur stdout hors
+  JSON-RPC.
+- **Fait établi, ne le redécouvre pas** : le serveur traite les `tools/call`
+  en **concurrence** — une rafale de requêtes dans une même session s'exécute
+  en parallèle. C'est précisément ce qui déclenche les bugs de ce lot, et
+  c'est l'outil de reproduction.
+
+Handshake + comptages :
+
+```bash
+printf '%s\n%s\n%s\n%s\n' '{"jsonrpc":"2.0","id":1,"method":"initialize","params":{"protocolVersion":"2024-11-05","capabilities":{},"clientInfo":{"name":"t","version":"1"}}}' '{"jsonrpc":"2.0","method":"notifications/initialized"}' '{"jsonrpc":"2.0","id":2,"method":"tools/list"}' '{"jsonrpc":"2.0","id":3,"method":"resources/list"}' | node src/index.js 2>/dev/null | node -e "let b='';process.stdin.on('data',d=>b+=d).on('end',()=>{for(const l of b.split('\n').filter(Boolean)){const m=JSON.parse(l);if(m.id===2)console.log('tools:',m.result.tools.length);if(m.id===3)console.log('resources:',m.result.resources.length);}});"
+```
+
+**Rafale concurrente** (l'outil de reproduction de ce lot) : envoyer plusieurs
+`tools/call` d'un bloc sur stdin — ils partent en parallèle. Exemple, 6 appels
+identiques :
+
+```bash
+node -e "
+const lines=[JSON.stringify({jsonrpc:'2.0',id:1,method:'initialize',params:{protocolVersion:'2024-11-05',capabilities:{},clientInfo:{name:'t',version:'1'}}}),JSON.stringify({jsonrpc:'2.0',method:'notifications/initialized'})];
+for(let i=0;i<6;i++)lines.push(JSON.stringify({jsonrpc:'2.0',id:10+i,method:'tools/call',params:{name:'search_workflows',arguments:{query:'CST_',application:'CustomApp'}}}));
+process.stdout.write(lines.join('\n')+'\n');" | node src/index.js 2>stderr.log | node -e "let b='';process.stdin.on('data',d=>b+=d).on('end',()=>{for(const l of b.split('\n').filter(Boolean)){const m=JSON.parse(l);if(m.id>=10){const o=JSON.parse(m.result.content[0].text);console.log('id',m.id,'count',o.count);}}});"; grep -c "fetching from API" stderr.log
+```
+
+Pour les vérifications **séquentielles** (une requête après la réponse de la
+précédente), écris un petit driver qui n'envoie la ligne suivante qu'à
+réception de la réponse — ne réutilise pas la rafale pour ça.
+
+## Contraintes non négociables
+
+1. `console.error()` uniquement (D6) — et les logs de fetch existants
+   (`fetching from API`, `Cache expired or empty`…) sont l'**observable** des
+   vérifications de ce lot : garde-les exacts, un par fetch réel.
+2. Contrat d'erreur `{ success: false, error, tool }`, `isError: true`.
+3. Aucun accès base de données (D1).
+4. **D8** : l'invalidation reste pilotée par `onSwitch()` — ce lot la renforce
+   (L6.2), il ne la remplace pas. N'invalide toujours rien à la main depuis un
+   autre module.
+5. **D26** : chargement paresseux strict — la déduplication ne doit introduire
+   aucun préchargement.
+6. Pas de dépendance externe pour le single-flight : c'est une Map de
+   promesses, pas une lib.
+
+**Numéro de décision réservé** : **D27** = single-flight + génération de cache
+(le motif commun aux trois services). Vérifie que D26 est bien la dernière
+décision avant d'écrire.
+
+---
+
+## Phase 0 — Reproduire (time-box : 45 min)
+
+Preuves déjà mesurées (25/08/2026, révisions des lots 2 et 5) à **reproduire
+au moins partiellement** — la course est non déterministe, un échec de
+reproduction ponctuel n'invalide pas les mesures :
+
+1. **Duplication** (déterministe, reproduis-la telle quelle) : une rafale de
+   6 appels identiques nécessitant le resolver a produit 6 ×
+   `[EntityResolver] Cache expired or empty, fetching Metadata...` — soit 6
+   chargements complets (6 × 6 GET) pour un seul cache. La rafale ci-dessus
+   doit montrer aujourd'hui plusieurs `fetching from API` pour la même clé.
+2. **Résultat faux** (non déterministe) : dans une rafale mixte de 14 appels,
+   `search_workflows("CST_", application: "CustomApp")` a répondu
+   `count: 0` (contre 44 en séquentiel) et `get_workflow_details` une réponse
+   anormale (~982 caractères au lieu de ~23 000). **Cause supposée, à
+   confirmer ou infirmer pendant l'implémentation de L6.3** : une réponse
+   transitoirement anormale de l'API sous charge concurrente, encaissée comme
+   cache vide (voir L6.3). « Non résolu » est une réponse acceptable sur le
+   déclencheur exact ; le durcissement L6.3 se fait dans tous les cas.
+
+---
+
+## L6.1 — Dédupliquer les fetchs en vol (single-flight)
+
+**Problème.** Aucun des trois services ne mémorise la promesse du chargement
+en cours : chaque appelant concurrent qui trouve le cache invalide lance sa
+propre chaîne de fetch complète.
+
+**À faire.** Dans `workflow-service` (cache par application **et** liste
+allégée d'`Application/GetAll`), `ad-service` (cache par
+`(application, type)`), `entity-resolver` (table unique) : mémoriser la
+promesse de fetch en vol **par clé de cache** ; tout appelant concurrent sur
+la même clé attend cette promesse au lieu de refetcher ; la promesse est
+retirée de la Map au règlement (succès **ou** échec — un échec ne doit pas
+rester coincé et bloquer les appels suivants : le prochain appel refetche).
+
+**Attention** : deux clés différentes (ex. `EasyWMS` et `CustomApp`) doivent
+pouvoir se charger **en parallèle** — le single-flight est par clé, pas global.
+
+**Vérification attendue** (protocole, LIMAGRAIN) :
+- Rafale de 6 `search_workflows {"query":"CST_","application":"CustomApp"}` →
+  les 6 réponses portent `count: 44`, et stderr contient **exactement une**
+  ligne `fetching from API` pour CustomApp.
+- Rafale de 6 `query_wms_entities {"entity_type":"Container","limit":1}` →
+  6 succès, **une seule** ligne `[EntityResolver] Cache expired or empty`.
+- Rafale mixte EasyWMS + CustomApp → un fetch **par application** (deux au
+  total), réponses toutes correctes.
+
+## L6.2 — Garde de génération contre les écritures post-invalidation
+
+**Problème.** Un fetch parti avant une invalidation (`clearCache()` /
+`invalidateCache()` sur bascule de profil, D8) termine **après** elle et écrit
+son résultat : le cache est repeuplé avec les données de l'ancien tenant, avec
+un timestamp neuf. Défaut latent, aggravé par le single-flight si la promesse
+en vol survit à l'invalidation.
+
+**À faire.** Compteur de génération par service (ou par clé) : incrémenté à
+chaque invalidation ; un fetch capture la génération au départ et, au moment
+d'écrire, jette son résultat si la génération a changé. L'invalidation vide
+aussi la Map des promesses en vol (un appelant en attente sur une promesse de
+l'ancienne génération reçoit son résultat mais celui-ci n'est **pas** mis en
+cache).
+
+**Vérification attendue** : rafale `[search_workflows (EasyWMS),
+switch_wms_profile (EUROTRAFIC)]` envoyée d'un bloc, puis — séquentiellement,
+après les deux réponses — `get_application_summary` : **aucun cache** peuplé
+(le fetch EasyWMS parti avant la bascule n'a pas repeuplé le cache après
+l'invalidation). Rejouer 3 fois (course non déterministe) : zéro occurrence de
+cache repeuplé.
+
+## L6.3 — Ne pas encaisser un vide anormal
+
+**Problème.** `fetchAllWorkflows` (`workflow-service.js`, boucle de
+pagination) fait `response?.entities || []` : une réponse sans champ
+`entities` (forme anormale, quelle qu'en soit la cause) devient un tableau
+vide, mis en cache avec un timestamp valide — **cache vide empoisonné pour
+tout le TTL**. Cause probable du `count: 0` mesuré. Vérifie si `ad-service`
+et la liste d'applications ont le même motif.
+
+**À faire.** Distinguer les deux cas : une réponse **sans** champ `entities`
+(undefined/null, forme inattendue) → **lever** une erreur (l'appel échoue,
+rien n'est mis en cache, le prochain appel refetche) ; une réponse avec
+`entities: []` **réel** → comportement actuel conservé (fin de pagination, et
+des applications légitimement vides existent — `SmartUI` a 0 workflow, D26).
+
+**Pente naturelle interdite** : ne transforme pas ça en retry automatique ou
+en logique de résilience élaborée — ce lot rend l'anomalie **visible et non
+persistante**, c'est tout.
+
+**Vérification attendue** : `search_workflows` sur `SmartUI` (application
+légitimement vide) → `count: 0` **sans erreur**, cache posé, et le hint L5.4
+présent. Le cas « forme sans `entities` » n'est pas déclenchable à la demande
+contre le vrai WMS : couvre-le par un test direct du service en Node (appelle
+la fonction avec un `apiService.post` substitué qui renvoie `{}`) et colle la
+sortie — l'erreur doit être levée, rien en cache.
+
+---
+
+## Méthode
+
+1. Phase 0 (reproduction, time-boxée).
+2. L6.1, puis L6.2, puis L6.3 — dans cet ordre : la garde de génération (L6.2)
+   s'appuie sur la structure posée en L6.1.
+3. Chaque bloc vérifié **en exécution via le protocole** (rafales pour la
+   concurrence, driver séquentiel pour les états) avant de passer au suivant.
+4. Les courses sont non déterministes : rejoue chaque vérification de
+   concurrence **3 fois** et colle les trois sorties.
+5. Aucun schéma d'outil ne change ; si tu touches quand même à `src/index.js`
+   ou aux schémas, reboucle sur les 23 noms de `tools/list`.
+6. Baseline avant/après : handshake (23/6) + `npm test` (4/4, exit 0). Et
+   vérifie qu'un appel **séquentiel simple** (`search_workflows` stacker → 50,
+   cache hit au second appel) est strictement inchangé — la déduplication ne
+   doit rien changer au chemin nominal.
+
+## Livraison
+
+- Un commit par bloc (L6.1, L6.2, L6.3), messages expliquant le pourquoi,
+  **sorties des vérifications (× 3 pour les rafales) dans le corps du
+  message**.
+- Documentation dans les mêmes commits : **D27** dans DECISIONS.md (motif
+  single-flight + génération, et le contrat « vide anormal = erreur, vide réel
+  = cachable ») ; CLAUDE.md — une phrase dans la section Caches ; ROADMAP.md —
+  retirer le lot 6 (le point ouvert « bascule de profil concurrente » reste,
+  il n'est **pas** couvert par ce lot).
+- Ne pousse pas. `.env` intact. Toute anomalie hors périmètre découverte en
+  route : dans ROADMAP.md, pas dans le code.
+- Compte-rendu final : pour chaque bloc, la vérification attendue rejouée et
+  ses résultats **mesurés** (colle les sorties, y compris les compteurs de
+  lignes stderr), plus la baseline finale. Laisse `handoff-lot6.md` en place
+  pour la révision.