llama.cpp b11247 : Vulkan réutilise ses descriptor sets
Le backend Vulkan arrête de reconstruire ses descripteurs quand les bindings ne changent pas entre deux appels.
par gyom 29 septembre 2026 à 07:40 rubrique : IA locale
Le journal de version du build b11247 tient en une entrée : les descriptor sets Vulkan sont réutilisés quand les bindings restent constants. Une seconde correction évite d'incrémenter le compteur de destruction de tampon avant la destruction réelle, ce qui règle une erreur de comptage.
Vulkan est le chemin d'exécution des cartes graphiques qui ne sont pas chez Nvidia, donc les AMD et les Intel, sous Linux comme sous Windows. Toute économie dans la boucle d'inférenceExécution d'un modèle : une entrée, une sortie. Le calcul se sépare en un pré-remplissage de la question, puis une génération token par token.Fiche du lexique y profite à du matériel grand public, souvent moins servi que les cartes CUDA.
Le projet publie les attestations de construction de chaque build et fournit les binaires macOS arm64 sur la page de publication.
Source primaire Version b11247, dépôt ggml-org/llama.cpp