On peut forcer un LLM a ne produire que des reponses valides
YouTube vient de publier en open source un projet appele STATIC qui resout un probleme que la plupart des gens ignorent: les LLMs peuvent dire n’importe quoi, mais parfois vous avez besoin qu’ils choisissent uniquement parmi une liste specifique. Le probleme Quand un LLM genere du texte, il choisit un token (mot/chiffre) a la fois parmi un vocabulaire de ~32 000 options. C’est ideal pour la conversation, mais terrible quand vous avez besoin qu’il produise quelque chose de precis: un identifiant de produit valide, un code medical, ou une recommandation video parmi un catalogue de millions d’entrees. ...