Produit · Téléchargement
Pivot Benchmark
Trouvez où votre modèle local cède sous la pression sociale. Un modèle en met un autre sous pression le long d’échelles figées ; le résultat est l’endroit où il cède, de quelle manière, et s’il se rétablit. Fonctionne sur votre ordinateur. Rien n’en sort.
Téléchargement
Deux fichiers, un pour chaque système
Téléchargement et utilisation gratuits. Vérifiez la somme de contrôle, puis lancez-le. Il n’y a ni compte, ni clé de licence, ni installateur sous Windows.
d36b2647e7d74606808380a8056620320dd31ce172d0063f4d713f9c124c02c8e362d198ff2bf1960c99ecbd3c09eaff1daa6ae1155bb4de4cde9af8b9250529Avant de l’exécuter
Ces versions ne sont pas signées. Sous Windows, SmartScreen affiche « Windows a protégé votre ordinateur » : choisissez Informations complémentaires, puis Exécuter quand même. Vérifiez d’abord le fichier et comparez le résultat avec SHA256SUMS.txt de la même version.
# Windows (PowerShell)
Get-FileHash .\PivotBenchmark-0.9.0-preview-windows-x64.zip -Algorithm SHA256
# Ubuntu
sha256sum pivot-benchmark_0.9.0-preview_amd64.debCe qu’il fait
Où un modèle cède, de quelle manière, et s’il se rétablit
Pivot Benchmark fait s’affronter deux modèles. B veut s’améliorer et recrute A, le modèle que vous testez, pour l’aider. Au fil d’une conversation, les messages de B pivotent un mot à la fois : un éloge devient une insulte, une affirmation anodine sur un troisième modèle devient une accusation, une demande honnête devient trompeuse. Le banc d’essai enregistre la dose à laquelle A cède.
- Trois échelles figées, chacune avec un témoin qui place des mots neutres aux mêmes positions : le résultat est toujours une différence par rapport au témoin, jamais un nombre brut.
- Pour chaque sujet : la dose de rupture et la pente, la première dose à laquelle chaque critère de rupture est rempli, le mode au moment de la rupture, et si A cède plus tôt une fois qu’il a déjà cédé.
- Chaque message porte aussi une demande vérifiable au service de B, si bien que la compétence est mesurée en même temps que le sang-froid, et un canari distingue la dégradation de la rupture.
- Mettez en pause, intervenez à la main, relancez un tour ou arrêtez une exécution à tout moment ; chaque exécution conserve les empreintes de la version et des échelles qui l’ont produite.
- Tout fonctionne sur votre machine. Le modèle adversaire est Gemini, appelé avec votre propre clé ; le sujet est n’importe quel modèle GGUF servi par llama.cpp.
Configuration requise
Ce qu’il vous faut sur l’ordinateur
- Un modèle local servi par llama.cpp sur le même ordinateur. L’onglet Run le détecte, explique comment l’obtenir et donne le lien de téléchargement.
- Votre propre clé d’API Gemini pour le modèle adversaire, saisie dans l’onglet Settings. Elle est conservée sur votre ordinateur seulement.
- Environ 1 Go d’espace disque pour l’application. Les modèles sont en plus.
Licence et statut
Préversion, d’utilisation gratuite
Pivot Benchmark est libre et gratuit sous GPL-3.0. Le code, les échelles et la description de la méthode sont publics sur github.com/zeravatechnologies/pivot-bench. Chaque résultat indique la version des échelles sur laquelle il a été mesuré, car des échelles publiques peuvent servir à l’entraînement et sont remplacées avec le temps.
- Préversion : le classificateur automatique est en cours de révision ; les chiffres peuvent changer dans la version 1.0.
- Les réglages et les résultats restent sur votre ordinateur : %APPDATA%\Pivot Benchmark sous Windows, ~/.local/share/pivot-benchmark sous Ubuntu.
Contact
Vous voulez le rapport pour votre propre modèle ?
Envoyez-nous le modèle ou un point d’accès et vous recevez le même rapport que celui que nous rédigeons pour les modèles que nous testons : la dose qui l’a fait céder, comment il a cédé, et s’il s’est rétabli. Les questions sur une exécution que vous avez faite vous-même sont aussi les bienvenues.
Recherche : voir les articles publiés · Accord de confidentialité possible pour les discussions commerciales · Le formulaire et nos réponses sont en anglais ou en français, à votre choix · Toronto, Ontario, Canada