Produit · Téléchargement
PSE Analyzer
L’anatomie des poids d’un modèle. PSE Analyzer ouvre un fichier GGUF, mesure le spectre des valeurs propres de chaque matrice de poids, compare une précision d’un modèle à une autre, et scelle ce qu’il trouve dans un dossier. Il fonctionne sur un processeur ordinaire, et rien ne quitte votre ordinateur.
Téléchargement
Windows n’a besoin de rien d’installé. Ubuntu a besoin de Python 3.10 et d’une connexion Internet, une fois.
Les fichiers Windows contiennent tout sauf torch. Le paquet Ubuntu contient le programme et construit son propre environnement Python à la première exécution, si bien que numpy et scipy arrivent sous forme de wheels adaptées à votre processeur.
1d47c403b3219f70ae36b0b000e8158a59bbfb2efe2cd9cdb43a68ba3806852737f64f3d9224de86ed3ae3951b32da36d737241d02bb0251504b6f1bfe52e5c694577c6c2100dc4616d6665ca7854490f4317f31a1e2fe5ac7114ea81cce36c8Avant de l’exécuter
Ces versions ne sont pas signées. Sous Windows, SmartScreen affiche « Windows a protégé votre ordinateur » : choisissez Informations complémentaires, puis Exécuter quand même. Vérifiez d’abord le fichier et comparez le résultat avec SHA256SUMS.txt de la même version.
# Windows (PowerShell)
Get-FileHash .\PSE-Analyzer-0.3.1-windows-x64.exe -Algorithm SHA256
# Ubuntu
sha256sum pse-a_0.3.1_all.debCe qu’il fait
D’abord l’anatomie des poids, la physiologie des activations quand vous le voulez
L’essentiel de l’outil est du pur numpy et scipy et lit le fichier une matrice à la fois, sans jamais charger le modèle entier en mémoire. Quatre missions ont besoin de torch et lisent le modèle pendant qu’il tourne ; elles sont confiées à un environnement torch gardé à côté, que l’outil peut construire pour vous. PSE Analyzer intègre les niveaux de protection 1 et 2.
- doctor mesure d’abord la machine : processeur, mémoire vive, vitesse BLAS, et ce que permet le modèle qui lui est présenté. Pas de surprise au milieu d’une exécution.
- l1 passe en revue chaque matrice de poids : masse de Marchenko-Pastur, exposant de queue lourde, directions séparées, par type de tenseur, puisqu’un fichier Q4_K_M est un mélange de types plutôt qu’un seul format.
- qdiff compare deux précisions du même modèle, idéalement par rapport à f16, et montre ce qu’une quantification a conservé, déplacé ou perdu.
- lens, sae, jspace, ppl lisent le modèle pendant qu’il tourne : logit lens par couche, un dictionnaire de caractéristiques pour une couche, une carte du J-space, la perplexité le long d’une échelle de précisions. Ces missions ont besoin de torch.
- Chaque résultat est scellé dans un dossier propre au modèle, avec la configuration et les graines qui l’ont produit. La vue Web sur les dossiers écoute sur 127.0.0.1 seulement.
Configuration requise
Ce qu’il vous faut sur l’ordinateur
- Un fichier de modèle GGUF sur l’ordinateur. L’outil le lit une matrice à la fois et ne charge jamais le modèle entier en mémoire.
- Windows : rien d’autre. Ubuntu : Python 3.10 ou plus récent ; numpy et scipy sont installés dans un environnement utilisateur à la première exécution.
- torch seulement pour lens, sae, jspace et ppl. L’outil construit à la demande un environnement torch à côté, ou adopte celui que vous avez déjà.
- De l’espace disque pour vos données : les collectes atteignent des dizaines de gigaoctets. Faites pointer PSE_A_DATA vers un disque qui a de la place.
Licence et statut
Libre, conçu par Andrej Ristić
PSE Analyzer est libre et gratuit sous GPL-3.0, avec son code source sur github.com/zeravatechnologies/pse-analyzer. Les méthodes sont celles d’Andrej Ristić ; la spécification et le plan sont livrés avec le paquet Ubuntu et décrits dans la documentation.
- La version 0.3.1 identifie un modèle par son en-tête et des échantillons de ses poids, si bien que deux modèles de même géométrie ne partagent plus un dossier. Les dossiers plus anciens sont repris la prochaine fois que leur modèle est ouvert.
- Les données restent sur votre ordinateur : %LOCALAPPDATA%\pse-a sous Windows, ~/.local/share/pse-a sous Ubuntu. La vue Web écoute sur 127.0.0.1 seulement.
Contact
Vous avez trouvé quelque chose dans un spectre ?
Dites-nous quel modèle et quelle précision. Andrej lit ces messages.
Recherche : voir les articles publiés · Accord de confidentialité possible pour les discussions commerciales · Le formulaire et nos réponses sont en anglais ou en français, à votre choix · Toronto, Ontario, Canada