Garder le traitement et la génération local-first.
Livres, modifications, voix et médias restent dans une frontière auto-hébergée.Alternative écartée: Rendre obligatoire un modèle hébergé ou un stockage cloud.
Workflows IA d'audiobook local-first
Whispbook
Un studio d'audiobook auto-hébergé en React et FastAPI, associé à des outils de recherche pour l'attribution de locuteurs sous schéma et l'évaluation locale d'adapters LoRA.
Contexte et problème
Transformer un manuscrit en audio éditable et chapitré demande nettoyage, contrôle des voix, génération longue, sous-titres et attribution des personnages, sans envoyer le corpus à un service opaque.
Responsabilité et contribution
Chakib porte le workflow produit et l'implémentation backend/frontend, ainsi qu'une voie de recherche séparée pour le contexte contrôlé, les sorties structurées, les adapters LoRA locaux et les rapports d'évaluation.
Responsabilités
- Création de l'éditeur React et des API FastAPI de stockage et de jobs.
- Intégration des moteurs TTS locaux/ouverts, de la préécoute, de la génération et des sous-titres.
- Définition de schémas structurés d'attribution/export et du contexte fondé sur des candidats.
- Création des ressources LoRA MLX-LM/Unsloth et des rapports d'évaluation par checkpoint.
Architecture et flux de données
Le produit transforme les documents locaux en chapitres éditables, fige l'état du livre et les réglages TTS, puis génère audio, sous-titres et M4B. La recherche prépare séparément candidats et indices contextuels pour l'attribution structurée.
- Document local à texte sélectionnable
- Espace chapitres et paragraphes
- Workflow planificateur/coordinateur à contexte borné
- Attribution du locuteur / association de voix
- Jobs TTS locaux
- Audio par chapitre + VTT/SRT + M4B
Décisions d’ingénierie
Séparer le studio des expériences d'attribution.
Le produit exécutable reste fiable pendant que datasets, adapters et évaluations évoluent.Alternative écartée: Brancher directement un modèle non validé dans le chemin d'annotation produit.
Fiabilité, sécurité et évaluation
- Des JSON Schemas valident exemples d'attribution, appels d'outils et exports.
- Frontend et backend ont des contrôles CI séparés ; un TTS mock rend les smoke tests déterministes.
- Le studio public ne branche pas encore de fournisseur d'annotation par modèle ; l'attribution reste un workflow de recherche séparé.
Résultats et état actuel
Studio auto-hébergé actif avec import, TTS local, chapitres/sous-titres et CI. L'entraînement et l'évaluation d'attribution restent une piste expérimentale séparée.
Groupes technologiques
Produit
React, TypeScript, FastAPI, Docker
Média
Kokoro, Chatterbox, ffmpeg, M4B, VTT, SRT
IA appliquée
FunctionGemma, LoRA, MLX-LM, Unsloth, JSON Schema