Svensk taligenkänning i webbläsaren med Pianissimo

Den 23 oktober bjöd Klang AI in till ett hackathon. Uppgiften var att bygga något med deras svenska taligenkänningsmodell Pianissimo på en timme, och min kollega Anir Darrazi och jag byggde varsin prototyp. De visar att svensk röst-AI nu går att bygga riktiga tjänster på. Dagen visade också att leverantörens eget hackathon är ett av de snabbaste sätten att lära sig en ny modell.

AI-intervjuträning på svenska

Jag byggde en AI-rekryterare som intervjuar dig på svenska, en fråga i taget, och ställer följdfrågor när svaret är vagt. Pianissimo transkriberar svaren i realtid. Efteråt får du feedback på varje svar: vad du kan förbättra, ett exempel på ett starkare svar, hur snabbt du pratade och vilka utfyllnadsord du använde. Våra konsulter kan använda den inför intervjuer hos kunder, och den som söker jobb kan öva utan att boka in någon.

Vi hann långt eftersom vi inte började från noll. Båda prototyperna bygger på den prototyp för realtidstranskribering som jag gjorde när Pianissimo släpptes i september.

Taligenkänning direkt i webbläsaren

Anir flyttade hela taligenkänningen till webbläsaren. Pianissimo körs nu lokalt på användarens dator, och Anirs mätningar på en vanlig Mac M4 visar att det går ungefär sex gånger snabbare än realtid. Texten uppdateras ungefär varje sekund medan man pratar, jämfört med var två till tre sekunder med det API vi använde tidigare.

Vad lokal taligenkänning betyder för er

Ljudet stannar hos användaren. Möten, kundsamtal och intervjusvar innehåller känslig information. När modellen körs i webbläsaren lämnar ljudet aldrig datorn.

Kostnaden växer inte med användningen. Användarens dator gör jobbet, så varje extra timme ljud kostar er ingenting, och ni behöver inga servrar dimensionerade för den mest belastade timmen.

Texten kommer snabbare. Ljudet går inte till en server och tillbaka, så texten dyker upp medan man fortfarande pratar.

Enheten avgör upplevelsen. Modellen är 660 MB att ladda ner första gången och kräver omkring 2,2 GB minne, vilket utesluter de flesta äldre mobiler under 8 GB minne. En produkt bör därför kontrollera enheten och falla tillbaka på en molntjänst när den inte räcker.

Det här går bara för att Pianissimo har öppna modellvikter och är tillräckligt liten för att köras på en vanlig dator.

Gå på AI-leverantörens hackathon

Jag tror att fler teknikledare borde skicka sina utvecklare på den här typen av hackathon. Man lär sig en modell snabbare på några timmar tillsammans med dem som byggt den än på veckor på egen hand, och man får testa en idé utan att först starta ett projekt.

Berätta om dina erfarenheter

Har ni byggt något med svensk röst-AI, eller funderar ni på var det skulle göra nytta? Hör av dig till mig, jag vill gärna höra mer.