[Automatisk tekstet av Autotekst med NB Whisper. Kan inneholde feil.]
Vi har jobba lenge med transkribering her på universitetet.
Både siden vi fikk lagd den diktafonen som dere så litt om tidligere, men òg fordi vi har slitt med teksting av video fra forelesninger.
Og vi har hatt et bevisst forhold til det på universitetet i mange år, egentlig.
Heldigvis kom det høsten 2022 teknologi som gjorde revolusjon innenfor transkribering.
Nå har vi satt opp en litt sånn felles, interaktiv, hybridforedrag her.
Så jeg tror bare jeg lar dere sette i gang.
Vær så god.
Da kan du bare begynne å ordne.
Jeg skal snakke litt sammen med Tor og kanskje Magnus på slutten om Autotekst.
Både om nyheter og erfaringer med bruk av Nasjonalbibliotekets modeller.
Høres det greit ut, eller er lydet sånn hygiene?
Ja, vi har gode signaler på det.
Det er litt logistikk, for jeg er på hytta, og da er vi avhengig av at Starlink og satellittene der, som det stadig skifter mellom, fungerer, siden det er et litt øde sted.
Men vi satser på at det også går bra.
Autotekst er i mange tilfeller den beste løsningen som er tilgjengelig for norsk taletekst.
Og det bygger på, som Dagfinn siktet til, visper fra open ai.
Som var ganske revolusjonerende da det kom.
Og som også er det eneste åpne fra Åpen AI, som man kan bygge videre på selv.
Man har jo ikke tilgang på treningsdataene.
Og det er vel ikke noen hemmelighet at de har hatt seg noen friheter når de har laget disse modellene.
Resultatet er tilgjengelig som open source-modeller, altså vektene.
Og da kan man bruke dem selv, og også sånn som Nasjonalbiblioteket har gjort, bygge videre på dem og trene videre.
Så dette er noe vi da gjør tilgjengelig gjennom autotekst.uio.no, som er en nettside eller en nettapplikasjon som blir demonstrert etterpå.
Hvor man laster opp egne mediefiler.
Og som er tilgjengelig for ansatte og studenter hos kunder av denne løsningen.
I tillegg så har vi laget det som heter Autotekst VMS, som gjør at man kan få ting gjort helt automatisk gjennom Panopto.
Sånn at det bare skjer av seg selv.
Det er også tilgjengelig i nettskjema gjennom nettskjemaet Diktafon.
Det er ikke direkte tilgjengelig i TSD nå, men det er naturlig å se for seg en løsning der også, som på sett og vis ligner, eller i hvert fall drar nytte av erfaringene med Autotekst.
Det er ikke bestemt helt hvordan det blir ennå.
Dette er noe som er tilgjengelig for sektoren i Norge.
I praksis så kan alle ikke-kommersielle aktører bestille det.
Vi har sånn rundt alle kunder for autotex2.no, som er den tjenesten som har vært lengst, og omtrent halvparten for Autotex DMS, altså at institusjonene har det kobla til sin Panopto direkte.
Og det har vært masse bruk, og til sammen over 50 000 timer som er transkribert hittil.
Hvis man vil bestille det, så er det noen nettsider som man kan bestille det fra.
Det som var spennende og skjedde i våres, var at Nasjonalbiblioteket ble ferdig med et arbeid jeg holdt på med i lang tid.
Tidligere har jo ... Selv om da det kom for norsk, så var det bra, så var det ...
Fortsatt ikke like bra som for andre språk som f.eks.
engelsk.
Og mye av problemet med norsk er at det er begrensa mengde av treningsdata som er tilgjengelig for å trene opp modeller for AI-baserte ting, eller også for de litt tidligere tilnærmingene hvor man også klarte å komme ganske bra i mål på engelsk, men ikke så bra på norsk.
Og der er Nasjonalbiblioteket i en helt unik posisjon, for de har etter loven tilgang til mer eller mindre alt som er av ...
Av publiserte data, altså fra kringkasting og forskjellig.
Og det er en helt unik tilgang.
Og måten disse AI-modellene virker på, hvor det er et skille mellom treningen og resultatet, gjør at de kan gjøre sluttresultatet tilgjengelig for alle og legge det helt åpent ut, selv om ikke vi kan få tilgang til de treningsdataene de har brukt.
I motsetning til når de store AI-aktørene har tatt seg fri etter, så er dette noe Nasjonalbiblioteket har lov til å gjøre.
Da er det fint at de kan gjøre det og lovlig legge det ut for oss, så vi kan ta det videre.
De lanserte dette i februar, og vi fikk det ut i tidlig april.
Vi har brukt mange årsverk på dette og har gjort et imponerende arbeid som jeg ikke kjenner til er gjort andre steder på samme måten.
Det har gitt store forbedringer for norsk.
Det er blitt mye bedre til å forstå dialekter.
Og ikke minst så er det mye bedre støtte for å få nynorsk ut.
Tidligere så hadde det lett noen ganger for å komme ut på svensk, eller at det ble blandinger eller forskjellig.
Det er ikke perfekt, men det er veldig mye bedre nå.
Med de nye modellene til Nasjonalbiblioteket.
I tillegg til masse manuelt arbeid, har de brukt masse regnekraft på dette.
Som de stort sett fikk låne eller fikk sponsa.
Og det er en størrelsesorden som ville være ganske kostbar å gjøre disse opptreningsjobbene hvis man måtte betale for det.
Men der har de gjort den jobben.
Hvis man vil gjøre
Få inn eksempler på spesielle ord og uttrykk for en bransje eller et fagfelt.
Så vil man klare seg med mindre trening.
Så det er noe som vi kanskje kan vurdere å gjøre etter hvert.
Hvor vi da i så fall ville bygge videre igjen på det som Nasjonalbiblioteket har gjort.
Men vi har ikke gjort det ennå.
Da tenkte vi å ta en liten demo av Autotekst.
Og da ...
Blir vel jeg kobla litt ned, og så kan Tor overta skjermen?
Så ... Dette er jo da Autotekst.
Da kan jeg bare legge deg ned lite grann.
Autotekst.uio.no, da.
For som Oddmund sa, så fins den på en måte i tre varianter.
Denne nettsiden vår, Autotekst VMS, som er på nopp til integrasjonen, og så nettskjema.
Det her er der man kan logge seg inn med feidebruker, enten som UiO-bruker eller en av de andre kundene våre.
Og da kan du enten klikke her, eller dra en egen fil inn for å transkribere den.
Så da har jeg gjort klar en fil som jeg har tenkt å transkribere.
Da får du først litt forskjellige valg.
For det første kan man laste opp mange filer på en gang, hvis du har lyst til å gjøre en batchprosessering av
... flere filer med akkurat de samme parameterne.
Men her tar vi bare den ene.
Og som standard så har vi satt den på 'gjenkjenn språk'.
Dette funker sånn ganske greit hvis du har representert språket i de første 30 sekundene av videoen eller lydfilen.
Eller så anbefaler vi å velge språk hvis du vet hvilket språk det er, da.
... som er språkmodell.
Her kommer da inn disse Nasjonalbibliotekets modeller.
Som standard så har vi OpenAI sin versjon 3-modell, og versjon 2-modellen.
Versjon 2-modellen var den vi kjørte frem til nå i februar, da vi byttet litt system.
Versjon 3 har vi tatt i bruk samtidig med Nasjonalbiblioteket sin.
Her har vi da to modeller fra Nasjonalbiblioteket.
Vi har en som er en verba team.
Som vi ikke har lagt på noe suffix på, men som de har kalt semantisk.
Forskjellen er at denverbatimet prøver å transkubere hva enn du sier, helt ord for ord.
Sånn at hvis jeg kutter litt i setningen og sånt, så vil den begynne å plukke opp det.
Kan være nyttig for intervjuer, den type ting.
Mens denverbatimet finner mer meningen og skriver det om til det du kanskje egentlig tenkte å si.
Litt i større grad.
Og fordi vi har tatt i bruk enda en bit av det her, enda en åpen kildekodesak som heter WhisperX, kan vi også skille mellom talere.
Hvis det er flere som snakker i samme opptak, vil den prøve å skille de fra hverandre.
Også veldig nyttig for eksempel intervjuer.
Så kan vi bare sende den til teksting.
Da vil det først lastes opp.
Hvis det ikke er så veldig mye last akkurat nå ... Så ser vi at den transkruberer.
Det er ikke et veldig langt opptak, så det tar skremmende kort tid.
Den vil prøve å kutte ut all mulig stillhet den finner i videoen.
Og det også reduserer produseringstiden, men pga.
at vi bruker ganske kraftige kort, som dagpinnen ...
Fordi dette er på Fox?
Dette er på Fox, ja.
Det glemte jeg for så vidt å si.
Før hadde vi én dedikert maskin med IVGPU-er.
Nå kjører vi alt dette på Fox, som andre jobber i et helt dedikert prosjekt.
Med tilgang opp til røde data.
Og den bruker faktisk ikke så veldig, veldig mye GPU-kraft.
Så den bruker deler av H100-kort.
Såkalte MIG-er.
Altså multi-instance GPU-er.
Men der var den ferdig.
Og da kan vi forhåndsvise den.
Skal vi se om jeg skal ta ... Ja, det er kanskje greit nok.
Og nå tok vi den på bokmål, da.
Vi kan også prøve å få ut outputen på nynorsk.
Kan jeg bare kø opp den mens jeg viser selve videoen?
For det er jo en av de tingene med Nasjonalbibliotekets modeller at den er blitt betraktelig bedre på nynorsk.
Tidligere sa vi jo at de måtte ta det på bokmål, så måtte de gå til GPTU-JON og oversette det til nynorsk fordi det var så dårlig kvalitet på det som kom på nynorsk i fra Whisper.
Jeg er ikke veldig ekspert på nynorsk, men den er såpass mye bedre nå at nå tror jeg man kan lese gjennom og feilrette det litt mer.
Det tror jeg skal gå greit.
Og da skal vi se ... Dersom jeg ... Her har vi juksa litt, vet du.
Det har man alltid.
Hvor mange bruker det i jobbsammenheng?
Kanskje ... Ja, en god del, skal vi si 10-15 %.
Vi ønsker å kunne tilby en GPT-tjeneste ved ... For ansatte og studenter i første omgang.
Dette er altså et foredrag fra i fjor.
Og hensikten er at man skal kunne prompe på grønne.
Vi går litt tidligere fram i ... tidligere bak i ... i videoen.
Ja, det er ... fint.
Ja, riktig.
Det var det jeg så etter.
Skal vi se om jeg får ... Får jeg da ikke captions på toppen?
Det er jo litt dumt.
Hm?
Dette var interessant.
Hvis jeg da gjør sånn, så får jeg captions, ja.
Ja.
Så ser vi dagtiden her, da.
Dette var jo faktisk fra i fjor, da.
Så allerede da var vi klar over at vi drev med et visst arbeid på det her, men vi hadde ikke fått noe veldig ...
Men i februar lanserte de alle disse modellene, og da kunne vi fullt ut bruke dem i produksjon.
Vi har vært og hatt støtte fra Bufdir til å lage denne tjenesten.
Vi har snakket med dem, men vi har ikke starta noe konkret samarbeid med dem.
Da kan man til slutt ... Der, tenker jeg.
Så kan man laste ned disse filene.
Man kan forhåndsvise dem.
Du kan også slette dem, selvsagt.
Så kan du laste dem ned, enten i ren tekst ... Det blir litt sånn som vi ser her i forhåndsvisningen.
To utvalgte undertekstformater, SRT og VTT.
VTT brukes stort sett på nettet.
Og SRT, et litt eldre format som man gjerne kan bruke i f.eks.
VLC, video, den type ting.
Og det er vel egentlig det jeg tenker å vise, for stort verre enn det er det ikke.
Sånn for brukeren, i hvert fall.
Jeg må jo bare spørre sånn ... Det var altså ... Nasjonalbiblioteket hadde Whisper.
Vi har fått tak i den.
Og så skulle de lære nynorsk.
Og så mata de inn alle bøkene de hadde på biblioteket?
Nja, ikke helt.
Men de matet den med transkriberte lydopptak.
Sånn som nrk.no, for eksempel?
Yes.
Fra tre kilder.
Stortinget, altså opptak fra Stortinget, de er åpne og transkriberte.
Gode på dialekter, veldig gode på dialekter.
NRK, veldig mye høykvalitet.
God på dialekter, god på dialekter.
Og til slutt en hel haug med lydbøker.
Hvor det er godt transkribert, selvsagt, siden det er lest opp fra en tekst.
Jeg husker ikke nøyaktig antall timer, men det var titalls tusen timer fordelt på disse.
Som de gjorde veldig mye språkvasking på for å få fullt så god kvalitet.
Og det har man virkelig merka.
F.eks.
mengden hull som den finner på i perioder med stillhet, har gått betraktelig ned med Nationalbibliotekets modeller fordi de nettopp la inn trening på det slik at den skulle ignorere stillhet og ikke bare finne på ting.
Det var så rart.
Veldig viktig å se gjennom opptakene.
Da kjedet datamaskinene seg.
Hvor det var skjedd noe galt med mikrofonen, sånn at høyre-venstre-kanalen hadde gått ut av fase.
Så hvis man hørte på det, så hørtes det helt greit ut.
Kanskje et eller annet som skurra.
Men maskina så det som total stillhet.
45 minutter opptak eller noe sånt.
Og bare fant på en hel haug med tull og skittent språk og forferdelige greier.
Jeg tok opp med diktafonen, og så skulle vi vise deg et eller annet.
Og så skjedde det noen ganger at jeg puttet det i lomma.
Litt sånn grums og sånn.
Det klarte jeg jo ikke å la være, da, å sende det inn.
Men da kommer det bare et annet språk i nettskjemaet.
Veldig uforståelig språk.
Jeg trodde det var gresk eller et eller annet.
Jeg har litt flere Sveits her, Tor, hvis du kan ... Yes.
Da er vi over på deg.
Skal jeg se om jeg får deg opp igjen her òg.
Da hører dere meg igjen.
Det er bra.
Et av poengene er dette med at brukerne nå må forholde seg til flere modeller.
Ofte så er det nok å bare velge språk, men noen ganger så trenger man, som Tor var inne på, å velge mellom andre alternativer.
For å få best mulig resultat, trenger brukerne å ha et bevisst forhold til det.
For modeller har noe å si.
Kjapt om modellene som er brukt de siste ukene etter at vi fikk flere tilgjengelige.
Det er mye som går på den norske semantiske modellen, og det tror jeg er bra.
Og det er en del som har tatt i bruk den verbale modellen.
Nå er det relativt tidlig ennå, men det bør man ha et visst forhold til.
Det er andre steder hvor folk har reagert på at den semantiske modellen tar seg for store friheter.
Det er ikke så mange som har klaga på det i Norge, men det varierer litt, da.
Den vil jo gjerne hjelpe til, som alle disse AI-modellene, å være flink.
Men det er jo ikke alltid den forstår hva du egentlig mente når den prøver å korte inn på ting osv.
Litt statistikk fra Nasjonalbiblioteket fra da de hadde sin representasjon av dette først, som viser at disse modellene er mye bedre, og det er også erfaringen.
Det mest vanlige målet for kvaliteten på dette er noe som ...
Semantiske modeller som skriver litt om, vil typisk ha høyere word error rate enn mer ordrette modeller.
Mens dette målet som de også hadde med, prøver å se på likhet i betydning, og ikke bare likhet ord for ord.
De hadde også noen tall for forskjellige dialekter.
Og der er ... ... det også mye bedre enn det var.
Nå har Tor vært innom det aller meste her.
Vi har også bedre synkronisering enn tidligere av generert tekst til video.
Det er også en bivirkning av denne Visper-X.
Og så var vi litt innom det med Educloud Research, som gjør at vi er mer skalerbare nå enn vi var før.
Vi har en helt annen arkitektur, hvor vi også ønsker å ta inn igjen det gamle etter hvert.
Men generelt så ... Dette at vi har kunnet ta i bruk etiklært research, gjør at vi har mye mer frihet til å kunne bruke nyere modeller og ha mer fleksibilitet.
Som sagt, ta i bruk Bluemaster igjen for å ha enda mer redundans.
Når EduCloud stopper, så stopper også Autotex.
Den stopper ikke å ta imot ting, men den stopper å prosessere ting.
Nå har det skjedd litt oftere enn vi liker i perioden etter påske, bl.a.
litt langvarige problemer med lagring.
Så derfor er det greit å ha flere muligheter.
Men stort sett så er det veldig bra og funker veldig fint.
Vi har også noen ting vi trenger å gjøre med veldig stor last i forhold til å prioritere køer av forskjellige typer og sånn.
En ting som ville gjøre det bedre, er også å finne en måte å få til automatisk gjenkjenning med modellvalg.
Hvis du setter auto, så har du allerede bundet deg til én modell.
Vi kan få til det på andre måter, men det må vi også vurdere å se på.
Ja, det var det jeg hadde.
Da har dere vel allerede tatt et lite spørsmål.
Nå er vi på tiden omtrent.
Vi starta litt sent.
Er det tid til et par spørsmål til?
Det er det absolutt.
Bluemaster, har dere begynt å ...?
Det ble bare slengt ut som om alle visste hva det var for noe?
Riktig, riktig.
Bluemaster er jo da ...
Den forrige dedikerte maskina vi hadde ... Nede i høyre på figuren, nede til høyre på ... Den her nede.
For så vidt kraftig maskin, men med en spesiell IBM Power-arkitektur, så den var litt vanskelig å vedlikeholde, og fordi det var den eneste prosesseringsnoden vi hadde, så kunne vi ikke ta den ned og oppdatere den uten at helautotekst gikk ned.
Nå har vi gått over til å ha til å transkribere på Educloud med Fox, og den er jo drifta av ikke bare oss.
Et helt stort team her på UiO, så det gjør det veldig mye greiere.
Likevel er Bluemaster en veldig kraftig maskin, som ikke har så mye mer bruk enn transkribering for øyeblikket, eller vanskelig å bruke det så mye annet.
Så vi har begynt å jobbe med å få den tilbake igjen, i slags delt tjeneste.
Og den kan fortsatt transkribere flere tusen timer opptak i måneden, så det er jo en asset, da.
Hvilken informasjon av Visper bruker dere?
Bruker dere Opinion Eye-tingen?
Eller bruker dere f.eks.
Visper CPP?
Jeg brukte Visper CPP med god suksess så langt.
Nasjonalbibliotekets modell var utrolig mye bedre til å håndtere besteforeldre i nordnorsk dialektform.
Originalen var ubrukelig, og den nye var helt fantastisk.
Fins det gode norske modeller som er i stand til å skille taler, så man kan få identifisert hvem som sier hva?
Hvilke implementasjoner av Wisper bruker vi, og finnes det noen modeller som er gode på å skille talere på norsk?
Vi bruker Whisper X som et slags rammeverk for å kutte ut lyd, segmentere talere, den type ting.
Som igjen bruker Faster Whisper-versjonen.
Jeg har også brukt Whisper CPP, det funker veldig bra på Mac f.eks.
Så man trenger faktisk ikke veldig stort renhold for å ordne det.
Passer-Whisper fungerer veldig bra, veldig mye raskere enn den originale versjonen.
Og kombinert med Whisper-X, som kutter ut stillhet, så går ting veldig, veldig mye raskere.
Om det er noen egne modeller som er spesielt gode på å skille talere på norsk, det har jeg ikke funnet.
Det som Whisper-X bruker under panseret, er en som heter Pyanote.
Pyanote Segmentation Diarized.
Den skiller litt uavhengig på språk, skiller på selve talere.
Men du får jo ikke ... Du får jo ikke ut hvem det er som sier hva.
Du får den ikke til å si at det er Dagfinn som sier det, f.eks.
Men du kan få skiltet ut på taler nummer én, taler nummer to, og så kan du gå inn etterpå.
Search and replace it, f.eks.
Yes.
Komiteen, tusen takk.