så jeg skal snakke litt om - jeg skal snakke om den nye leveransen fra Nettskjema til TSD og Educloud
Dette er drapsfunksjonen vår, da vi kommer tilbake til dette, for dette har vi jobbet MYE med dette...
Dette er designet for å skalere. Vi har designet den for å skalere til et par millioner innsendinger i minuttet.
I TSD har vi mange filer og dette er ikke filer, så det skaleres mye bedre.
Så for å bare si igjen hva gjorde vi.. hva har vi i dag i...
vi kan kalle det den gamle løsningen eller xsystemet. Så i dag genererer Nettskjema en fil når du sender den inn.
Vi krypterer filen og sender den til prosjektet ditt. Det er plukket opp og dekryptert
og den er koblet sammen med de andre bidragene
og så flytter vi filen over til en mappe på den varige kalt CSV-filer.
Dette avhenger av trafikken på Nettskjema, men da det alltid er standard i kø,
det kan aldri gå raskere enn to eller tre minutter, og under pandemiene hadde vi service
samle hundretusenvis av innsendinger, og det kan faktisk ta opptil et par timer
før folk fikk inn dataene.
de fleste forskere kan vente et par timer på at datasettene er klare, men det er andre problemer vi
adressert som titalls millioner filer som løper rundt i mapper inne i TSD som ikke skaleres i det hele tatt
så nå er vi...
vi har en det vi kaller "ny leveranse". Så fra 1. juni begynte vi å bruke denne nye leveransen
så nå med denne nye leveransen, som vil gå parallelt, når du aktiverer ditt Nettskjema mot TSD eller Educloud,
det vil bli generert en database, som, ja, for enkelhets skyld bare kall det en database i TSD eller Educloud i prosjektet ditt.
og da er den databasen klar til å hente dataene fra ditt Netskjema direkte.
Det betyr at vi kan; vi streamer det direkte inne og vi kan tillate større filer.
Som nå har vi 500 megabyte, på vedlegg vil vi sannsynligvis øke og gjøre denne større også.
Dataene blir deretter lagret i databasen inne i TSD eller Educloud og tilgjengelig via en API.
Denne API-en brukes kun av oss for øyeblikket, så vi kan bruke denne API-en til å fjerne data, så har vi noen prosjekter
hvor vi tester ut mer funksjonalitet.
Leon vi snakker senere nå hvordan vi skal bruke denne APIen til å koble til helsenorge.no
nå i begynnelsen vil vi bare ta ut data som er på samme måte som vi gjør
med dataloader i dag, men vil være umiddelbart tilgjengelig og det vil være en ny struktur.
Jeg skal prøve å vise dette på en liten demo, fordi dette vil påvirke alle brukerne av TSD på en eller annen måte. Det kunne bare vært fint å bare forstå dette.
Vi har en slags utgivelsesplan her, etter 1. juni vi
sa at de nye prosjektene som er opprettet i TSD de har denne nye leveransen.
og det betyr at når de aktiverer skjemaene sine, blir det opprettet en database og den sendes inn i databasen
snart vil vi tillate at alle prosjektene har dette for nye skjemaer... du vil få beskjed når dette er mulig.
vi vil da kunne kjøre parallelt med denne gamle og nye løsningen en stund, men
fordi vi ikke bare kan konvertere den eldste eksisterende datainnsamlingen slik vi har
tusenvis av Nettskjema som leverer hundretusenvis av svar på TSD hver uke
så vi tar bare de nye skjemaene i begynnelsen fordi vi må lage denne databasen på ved aktivering av Nettskjemas
men denne høsten vil vi gå over til å la alle prosjekter få alle sine nye former ved å bruke denne nye leveransen
som vil være raskere og bedre, men dette gamle systemet med filene vil fortsette å kjøre en stund.
Vi har ikke satt noen slutt på det, fordi vi ikke ser hvordan vi kan endre eksisterende datainnsamlingsprosjekter
så det vil være da for alle prosjekter som er opprettet for første juni 2022
det vil være disse gamle Nettskjemaene som har dataene med noe forsinkelse i en mappestruktur og den
nye i en annen struktur. Jeg vil vise dette nå på en demo slik at du kan se hvordan dette vil se ut
så hvis jeg
så gå til TSD-prosjektet mitt, ja, og jeg går under varig.
prosjektet mitt er et gammelt prosjekt som nå er aktivert for denne nye leveransen og jeg har aktivert ett skjema.
vi har disse gamle filene hvor vi har en CSV-filer her, tre eller fire vi har flere som datalasteren genererer på jevnlig basis som en vanlig jobb.
Jeg har også vedlegg, som vi av tekniske årsaker lager en mappe for hvert Nettskjema selv om det er
ingen vedlegg. Jeg vet at dette er litt vanskelig å navigere gjennom, så nå skal jeg vise det
denne nye strukturen som vi nettopp har satt opp som vil være tilgjengelig for den nye leveransen.
Den nye leveransen vil ha en mappe. Nå har alle nye prosjekter denne Nettskjema-datamappen
og jeg kan gå inn på dette, og dette er det eneste nye skjemaet jeg har aktivert som har en database som
henter data umiddelbart og eksporterer dem hit via dette sikre systemet.
så jeg går til telefonen min og her har jeg datasettet mitt som nå er en CSV-fil og jeg har vedlegget så vi har koblet til datasettet og
vedlegg i samme mappe og vi har også vært smarte nok nå til å gi den
vedlegg mye mer robust navn, så vedlegget har nå innsendings-ID og skjema-ID i
filnavn i tilfelle dataene er
eksporteres for eksempel
så her ser du filene mine og du kan se at jeg allerede har lastet opp en fil på 135
megabyte for et par dager siden. Hvis jeg går til forskningsskjemaet mitt her, vil jeg vise deg hvordan dette fungerer
her kan du se mine vedlegg. Jeg vil ikke velge denne store filen, så jeg tar bare en liten nå for å gjøre den raskere
og jeg kan skrive "demo", og dette er selvfølgelig en flott demo, og jeg kan sende inn dataene mine til TSD.
Det tar litt lenger tid fordi det så sendes direkte til TSD og du vil
få en bekreftelse når dette faktisk er levert så nå lurer jeg på om jeg har demo-spøkelsen her
fordi du kan se henne i det minste har jeg lastet opp dette bildet, denne filen tidligere før denne demoen i det minste
Det ser slik ut, henger litt akkurat nå
så det blir da to sett med data, nye og gamle.
Jeg tror vi vil gi deg mer informasjon om dette når vi begynner å bruke dette
tok bare en stund
ja, dette er som i pre-produksjon som du kan se, men det vil være det samme i Educloud, men i Educloud
vi har en annen struktur, men det vil være prosjektområdet; hjemmeområde, hvor vi vil generere disse dataene
så la meg ta deg tilbake til presentasjonen min her, å jeg beklager, det er ikke denne
så for Educloud vil vi bare ha denne nye leveransen, vi vil ikke bruke disse filene for alle prosjekter
har kun denne nye leveransen. Vi kobler dette til
Nettskjema og jeg har noen bilder av hvordan det vil se ut nå, vi skal bruke de samme skjemaene
som i dag er i TSD format vil være på TSD eller Educloud form, så det vil se ut
dette og når du kobler det til, vil det stå at du må logge på Educloud fordi du har en
ikke prosjektspesifikk bruker, du har en generell bruker. Du har kanskje flere prosjekter der du
har lov til å legge ut
data til. Så du autentiserer til Educloud og så gir vi deg tilbake og du kan velge hva
prosjekt du kan koble den til. Så hvis jeg går til Nettskjema nå kan du se at vi allerede har laget
denne tilgjengelig i
når jeg oppretter et nytt skjema og jeg skriver Educloud
Jeg kan si spørreskjema for sensitive data, og her er dette for TSD eller Educloud. jeg kan
koble den til som vanlig og jeg vil bare lage her og denne er ikke tilkoblet og når jeg kobler den til nå
det får vi se
det er en mulighet her for å koble den til Educloud. For de som ikke kjenner igjen utseendet
av Nettskjema, vil jeg vise dette mer i morgen fordi vi da vil lansere denne nye versjonen av
Nettskjema, som er mer moderne. Du kan ikke klikke på Educloud i dag, men forhåpentligvis før
sommeren vil dere alle kunne levere data direkte til Educloud