[Automatisk tekstet av Autotekst med NB Whisper. Kan inneholde feil.] Hei, alle sammen.
Jeg heter Arash Ahmedi.
Jeg jobber ved D-Science Center som leder for datavitenskapsanalytikkgruppen.
Og i dag skal jeg snakke om et av prosjektene der vi bruker Educloud.
Som faktisk er et utforskings- dataanalyserettverk.
Som er bygd innenfor Educloud, og som kalles Innside Oslo Fjord.
Og ... Beklager.
Her er planen for de neste 20 minuttene.
Jeg skal presentere D-vitenskap og datavitenskapsanalytikkgruppe.
Og så snakker jeg om Frisco Sofjord-prosjektet, som er et foreldreprosjekt.
Og så forklarer jeg hvordan vi bruker EduCloud i Frisco Sofjord-kontekst.
Jeg skal beskrive datarørlinjen og serverarkitekturen bak den.
Siden dette er vår blanke app, skal jeg forklare hva våre blanke apper er, og hvordan de fungerer.
Hvis du har tid, kan jeg vise dere appen og noen av trekkene den har.
D-vitenskap er et senter for datavitenskap og kompetanse.
Det opererer under Fakultet for matematikk og naturvitenskap.
Vi har fire hovedmandater.
En er bærekraftig langtidsforskning.
Samarbeid mellom fagfelt, industri- og offentlige sektorer.
Integrering av datavitenskap i forskningsprosjekter.
Støtte utdanning og utvikling av evner.
Er du nysgjerrig på dette, be om å komme til denne nettsiden og lese mer.
Og hvis du lurer på noe, kan du ta kontakt ved denne adressen.
Men vår datavitenskaps- og analytikkgruppe fokuserer hovedsakelig på dette mandatet, som er integrering av datavitenskap i forskningsprosjekter.
Vi gjør det gjennom to hovedtemaer.
Det ene er kursene og workshopene vi holder på.
Felles møteutfordringer av forskere, DIO.
Det kan inkludere ting fra datadjeneste til utvikling og datavisualisering.
Det andre temaet er direkte involvering i forskningsprosjekter.
Hvor vi faktisk får anvendelser fra forskningsgrupper innen Fakultet for matematikk og nasjonalvitenskap og DNT Science Partner, hvor de beskriver ...
Ingen vits i å undersøke noe.
Det var om vitenskapen.
Noen ord om risikoen for prosjektet ditt.
Dette er et prosjekt som er eid og drevet av Navinstituttet for havforskning.
Konzwark Maritime, Inspiria Science Center and DeScience and many more partners.
It has three overall goals.
To generate new knowledge and bases for future management of the fjord.
Test and verify new technologies for monitoring the fjord.
Communicate to the policymakers, the general public and especially younger generations.
Datamangling og analyse er sentralt i dette prosjektet.
Dataene kommer fra ulike kilder.
En av dem er nettsiden Dugnatforhavet.
Det er et sted hvor folk registrerer sine funn innen biologi eller økologi.
Og de kan tagge det til et spesifikt geolokasjon.
På denne måten har nettsiden blitt et enormt datasenter for direkte observasjon av folk rundt Oslofjord.
En annen kilde til data er en båt som heter Rungfjell.
Dette er bare en eksemplarisk båt.
Båten tar studenter fra ulike videregående skoler i Oslo.
Og de faktisk utfører noen avkrykkelser inn i Oslofjord.
Vi har noen direkte observasjoner i fjorden.
Og samtidig har denne båten noen sensorer som samler data fra vannkolonnen.
Og dette er én kilde til data.
En annen kategori for data kommer fra disse fergekassene som installeres på fergebåtene, eller kanskje under fergebåtene, eller fergene som reiser jevnlig rundt Oslofjorden, og de samler data fra vannet.
En annen kilde til data er undervannsobservatoriet LANDER.
Som ligger nederst i havet om sommeren og samler data fra vannsøla over det.
Og tar opp bildedata fra omkringen.
Så nå som vi har disse ulike kildene av data, er tanken faktisk ...
Vi bruker disse dataene i konteksten med forskning og utdanning.
Og her i D-vitenskap og UiO har vi kapasitet til å gjøre det pga.
ekspertisen og infrastrukturen både i data- og utdanningsvitenskap og på domeneområder.
Ekspertisen kommer fra et nettverk av forskere, postdoktorer, PCD-studenter og masterstudenter som forsker på relevante områder.
Infrastrukturen her er en plattform for samarbeidsdata, warehousing og analyse.
Den er utstyrt med HPC.
Og vår anvendelse i dette tilfellet er EDU-skyen.
Vi bruker EDU-skyen som hovedplattform for dette prosjektet.
Ideelt sett fungerer det slik at vi skaper metadata for hver datakilde.
Og vi kombinerer dem inn i en universell konvensjon.
Med disse metadatene kan forskere lage hypoteser.
Og hvis de trenger noen av disse datakildene, kan vi trekke dem inn i en sky og gi mange tilgang til ulike forskergrupper.
Dette har en umiddelbar fordel, og det er at vi ikke trenger flere overføringer av data fra her til der.
... dobler de samme dataene til andre steder.
Dataene er sentraliserte, og alle har tilgang til dem og kan analysere dem.
Den andre fordelen er at det er HPC-infrastruktur i samme plattform som dataene legges ned.
Hvis du har enorme data, trenger du ikke å bevege deg rundt og sette dem hvor HPC-en er.
Det er allerede der, og du kan plogge det inn i FOX og analysere dataene.
Dette gjør dataanalysen veldig effektiv, og forhåpentligvis i lang sikt innfører det forskernes produktivitet når det gjelder å utføre forskning og skape utdanningsmateriale ut fra dette.
Parallelt skaper vi et interaktivt analysverktøy som gjør det mulig å utforske disse datakildene dypere.
Vi har preprosessert dataene, analysert dem ...
og skape noen visualisasjoner.
Folk kan bruke appen og visualisere og utforske dataene.
Deres primære brukere er studenter og lærere på videregående skoler rundt Oslo.
Jeg skal snakke om dette i neste episode, men en annen gruppe brukere kan være forskere i dette området.
De kan komme inn i appen og utforske dataene på en interaktiv måte.
Trenger de Rodita til ytterligere analyse, er det tilgjengelig på Energy Cloud.
Når de har kommet med noen funn og forskningen er gjort, kan de gjennomføre resultatene av funnene i samme anvendelse og på en måte nå domene i denne anvendelsen.
Hvis slike anvendelser er modne nok og det finnes konkrete og veldefinerte funn som kan nytte det større publikum,
Slike anvendelser er effektive og effektive verktøy for å kommunisere ting til offentligheten.
Dette var en oversikt over hvordan vi bruker eduk-skuter i konteksten med dette prosjektet.
Nå skal jeg snakke om denne anvendelsen jeg snakket om, som kalles Innsikt.
Dataene til denne anvendelsen kommer fra båten Rungfjell.
Det er den ekte båten.
Og dataene blir samlet i et samarbeid mellom Konsberg Discovery og Inspiria Science Centre.
De tar studenter fra ulike videregående skoler i Oslo på daglig utforskning i Oslofjord.
De samler biologiske prøver fra fjorden.
Ved hjelp av biologer prøver de å identifisere hva de er, og registrerer dem på en webside.
Dette blir én kilde til dataene.
Båten har sensorer som samler informasjon om værforhold rundt rutene.
Og den har en økkolydning som samler data fra vannsølven under båten.
Motivasjonen var å lage et verktøy for studentene til å se på data og spore dem etter turen.
Men brukerbefolkningen bak søknaden kan lett gå bak lærere og studenter på videregående.
Nå skal jeg snakke om datarørledningen og serverarkitekturen bak Insight Oslo Fjord.
Jeg skal forklare hvordan vi får rådata til denne interaktive analyserapparatet.
Dataene ligger i datapropositorene.
De har ulike format, og de er faktisk på ulike steder.
Og de er spreadisk oppladt.
Og det er ingen klar tidsfrist for å opplade data.
Vi vil at alle de dataene skal samles i en EGG Cloud-prosjekt-repositur.
Og siden de dataene faktisk blir oppladet med en ... Ikke synkronisert, på en måte ... Vi må bruke en presisjonsserver som konstant sjekker at dataene blir ladet.
Og det gjøres gjennom API-ene som drives av denne presisjonsserveren.
Og så snart dataene kommer inn i ...
Repositorier blir dratt inn i EduCloud.
Når dataene er fullført, bidrar det til rundt 6 GB per dag.
Dette utløser et førprosessingssteg som forvandler disse maskinnative, binære dataene til strukturerte, tabulære data i et ryddig format for ytterligere analyse.
Og dette er rundt 266 millioner rader med data.
Det er mer enn vanlige PC-er kan håndtere lett.
Derfor utgjør vi mesteparten av vår batchanalyse i Fox.
I den analysen uttrekker vi de relevante parametrene vi er interessert i. Og vi integrerer ulike datatyper inn i en tidsrekke.
Og så samler vi de tidsrekkene over de utelukkede parametrene.
På denne måten rydder vi data, og det reduseres til rundt 30 kB per dag.
Deretter trenger vi ikke FOX lenger.
Vi har en annen server.
Og vi dytter disse ryddige, oppkokte dataene til visualisering inn i den andre serveren.
Der skaper vi interaktive visualisasjoner ved hjelp av Shiny.
Og så ved hjelp av en annen Sofical, Shiny-server, dytter vi dette inn til en lokal vert.
I neste steg bruker vi Nginx til å portere innholdet til den lokale verten inn til denne nettadressen, som blir denne applikasjonen som folk kan spore over nettet.
Og den kan finnes på denne adressen.
Dette er rørlinjen bak appen.
Og den fungerer automatisk.
Den har et eget liv.
Vi prøvde å la det være så mye som mulig.
Men iblant må vi bli involvert, og der er det noen usikkerheter i dataene.
Det er viktig når man utvikler en automatisk rørlinje.
Man må ha en konsistent datastruktur.
Og hvis det er endringer i strukturen, som bryter ned hele rørlinjen.
Det er det eneste vi må gjøre fra tid til tid, og gjøre appen immun mot de feilene.
Ellers fungerer den automatisk.
Siden jeg har nevnt Blink noen ganger, trodde jeg jeg kunne bruke et minutt på å forklare hva de er.
SHINE er en R-pakke som gjør det lett å bygge nettapper rett fra R og Python.
Den har to viktige komponenter, en brukerinterfase og en server.
I brukerinterfasen har brukeren mulighet til å gi en inntekt og se utførselen.
Og i serverdelen av appen blir innsatsen bygd.
Og nøkkelpoenget med de blanke applikasjonene er at i prosessen med å bygge denne innsatsen, som i dette tilfellet er en plott, kan man bruke den samme verdien som brukeren har gitt.
Og så kan man kanalisere den samme plotten som er skapt, til fire brukere å endre spor med.
Det er konseptet bak ".Shiny".
Det gjør at brukeren kan definere hva de vil se, og definere trekkene ved det de skaper.
Det tar litt omkoding å snu ...
Det fungerer godt med ryddige og rene data.
Det betyr at det motsatte ikke er sant.
Hvis du har massive, rådata som ikke er førprosessert og analysert, er det ikke noen god idé å bygge en blank app.
Virksomheten er HDML, som er skapt ved bruk av kinesiske inntekter.
Du trenger ikke å kjenne noen HDML eller CSS for å skape det, men kan nå N.
Den får appen til å se bedre ut, men man trenger ikke å vite noe.
Kan vi løpe lokalt eller på en server?
Hvis man løper på en server ... Som jeg nettopp forklarte, skanner brukeren sporene med denne nettsiden.
Og koden løper på bakgrunnen i serveren.
Så nå skal jeg raskt vise dere denne appen.
Og vise dere noen av fremskrittene.
... noe har ... Nei.
Jeg trodde det var et av de øyeblikkene da man innså en feil til feil tid.
Så dette er appen.
Den har fem hovedrapporter.
I den første rapporten kan studenter og brukere av appen ...
Få litt bakgrunnsinformasjon om hva dette handler om.
Dataene er organisert etter dato.
De kan velge en bestemt dato og så laste dataene.
Så viser det dem hvilket universitet de har vært på, hvilket område de har sett på, hvor mange stasjoner de har hatt, og hvor mange observasjoner de har registrert.
I neste knapp kan de se røttene av turen.
De kan ha med tidsfrimerker og stasjonsplasseringen hvor de har stoppet og gjort de målingene, og hva de har målt.
Samtidig kan de se observasjonene de hadde, og det de har lagt ut på Dugnatforhavarwek-siden.
De kan se dem organisert her.
Samtidig kan de se visualiseringen av sonarsignalet.
I dette tilfellet er dette dybde, og dette er tid.
Og fargen her er en proksis for tettheten i objektet som bølgelyden reflekteres fra.
Så jo tettere objektet er, desto sterkere er fargen i dette tilfellet.
Dette er for at de studentene skal se etter ... Noen marine biologere jobber med dette for å oppnå det og gjøre det mer forståelig for de studentene.
I tredje kapittel, etter å ha lastet dataene, som forhåpentligvis tar noen sekunder ...
Parametrene som er utelukket, kan visualisere de parametrene.
Når de trykker på play-knappen, simulerer de reisen deres.
Røttene begynner, og så endrer parametrene seg.
Slik kan de spore hvordan parametrene har endret seg på reisen.
Fiskekonsentrasjon, planktonkonsentrasjon, lukt, fuktighet ... Nei, temperatur, fuktighet og press, og så dybde.
Dette er et slags overvåkingsverktøy for å finne ut hva som har skjedd på reisen.
I fjerde etappe kan de utføre en analyse.
Se på korrelasjonene av parametrene.
Hvis noen vil vite hvordan fiskekonsentrasjon og planktonkonsentrasjon korreleres, kan de se det slik.
De kan sette en linje.
Og senere, hvis de vil se hvordan dette korrelerer med dybden ...
Det er en klar korrelasjon mellom fisk og plankton.
Jo dypere vannet er, jo mer fisk og plankton kan man finne.
Dette er bare et eksempel på en utforskingsdataanalyse.
Hvis de vil, kan de lage estetiske blod av dette dynamiske blodet og fortsette.
Bare endre parametrene.
Hvis man er nysgjerrig på å vite hvor de kan ha funnet flere fisk, kan de gjøre dette.
I stedet for havbunn farger de og størrer med konsentrasjon av fisk.
Her kan du se at på noen områder her og her kan de ha funnet mer fisk.
Og så kan de matche det med røttene her og få en sans for fiskekonsentrasjon.
Dette er bare eksempler jeg har funnet ut.
Jeg vet ikke hvordan de bruker det.
Utdanningsmaterialet.
Så jeg vil ikke bli for distrahert av disse her.
Og det er en femte app som viser noen data fra denne lander-akkomplissen som jeg snakket om, som jeg ikke vil bruke mer tid på å snakke om.
Men vi har skapt en midlertidig konto.
I tilfelle du er nysgjerrig og vil spore appen, kan du gå til denne adressen og bruke bruksnavn og passord.
Vær så snill å vite at dette er i gang, og det vil være fint å få tilbakemeldinger.
Hvis du har kommentarer, ideer eller spørsmål, er det greit.
Send meg en e-post, så kan jeg diskutere videre.
Og det er tilgjengelig til i morgen kl.
2, hele døgnet.
Dette er min siste skilde.
Det er fire partnere for denne innsikten.
Forsknings- og IT-avdelingen, Kongsberg Discovery og Inspira.
Og Svenja Christiansen og Knut Wogan har bidratt enormt til dette prosjektet.
Og vi har fått mye hjelp og støtte fra ulike deler av IT-avdelingen.
Helt utrolig.
Absolutt.
Blir det noen comeback i Oslofjorden?
Ja, det er ... At du ikke vet noe om resultatene?
Nei, jeg er faktisk veldig litterær når det gjelder biologi.
Jeg vet ikke så mye.
Du er en IT-mann, for du har programmert denne nettavisen.
Ja.
Men vi har en havbiolog som jobber med det biologiske, og hun vil finne ut mye mer når det gjelder biologi.
Og dette handler om å skape nye forskere kanskje.
Du snakker om barn fra videregående skole.
Så det er et Tamfunnsoppdrag eller noe sånt du jobber med på Mattnatt.
For dette er et mattnattprosjekt.
Ja, hvis du vurderer det ... Beklager at jeg spør.
Jeg fortjener det litt.
Når videregående skoleelever går på ekskursjon, samler de alle disse dataene.
De leverer det via API-ene til EduCloud.
Og du er i en database, eller en haug?
Ja, de leverer ingenting.
De studentene, sammen med biologene om bord, registrerer deler av disse dataene på en nettside som heter Dugnatohavet.
Resten av dataene går gjennom ulike kilder, inkludert en Azore-server.
De studentene håndterer ikke det.
Det er Sphereo Science Center og Kongsberg Discovery.
Så bruker vi API-er for å trekke data fra ulike kilder inn til nye skyer.
Dataene studentene skaper, de observasjonene, er en del av det.
Det er en egen API, og vi samler alt sammen og kombinerer det.
Og så gjøre det mulig via denne nettsamplen.
Mange mennesker har blitt logget inn nå, siden de har tall.
Du sa også noe om at ferjene i Årsfjorden samler data.
Danskebåten, Kiel ferja.
Jeg vet ikke hvilke båter det er.
Sannsynligvis noen som går gjennom et vanlig rom.
De er utstyrt med de sensorene, og de samler data.
Dataene kommer.
Vi har ikke oppdaget det ennå.
Men det er framtidsplanen.
Det er kult.
Noen spørsmål her?
Nei, jeg tror jeg bare vil si takk.