så tusen takk for at du inviterte meg som en avansert bruker av TSD for å presentere meg selv for øyeblikket
jobbe som førsteamanuensis ved senter for bioinformatikk og avdelingsfarmasi ved
Universitetet i Oslo men jeg har det siste tiåret jobbet i kreftratio Norge og gjør det fortsatt som
deltidsstilling og her startet vi reisen vår med TSD, så det jeg skal snakke om i dag er hvordan
kreftregisteret i Norge gikk fra små til store data og våre behov og løsningsarkitektur
prosjekter hvordan vi trener og feilsøker brukernes appnode som ble introdusert og hvordan vi bruker dataressursene våre
kreftregisteret i Norge Jeg vil bare introdusere det for deg for de som ikke vet hva det er
det er registeret over all kreftforekomst i Norge så det er det kanskje mange som vet
det, men kreftregisteret driver også screeningsprogrammene i Norge og har en aktiv forskningsavdeling
så fra alle disse avdelingene ved kreftregisteret produserer vi mye sensitive data det er
helsejournalen for krefttilfellene, det er screeningsinformasjonen og forskningen
det gjør vi, og jeg setter små anførselstegn her fordi det er data av høy kvalitet som er kurert
flere ganger, og det ville selv etter tiår med innsamling
data det er fortsatt ganske lite, det passer for oss en stasjon hvis du vil, men dette er svært verdifulle data
men fremgang skjer og også kreftregisteret har begynt å produsere store sensitive data
spesielt fordi kreftregisteret i Norge også har en stor biobank der vi bruker disse
biobanker for å produsere omics-data
så genomikk epigenomikk transkriptomikk mikrobiom data og så videre så disse er Big Data og dette er
også fokuset til min egen forskningsgruppe så da vi startet en storskala omics og andre big data
produksjon vi hadde behov for å fullføre og analysere disse dataene og lagre dem slik at kreftregisteret
sette opp sin egen server i det som allerede er ganske høysikkerhetsdatamiljø og det
fungerte veldig bra, så vi trengte en til fordi vi produserer mer og mer data og da trengte vi
en annen og så min forskningsgruppe og andre grupper som allerede har vokst ytterligere og vi
produsere enda mer data så vi vil ha det enda mer service, men da
Jeg undersøkte vår IT-avdeling sa vel la oss se på dette våre egne servere de er sikre de er
ganske fint og raskt vi har root-tilgang som reserveforskere som er veldig hyggelig eller i det minste en
noen av oss hadde, og vi bygde datamaskinserverparken vår akkurat slik vi trengte den, så det var ganske
fleksibel for våre behov
men IT-avdelingen vår sa at dette ikke skaleres riktig hvis du trenger mer og mer i dette
skaper en enorm etterspørsel etter vedlikehold og det er egentlig ikke økonomisk lønnsomt heller, så nei det gjør du ikke
få flere servere det vi må gjøre er å finne en annen løsning og for kreftregisteret var det enkelt
valg å flytte inn i TSD for våre behov, så vi opprettet
kreftregisteret Norge eller kreftregisteret som vi kort sitat KRG ved TSD vårt eget prosjekt våre behov var av
selvfølgelig en høy sikkerhet vi har sensitive data vi trenger mye fellesskapet beregningskraft fordi
vi hadde vår egen serverpark så vi var ikke vant til køer slik at vi ikke vil ha køer vi trenger HBP HBC
miljø for alle gjør analyse og maskinlæring vi har en biomimetikkeksperter i gruppene våre
så vi trenger fleksibilitet og programvare containerisert bevegelse av rørledninger og så videre må vi speile
mange arkiver, men vi har også mange nybegynnere som starter opp med
storskala analyse så vi trenger kjente miljøer og det skal være enkelt å bruke
og vi må ha et datamiljø der eksperter og nybegynnere kan møtes og vi også kan møtes
med andre samarbeidspartnere og vi må samle inn undersøkelsesdata fordi vi også gjør det ved kreftregisteret i Norge
så løsningen var å kjøpe dedikerte ressurser innen TSD så vi trenger vårt eget datakurs så
vi trengte ikke å være det
i alle signaler og vi ønsket en appnode som er en kraftig datamaskin der vi kan kjøre grafisk
grensesnitt og har heller ingen kø og for maskinlæring og kunstig intelligens-folk vi
måtte brukes for de kjente miljøene vi ønsket Linux og Windows påloggingsnotater fordi da
folk ser det de vanligvis
se på deres egen datamaskin og for dette ønsket vi å gi dette til mange av prosjektene på Kreften
register Norge og hvert prosjekt har sin egen dokumentasjon og etiske godkjenninger og så videre
så vanligvis er hvert prosjekt hos TSD deres eget prosjekt, men her ønsket vi å dele alle disse
ressurser vi trenger
mellom mange ulike prosjekter slik at det betyr at kreftregisteret i orden kan vi sette penger
inn i dette, men det bør deles, men da tar vi oss av all den godkjenningen
av nye brukere og prosjekter
så vi satte opp en filstruktur og tillatelsessystem i prosjektet vårt som kreftregisteret kjører
på toppen av TSD-portalen for nye brukere
og ved å kombinere flere prosjekter til ett kan vi også samarbeide om hvordan du setter opp programvare og
løsningsteknikk
så slik ser det ut for oss i vårt eget prosjekt i dag har vi 53 brukere som er aktive på
på vårt prosjekt er nesten halvparten av dem knyttet til min forskningsgruppe så dette er en stor gruppe som
samarbeider, men har forskjellige prosjekter
og vi møter TSD på samme måte som mange andre har vi en innloggingsnode eller jeg har faktisk flere vi
har et par Windows-påloggingsnoder, og vi har en Linux-påloggingsnoder, så det tjener alle
av våre behov og så har vi en app-node som vi kan kjøre grafiske programmer på har vi en innsending
node og vi kan sende de du kan sende jobber
gjennom SLURM som mange andre bruker også og vi har tilgang til forskjellige disksystemer her som
vel så dette er hvordan det ser ut for oss
siden vi har mange prosjekter trengte vi for å organisere mappesystemene våre i prosjektet vårt, slik at hvert av dem
delen som trengte TSD har sin egen overordnede mappe hvor alle brukerne får tilgang til det og
seksjonslederen som er eller som noen de har delegert dette til kan gjøre eksporten som kun
vanligvis PI kan gjøre
så og det er bare én person på slottet Reggie som kan godkjenne nye brukere og prosjekt og det
er også like etter at prosjektkoordinator har sjekket alle godkjenninger og har sjekket det
brukerne har signert en taushetsplikt dokumentasjon som du må gjøre ved kreftregisteret og
at alle godkjenninger er i orden
da får brukerne tilgang til prosjektgruppen som faller innenfor en av disse seksjonene
så dette er hvordan vi organiserer det
og vi har mange forskjellige prosjekter under det samme p1068-produktet som kreftregisteret
for eksempel har vi epidemiologiske prosjekt hvor datasamarbeid er veldig viktig hvor
de samler inn data fra flere forskjellige kilder og trenger å dele dem mellom brukere, ikke alle
kreftregisteret og de samler inn
data også gjennom nettskjema som er i aktiv bruk og et eksempel på et prosjekt er hvor de ser
ved kreft hos offshorearbeidere, så dette er et typisk epidemiologisk prosjekt og det er flere
andre som ligner på dette
og så er vi ganske aktive maskinlæring og AI-gruppe, og noen av dem jobber med
tilpasse screeningen slik at de ønsker å finne akkurat den beste måten å oppdage kreft på
på det tidligste stadiet
de trenger høyytelses databehandling og GPUer for AI-analysen, og for dette er målet å
produsere stilling for en av prosjektet er å redusere posisjon livmorhalskreft screening
og så er det den integrative genomikkgruppen som er min forskningsgruppe denne forskergruppen
gjør flere forskjellige ting vi og jeg vil gi deg noen eksempler på hva vi gjør på TSD snart, men
Felles for dem alle er tung databehandling, så vi trenger databehandling med høy ytelse vi trenger
samarbeide mellom flere ulike
brukere så møt meg i teamet jobber sammen på det samme dokumentet på samme analyse vi trenger
grafisk grensesnitt mye maskinlæring og målet er veldig ofte biomarkøroppdagelse for
tidlig oppdagelse av kreft og vi gjør mye omics så genomikk epigenomikk og så videre
så jeg vil gi deg et eksempel på et av våre prosjekter som vil kjøre på TSD
så et av de større prosjektene eller jeg tror dette er det største prosjektet heter CRC biome her vi har
12 brukere som jobber tett sammen de har forskjellig bakgrunn noen er bioinformatikk
noe bakgrunn fra ernæringsklinisk bakgrunn de er forskere postdocs data
ledere PhDs og vi har flere masterstudenter i dette prosjektet
så CRC biome vårt primære mål er identifisering av avanserte kolorektale lesjoner så dette er å
korrigere kreft basert på screening individer får mikrobiom demografi og livsstil så
få mikrobiom som er bakteriene og virusene som lever i tarmen din, og vi tror det kan brukes til
forutsi tykktarmskreft på et tidlig stadium
så hvorfor trenger vi TSD for dette
ok, la oss se på studiedesignet vårt, så denne studien er basert på BCSN
dette er den randomiserte screeningstudien som pågår akkurat nå, og dette involverer mye
individer 150 000 ble randomisert enten til sigmoidoskopi hvor de ser gjennom den første
en del av tykktarmen for kreft eller de fikk avføring
immunkjemisk hjemmetest hvor de ser etter okkult blod i avføringen til deltakerne og hva
vi gjorde er at vi inviterte de som var positive på denne testen til videre datainnsamling, så vi sendte dem
mange spørreskjemaer og vi brukte ikke nettskjemaet til dette
fordi dette var noe eldre befolkning og vi visste ikke om det og neste gang skal vi bruke det
nettskjema for dette siden alle disse var positive på denne blodet i avføringsprøven de ble sendt til
koloskopi så på sykehuset ser de gjennom hele tykktarmen men dette var det vevsprøver
og vi ber om ytterligere tester av denne tarmen pluss den store testen
og vi vil være passiv oppfølging av dette så vi vil samle inn data fra kreftregisteret i Norge og
resepthistorien til alle deltakerne i våre studier er dette nå fullført i innbydende
mennesker til denne studien, så vi har 1640 personer, så det er ganske mange inviterte vi har
store undersøkelsesdata, så det er massevis av spørreskjemadata i
database de har kliniske data som er svært sensitive vi har registerdata både fra kreft
og reseptbelagte legemidler, og vi tar tarmprøvene som passer til prøver, og vi lager en hagle
metagenomikk fra noen av våre deltakere som betyr at vi sekvenserer feilene og de har gjort det for
2099 prøver så det er ganske mye
og vi behandler dette med interne og publiserte pipelines på TSD
så hagle metagenomics Jeg kan bare kort introdusere deg til dette, så det betyr at vi tar alt
bakteriene og virusene som er i tarmen de har DNA og vi trekker ut som vi sekvenserer det i
korte sekvenser så setter vi på TSD dem sammen til fulle genomer igjen, så sett dem sammen
og deretter gjøre dataanalyse slik at alle disse prosessene er ganske datamaskinintensive
så når vi har gjort alt dette, sett sammen DNA-en og finn ut hvilke bakterier hver del
hører til prøver vi å estimere eller klassifisere koloskopiresultatet som forteller oss om de har
kreft eller tidlige stadier av kreft basert på tarmmikrobiom
så vi pleide å få mikrobiom som input for maskinlæringsanalyse og for dette har vi etablert
maskinlæringspipelinen vår på TSD, så dette er bare et flytskjema over rørledningen vår, og dette er
noe som er pågående arbeid vi nå trener våre maskinlæringsmodeller 70% av våre
datasett og vil senere gjøre 30 %
test dette på 30 % av datasettet som vi kaller testsettet
så dette er hva vi gjør, men vi ønsker også å se på virus i tarmmikrobiomet virus kan
være også prediktor for kreftutvikling, men kan virus er mye mindre kjent enn bakterier så dette
betyr at vi har mindre kunnskap til å identifisere virus, så vi trenger en mer kompleks
rørledning for å gjøre dette og
vi har satt opp selv dette er bare alle trinnene i den prosessen jeg vil ikke gå gjennom dem, men det er det
ganske intensivt mange nye verktøy og ved å bruke det ser vi at vi kan identifisere over 600 forskjellige
virus i tarmene til deltakerne våre som er en veldig stor datakilde for oss
Jeg kommer ikke til å vise deg mange studieresultater fra denne studien fordi de ikke er klare ennå, men
teaser her vårt resultat er at dette er rangert hvilke variabler som er viktigst i datasettet vårt
og på toppen har vi koloskopiresultatet som faktisk er det vi ønsker å forutsi som betyr det
de er sannsynligvis et signal i vår
tarmmikrobiom som kan brukes til å forutsi kreft i den tidligste alder
som er veldig lovende for oss
men dette prosjektet går enda lenger og forskningsfinansieringen til også å gjøre andre omics så vi
vil gjøre epigenomics og transcriptomics og fred alle sammen for å få en bedre forståelse
av hvordan tykktarmskreft utvikler seg, så dette er et stort prosjekt som involverer mye forskjellig
ferdigheter og mye tung databehandling
så det betyr at vi også inkluderer mange masterstudenter i prosjektet vårt, så det betyr
at vi hele tiden har nye brukere og vi støter på nye utfordringer ofte så som jeg sa vi har
ulik bakgrunn i vår gruppe er vi bioinformatikere epidemiolog og masterstudenter og
våre masterstudenter kommer fra informatikk fra biologi fra farmasi så de har forskjellig
bakgrunner
for ikke å overvelde TSD helpdesk med alle disse nye spørsmålene siden vi har så mange brukere vi
har vårt eget backup-system hvor vi kan lære våre egne brukere og hjelpe dem når de får problemer
så vi har en Slack-gruppe med mer enn 30 medlemmer på denne Slack-gruppen hvor vi kan sende meldinger når
ting går ikke som det skal
når vi har problemer når nye brukere ikke kan finne ut hvordan de skal gjøre ting er Slack-gruppen veldig
bra også, og hvis noen ser et problem som vi tror er TSD, men som kan være vårt eget problem
vi kan sjekke om med andre brukere om det virkelig er et problem eller har noen andre en løsning på dette
dette er en aktiv Slack-gruppe mellom mange av brukerne ved Kreftregisteret også vi så så vi
setter stor pris på all hjelpen vi får på UiOs nettsider for TSD, men det er prosjektspesifikke
problemer som vi ønsker å dokumentere og løse og også vi ønsker å få våre nye brukere i gang
så raskt som mulig å forstå arkitekturen vi har og løsningene vi har på
prosjektet vårt, så vi har vår egen TSD-brukerhåndbok som er et levende dokument du kan se det
akkurat oppdatert hele tiden dette dokumentet har alt du trenger for å komme i gang med å bruke TSD så det
forteller folk hvor de kan finne filene og programvaren deres hvordan de kan administrere data
hvordan du bare logger inn på våre egne notater den har bakgrunnsinformasjon om grunnleggende bruk og ikke så grunnleggende bruk
hvordan bruke Conda singularities Snakemake Nextflow og tilgang på Appnode og så videre, men også
mer avansert bruk har vi litt om dokumentasjon om hvordan du får R-versjonen din
at du vil gjøre maskinlæringsapplikasjoner og digitale stasjoner og så videre, så alt dette
er her og alle brukerne bidrar og stiller spørsmål i dokumentet jeg tror tar bort en
mange av e-postene til TSD helpdesk
og den helt spesielle tingen vi har tilgang til, som egentlig er det som gjør TSD super
brukervennlig for oss er vår Appnode som jeg anbefaler, men dette er noe vi må
kjøpe oss selv og TSD kjører for oss
i denne Appnode kan vi bruke all slags programvare med grafisk grensesnitt den mest nyttige programvaren
her er R studio vi har mange R-brukere i gruppen vår så R studio er definitivt noe
som er mye brukt og kjører R studio i stedet for bare R er virkelig noe som gjør det
mer interaktiv for oss kan vi se og
evaluer analysen vår underveis og se det grafiske ved å se plottene våre og så videre umiddelbart
men vi kjører også IGV og Cytoscape og flere andre dette er en ganske kraftig datamaskin med massene
av CPUer og mye RAM og her trenger du ikke bruke slurm så og vi har så mye datakraft
at dette aldri har likt å overbelaste dette har aldri vært et problem for oss, men vi sjekker om noen
kjører noe tungt, sjekker vi med de andre brukerne om det er greit
vi har selvfølgelig en fremgangsmåte i manualen vår om hvordan du logger inn på vår Appnode, dette er bare av SSH og med
det hvite flagget, så det er veldig enkelt å bruke når du først er i gang
og slik ser det ut som det ser ut som ditt vanlige R-studio, som er veldig fint der vi ser
plottene våre umiddelbart og dette gjør terskelen for å begynne å bruke TSD mye lavere fordi dette
ser ut som noe du kan gjøre på din egen datamaskin
så men siden vi har mange forskjellige brukere og alle foretrekker forskjellige versjoner av R og R studio
og forskjellige pakker måtte vi virkelig gå gjennom noen iterasjoner for å få dette til å fungere for oss, men nå
det fungerer veldig bra, vi kan laste R studio med versjonene vi trenger og også med
pakker som vi trenger og vi har
avfall å velge dine egne versjoner og også laste for eksempel bioleder og så videre
en annen ting vi syntes var krevende til å begynne med, er de store arbeidsflytene våre, så jeg viste deg alle våre
trinn i arbeidsflytene våre håndterer vi mange mange inndatafiler
vi har ganske kompliserte arbeidsflyter med mange avhengigheter og hver hadde forskjellig programvare
krav og noen av disse mange av disse er svært ressurskrevende jobber for oss er løsningen
Snakemake vi har flere brukere som er virkelig dyktige Snakemake-brukere
og her automatiserer vi jobbene våre ved å bruke slurm, og vi kan sende dette til klyngen vår, som egentlig er
fint og vi kan tilpasse oss conda-miljøet og så videre, så dette er noe vi gjør mye
her er igjen et eksempel på en Snakemake-arbeidsflyt Snakemake fungerer basert på regler
så du har noen inndatafiler du har noen utdatafiler og jobbene du vil gjøre og deretter
output er input for neste trinn og så videre slik at vi spesifiserer hvilke ressurser vi ønsker for hver regel vi
har trådminnetid osv
og hvilke programvarepakker som skal brukes, og vi bruker mye fra conda slik at du kan sette opp reglene dine
lokalt eller ved å bruke cluster, så dette er det vi gjør mye
så vi her er et eksempel hvor du kan se hvordan vi setter antall klyngejobber brukt parametere og
leilighetsmiljø vi legger alle dette i kommandolinjen vår og kjører jobbene våre
et av problemene vi møtte var at hvis vi satte hele rørledningen vår inn i Snakemake
en slurm-jobb den gikk lenger enn en jobb kunne, og den ble tidsavbrutt for oss, så nå når Snakemake
sender flere jobber blir det mer håndterlig, men blir også veldig komplekst
dette er et eksempel på
svært kompleks pipeline som vi bruker dens Atlas pipeline som er publisert her og denne kjører vi med slurm
og hvert trinn er en slurmjobb, vi har mer enn 2000 prøver med massevis av informasjon hver og
når vi sender alle disse trinnene til slurm skaper det mange mange mange jobber
men dette fungerer bra for oss alt i alt, det krever flere prosesser og her har TSD vært avgjørende for
kunne gjøre dette
så dette er bare et fint bilde av forskningsgruppens samarbeid og noen venner blant dem
vi ser superbrukerne i et prosjekt som har vært avgjørende for å få ting i gang som vi ville
liker det inne i TSD spesielt Einar Birkeland her Sinan Umu her
Marcin her borte har vært de tre postdoktorene nå forskerne i gruppen som har
løst mange av problemene våre og gjør nå TSD til akkurat det vi trenger, men vi har også andre som har
bidratt og konkret Jan Nygård som er IT-sjef ved kreftregisteret har vært virkelig
viktig for å sette opp dette, så dette vil jeg gjerne si takk for at du tok deg tid, og jeg vil svare
spørsmål om det er noen
tusen takk Trine
du har det er veldig imponerende hva du har gjort hvordan du bruker alle disse mer komplekse måtene i TSD
Jeg vet at du har mye data, faktisk terabyte med data
så det er mye data kreftregisteret i Norge er det ikke
inni disse er dette bare et prosjekt knyttet til rett ja så kreftregisteret
Norge driver fortsatt mange egne servere og det er hovedsaken som kreftregisteret
liker å samle all kreftinformasjon i Norge og så videre alle disse screeningsprogrammene
alt drives av kreftregisteret i norge selv de har en stor IT-avdeling som har
satte det opp slik, men det er egentlig prosjektet forskningsprosjektet som har flyttet til TSD
du sa mye om R studio og det vil bli mer om det
R studio og er merket ned hvordan vi bruker det på avanserte prosjekter og torsdag faktisk så la oss se
folk er nå ofte spørsmål og ikke bare klager over at strømmen deres ikke fungerte
lenger har vi noen som gir
tilbakemelding som sier flott presentasjon Trine så jeg antar at det er en slags applaus så det var en
spørsmål om alle CR biome deltakere er 1640 deltakere hvordan du administrerer alle disse
deltakere har du som en database for hele denne TSD eller hvordan gjør du
vi har noen gammeldagse ting vi har samtykke på papir og spørreskjemaene på papir fortsatt men
så har vi skannet det og importert det til TSD, og ​​det er ikke databaser vi faktisk bruker R studio
for nesten hva som helst, så det er bare R studio-filer og kobling av data der
ok, så det er mer som en kombinasjon av ekstremt høy og kompleks teknologi og veldig grunnleggende
forskningsteknologi som noe papir, så jeg håper du kan prøve å bruke mer digitalt innhold for eksempel
og sånt etter en stund
hvor mange brukere har du i scientific 56 for det når deres antall lokale brukere i scientific
53 tror jeg og
han sa hvordan fungerer det med så mange mennesker i samme prosjekt at det må være noen problemer der
så vi lærer mens vi går så i begynnelsen er det bare, men vi var vant til å jobbe med
samme server inne i kreftregisteret, så vi flyttet måten å jobbe på ved å kommunisere
mellom oss til bare TSD slik at kulturen på en måte allerede var satt det er noen problemer med så
mange brukere på ett prosjekt vi er vi ikke
vi har nok dataressurser, men faktisk er påloggingsnotatene veldig mye brukt og noen ganger
for mange brukere på innloggingsnotatene selv om ingen prosesser som kjører der altså
noe vi må skalere i fremtiden, det er så mange mennesker på samme innloggingsnotater, men det fungerer
veldig hyggelig synes jeg og vi lærer av hverandre så det er også en fordel du ikke er
på egen hånd å løse nye ting som du vil gjøre innenfor TSD
og så var det også et lite spørsmål kanskje Leon kan tilby også fordi han har en utstilling om
kostnadene ved å kjøpe denne typen tjenester fra oss hva er kostnaden for all denne Appnoden for eksempel
ja, så jeg tror kostnadene også er relatert til hvor mye dataressurser du trenger
tror nok Leon og Gard kan svare
det, men vi måtte ta en avgjørelse for ett og et halvt år eller så for to år siden
sannsynligvis for to år siden legger vi pengene i bare å kjøpe nye servere eller sende pengene til
du og du satte opp det vi trenger, og det tilpassbare dere var veldig hjelpsomme
for oss for at TSD egentlig bare sette opp det vi trengte kostnaden jeg tror har endret seg så
kostnadene våre er utdaterte, men gir egentlig bare antallet hva slags penger du har og hva du trenger
og se om det passer sammen, det var slik vi gjorde det og vi kan
hopp over nå kan vi sikkert gi deg en 60 terabyte uten problem
Leon vil fortelle mye mer om dette i sin neste destinasjon hvordan
vi skalerer nå, så jeg tror vi bare takker for en flott presentasjon