Skal jeg bruke den mikrofonen?
Jeg er Maiken, jeg skal vise en liten demonstrasjon om å få tilgang til lettvekts-beregninger og ML-nodene
som Jon snakket om tidligere, og Anne. Jeg skal dele skjermen min
hvis jeg klarer å finne riktig skjerm
Jeg skal fikse noe, og flytte tingene mine.. et sekund bare. Ser dere
terminalen og en nettside? Ja bra. Først og fremst ble det nevnt at Abel la ned
som noen av dere vet. Og så ble det et lite vakuum pga
det var ingen lokale ressurser ved UiO som var lett tilgjengelig, og det er derfor vi raskt
fikk på plass lettvekts-beregninger og ML-nodene og det er fortsatt
i den tilstanden de var da, det vil bli inkludert i Fox og Educloud-systemet
Men akkurat nå er de frittstående ressurser. Hele poenget er at de er enkle å få tilgang til og det finnes
maskiner, enkeltmaskiner som du kan teste ut data, teste ut beregningen din osv. Så, først av
alt, hvordan få tilgang
På UiO-sidene, i tjenestene og verktøyene og IT-tjenestene får du en meny med
de ulike tjenestene som tilbys. Du går til beregningsfanen og her ser du
tjenestene som har blitt snakket om på denne konferansen, Sigma 2, TSD, Educloud
osv. Hvis man blar litt videre ser man gratis for all beregning og gratis for alle maskinlæring. Og det er de to jeg skal vise nå.
I begge disse er det samme Nettskjema som man bruker for å få tilgang. Jeg skal vise det frem
for lettvekts-beregninger. Du klikker her, og så ser du her, får tilgang ved å fylle ut
i Nettskjema. Først vise dere denne siden og
litt om informasjonen her. Så vi har de forskjellige maskinene oppført her, så det er sånn
enkeltmaskiner som sagt, Freebio, Freebio2.
Det er ARM-maskiner, så ARM-arkitekturen. Og så har vi bioint-maskiner
herfra er det AMD EPYC-maskiner og Intel-maskiner. Så man ser at det er forskjellige typer
av maskiner og kanskje man er interessert i å bare sjekke programvaren din på forskjellige arkitekturer.
Eller man vil bare kunne kjøre raskt på hvilken som helst maskin. Så man kan velge en av disse
og det samme for ML-nodene, det er en oversikt. Hvis man går til ML noder siden av de forskjellige
typer maskiner, her er spesifikasjonene og her er også link til Nettskjema. La oss klikke på Nettskjema
Ok, slik ser det ut. Be om tilgang til lettvekts-beregninger- og ML-noder. Du må velge
hvilke du vil ha tilgang til. Du kan fylle det ut to ganger og be om HPC og deretter ML neste gang
noder, det er helt greit. Og det er i grunnen det, det er en lenke til dokumentasjonen her.
Vi behandler denne forespørselen veldig raskt. Vanligvis må du kanskje vente omtrent en time før tilgangen er klar.
Men det er maks tid for det meste for å få alt forplantet, og når du først har fått tilgang, får du det
en e-post for å fortelle at den er klar og at du kan logge på.
Så hvordan du logger på, åpner du en terminal og SSH inn i maskinen som du har gjort som, jeg er sikker på, mange ganger på
andre maskiner. Så la oss sjekke, la oss si, jeg vil gå inn i visningen i 01.
Så jeg for øyeblikket, bare SSH direkte inn i Bionic, bioint01.hpc.uio.no
Det er informasjon her om nøyaktig hvilken SSH-kommando du skal gjøre, hvis du klikker på
linken her, du ser den her. og det er det jeg må gjøre, og siden jeg allerede er maikenp
på min bærbare her trenger jeg ikke å si,
maikenp@ her, men med et annet navn må du gjøre det
Jeg skal bare gjøre det for demonstrasjonen.
Du bruker UiO-pålogging og passord for å gå inn. Og nå er jeg inne. Du ser ditt eget hjem
området og hjemmeområdet er det samme hjemmeområdet på alle lettvekts-beregninger, men det er
annerledes enn ditt UiO-hjemområde.
Det samme gjelder for ML-nodene, du har samme hjemmeområde for alle ML-nodene, maskin
læringsnoder, men det er et annet hjemmeområde enn for lettvekts-beregninger, og også enn UiO
ditt vanlige UiO-område.
Så dette er mitt rotete hjemområde.
På alle disse systemene er lettvekts-beregninger, ML-nodene og også på
nasjonale ressurser og alt, det er dette modulsystemet så det er det samme her. Hvis jeg gjør modul
benytte python for eksempel. Jeg får opp en liste over de forskjellige pythonmodulene, men bare modul...
modul tilgjengelig generelt
Du ser da en liste over alle de forskjellige modulene. Så det betyr all den forskjellige programvaren som
er installert her. Og som nevnt, mange ganger før også, for den annerledes andre
tjenester, hvis det finnes, hvis det er annen programvare du ønsker, kontakter du oss
for å få hjelp til å installere disse, og vi bruker det samme enkle bygge- og modulsystemet som i de nasjonale ressursene.
Og på Fox.
Jeg vet ikke om jeg skal, jeg kan bare bruke.. Jeg skal vise en modulliste. Jeg har ingen moduler
lastet. Og modul Avail python
Hvis jeg sier python nå, ser du, det er ingen kommando funnet, la oss si, jeg har denne pythonmodulen
Modul last python 395, hvis jeg nå skriver python ser du at python 395 er lastet.
Modulliste, du kan også se med modulliste alle de andre pakkene som er inkludert i
denne, den sammensatte python GCC kjernepakken. Og hvis jeg gjør modulrensing, er de borte igjen
hvis jeg gjør python, er det ingenting og så videre. Jeg kan laste python 2.7 hvis jeg vil osv.
Var det noe mer jeg ville si?
Kan du si noe om hva grensene for ressursene går? Kan du sjekke hvor mye ressursdata er
tilgjengelig på dette tidspunktet? Vel, ja og nei. Så for ML-nodene er det veldig enkelt å gjennomføre dette
også i de lette nodene. La meg logge på ML
Siden dette er enkeltmaskiner er det litt vanskeligere å komme til den globale oversikten, i Fox
kan bruke squeue eller, du vet, i de nasjonale ressursene, kan du bruke squeue-kommando og se hva som er
kjører. Så for ML-nodene har det blitt gjennomført en rask sjekk for å se statusen til
forskjellige noder. Du kan se hvilken som brukes mer eller mindre, og typisk ville du kanskje valgt
den som er mindre brukt, og denne typen enkle øyeblikksbildeoversikter vil også bli gjennomført i
lettvekts-beregninger så du ikke har
logge inn på hver av lettvekts-beregninger er for å se, du vet, hvilken som er den minst brukte
for øyeblikket kan du bare bruke topp og filter for vanlige brukere, noe jeg ikke gjorde akkurat nå. Da kan du
se om det er veldig travelt eller ikke. Bruker denne nå 100% CPU på Matlab?
Ja, men bare for den CPU og det er mange
CPUer. Så typisk 128 eller noe sånt, men at Matlab bruker bare 2
Noe mer?
Så dette eksemplet du kjørte på dette tidspunktet, kjørte Matlab på to prosessorer? Ja
Får de noen flere ressurser av dette? Hvorfor ikke programmere parallelt..
Vel faktisk kom du inn på noe veldig viktig her, som jeg glemte å nevne og
det er veldig viktig når det kommer til lettvekts-beregninger- og ML-nodene, dette er egentlig ingen
køsystem, så i prinsippet kunne én bruker bare
bruk alle.. sett opp en prosess eller kjør programmet som bruker alle prosessorene
på hele maskinen. Det er ganske viktig her å prøve å være.. så det er anarki i bunn og grunn
det er ganske viktig at brukerne selv prøver å tenke «ok, jeg bruker alle ressursene her
kanskje jeg skal dele med de andre», vet du være litt
ta hensyn til hvor mye du kjører, og hvis du finner at du trenger å kjøre mye, heller
bedt om å gå til Fox eller til de nasjonale ressursene. Så dette er som en testing, mer en
testområde eller kjører en mindre jobber. så lenge og så videre. Og men ja, du kan
kjøre mange prosesser. Hvis du setter opp en MPI-jobb, overkjører du prosessen.
Og hvis du har en jobb som bare er i stand til å kjøre på én prosessor, så kan du jobbe på datamaskinen din
Akkurat, men hvis du vil ha 20 eller 50, er dette greit å bruke, eller jeg vil faktisk ikke
vet hva som vil være grensen for hva som er greit eller ikke sammenlignet med hvor mange som bruker det
Men dette eksempelet at noen kjører på én prosessor, 100% CPU på Matlab, og det tar sannsynligvis et par
av timer, så er det nok bedre å bruke dette. Ja og det har du kanskje ikke
Matlab selv, kanskje du ikke har klart å sette den opp så da kan du bruke denne, kanskje har du ikke batteri
å drive alle disse jobbene lokalt. Ja, sånne ting. Du har programvaren, massevis av programvare
tilgjengelig. Hva er de vanligste jobbene å kjøre på disse datamaskinene? Vi så Matlab
og jeg antar R-jobber også. Jeg antar, men jeg vet virkelig ikke, jeg har ikke kommet over, du vanligvis
vitenskapelig programvare, så R og Matlab og sannsynligvis noen
Bioinformatikk ting og men egentlig har jeg ikke svaret på det Kan du kjøre SPSS på dette
Hva er det? SPSS, nei det er Windows.. Ingen Windows, kun Linux-basert.
Takk, Maiken