Slik fikk de hele Vikingskipet trygt på nett under TG18

HAMAR (digi.no): Datatreffet The Gathering (TG) er over for i år. Kjernenettet som ble koblet opp forrige lørdag ble rigget ned igjen av ivrige ildsjeler, og Vikingskipet står atter tomt.

En av de som rigget det opp lørdagen før – og ned den siste søndagen – er Kristian Lyngstøl, en av nettverksteknikerne på The Gathering.

– Sammenlignet med fjorårets TG har vi endret mest mindre, iterative ting. Brannmur som ikke produserer seks kilowatt varme på tomgang, å flytte litt på en og annen fiberkabel i skipet og den type ting, forteller Lyngstøl.

Testet IPv6 til alle deltakerne

– Det kanskje mest interessante er at vi tar konsekvensene av at IPv4-adresser blir mangelvare, forteller Lyngstøl.

– Vi har til en viss grad testet såkalt NAT64+DNS6.

Planen var opprinnelig at alle deltakerne skulle bruke IPv6, selv til tjenester som kun finnes på IPv4.

– I brannmur gjør vi oversetting til IPv4 á la det man gjør på typiske hjemmerutere, sier han.

– Grunnen til at vi ville teste det er at vi forbereder oss på en fremtid der vi ikke får tak i nok IPv4-adresser til deltakerne våre. Det er alt en realitet på andre arrangementer, sier Lyngstøl.

– Testingen av IPv6 gikk både bra og dårlig. Vi fant tidlig ut av DNS64/NAT64 skapte problemer for både Discord og Steam Pay som ikke lot seg løse.

Ifølge Lyngstøl er det et vanlig problem at det er vanskelig å få leverandører til å ta IPv6 seriøst.

– Vi valgte derfor å skru av DNS64 for deltakere omtrent en time før vi åpnet dørene, for å ikke forringe opplevelsen deres.

– De hadde fortsatt vanlig IPv6, men ikke det vi hadde mest lyst til å teste. Vi leverte native IPv4 og fortsatte testing av IPv6, men i praksis kun begrenset til tech-crewet. Det var et nederlag, men vi håper vi kan komme sterkere tilbake, sier Lyngstøl.

– Vi avslørte også problemer i DHCPv6-reléet i noen av svitsjene våre – dette er den softwaren som sender et DHCP-forespørsel fra en kantsvitsj til en sentral DHCP-server. Dette var heldigvis ikke så kritisk, men er på lista av bugs vi vil følge opp.

Lyngstøl forteller at det på årets TG gikk omtrent 3300 terrabyte med data kombinert på alle svitsjeportene. Av dette var omtrent 3100 terrabyte IPv4 og 174 terrabyte IPv6.

– Dette er da aggregert, så byte som har gått over flere svitsjer er telt flere ganger, men det gir en idé om forholdet mellom IPv4 og IPv6 uten DNS64.

I videoen under kan du se en avspilling av årets nettverkshelse – inklusive opprigg – i programmet Gondul, som Lyngstøl selv har utviklet nettopp for dette formålet.

– I videoen kan man få et inntrykk av hvor mye tid det tar med oppsett også, selv om det alt ligger mange uker og måneder med planlegging bak, sier Lyngstøl.

Bitcoin-minervirus i printer

– Vi blir «alltid» angrepet på TG, sier Lyngstøl.

Han forteller at det på arrangementer som TG er en utfordring at mye nettverksutstyr på ISP-skala baserer seg på å kunne lære seg hva som er normal trafikk før det kan filtrere, noe som han sier virker dårlig for dem.

– Vi har nok blitt angrepet i år også, men ikke på noen skala vi har merket, forteller han.

– En litt artig historie er at vi i brannmuren før deltakerene kom oppdaget en vellykket virusinfeksjon blant et av crewene. Dette viste seg å være et bitcoin-miner-virus.

– Av alle ting hadde dette viruset klart å infisere... en printer. Printeren stod pip åpen uten autentisering, sier han.

– Jeg vet ikke hvor mye bitcoins de klarer å mine på en printer, men vi byttet passord og skrev ut en hyggelig info-lapp for de som disponerte skriveren.

Lyngstøl mimrer over den største revolusjonen for LAN-sikkerhet fra deltakerperspektiv:

– Det var da Windows XP service pack 2 kom – den første som hadde Windows brannmur skrudd på som standardinnstilling. Før det var det alltid massive utbrudd av virus selv på små arrangement, men etter det så er det veldig mye mer begrenset, sier Lyngstøl.

Han påpeker at de fremdeles følger med på hva som beveger seg:

– De vanligste utfordringene er amplification-angrep og rogue DHCP-servere. Det er ikke et reelt problem hvis man setter opp ting riktig, sier han.

– Men i for eksempel 2016 ofret vi noe beskyttelse mot det for å ha mer ressurser på utstyret til angrep som kom utenifra. Det ble fort et dårlig valg.

Skjult IP-nettverk

– Når det kommer til tjenestenektangrep (DDoS) dreier alt seg om å stoppe trafikken så tidlig som mulig og her er vi absolutt avhengig av Telenor, som vi har et samarbeid med.

– Samarbeidet med Telenor går ut på at vi har direkte kontakt med Telenor Security Operations Center, der jeg tilfeldigvis jobbet selv fram til 2006. Vi har ikke trengt det i år, men i 2016 mener jeg å huske de blant annet endte med å endre noen av grenseruterne sine for oss, forteller han.

Han forteller at ytterligere sikkerhetstiltak er at de har et eget IP-nettverk som skiller seg fra resten av IP-rangene våre, som de forsøker å holde litt skjult.

– Dette brukes til mer sensitiv trafikk, som konkurranser og lignende. Vi har holdt av 10 gigabit per sekund dedikert til dette i tilfelle tjenestenektangrep, sier han.

– Ellers har vi egentlig ingen hemmeligheter bortsett fra passord og sånt selvsagt. Det meste av oppsettet vårt deler vi på github etter arrangementet, med passord sensurert. Det brukes mye som mal på andre, mindre arrangementer, forteller Lyngstøl.

– Måtte sitte flere timer inni et rack

– En annen artig ting vi har gjort i år er å anskaffe ni mini-pc-er, á la NUC. Disse har vi plassert sammen med hver av de ni distribusjonssvitsjene våre.

– For deltakerene våre betyr det at det er en rekke skjermer med artig info som antall klienter svitsjen betjener, snittemperatur på svitsjene og så videre i midtgangen.

– For oss betyr disse mini-PC-ene at vi har «konsoll»-tilgang til alle distrosvitsjene våre om de skulle gå ned, sier Lyngstøl.

Han forteller at de tidligere har måttet sette seg inni selve rackene for å jobbe på dem hvis de gikk ned.

– Særlig i fjor var det enkelte som satt flere timer inni et rack for å feilsøke, forteller han.

For at de skulle kunne ha denne type konsoll-tilgang til alle distrosvitjsene forteller han at en annen viktig detalj også måtte på plass:

– NUC-ene måtte få internett fra noe annet enn distrosvitsjene de skulle overvåke. Vanligvis har vi to fiber-par per distro-svitsj som går opp til taket. I år har vi fyllt på med én TP-kabel per NUC. I taket lå det to kantsvitsjer til ære for ni NUC'er, sier han.

Fordi de var litt sent ute med oppsett i år, hadde de ingen måte å få trafikken videre ned til NOC-en deres fordi de ikke hadde noe fiberutstyr som taklet noe så tregt som gigabit.

– Så vi måtte kjøpe 100 megabit mediekonvertere og patche NUC-ene via fiber til NOC. Der var svitsjen de skulle vært på full, så de ble patchet videre til neste punkt der en annen mediekonverter konverterte tilbake til TP.

– Alt i alt en blanding av en forferdelig og fantastisk løsning. Men den hadde ikke vært mulig om vi ikke hadde bygd en permanent infrastruktur i Vikingskipet med gode fiberstrekk vi kan bruke når det kniper på.

Distro-svitsjer brukt som rutere

Lyngstøl forteller at TGs nettverk også led hardt under at distro-svitsjene deres ble brukt som rutere, selv om de egentlig er bygd som svitsjer.

– Distro-svitsjene våre betjener rundt ti til 30 kantsvitsjer, eller 300-600 deltakere. De er supereffektive på å shuffle data, men alt av «tjenester» er de ganske sørpe trege på.

– Tjenester kan være f.eks. relé av DHCP, oppdatere rutingtabeller, deteksjon av at noen plugger ut en kabel – failover – og så videre. Det virket som om de tok seg ekstra nær av en del av angrepene, som gjorde at 80 prosent CPU-bruk vippet over til 100 prosent CPU og plutselig hadde vi det gående.

Han forteller at de på årets TG har flyttet all ruting bort fra distro-svitsjene og opp til kjerneruteren deres.

– Fysisk er designet det samme, men trafikk mellom to kantsvitsjer går nå helt opp til kjerne-svitsjen, i stedet for at distro-svitsjene som sitter i mellom må forholde seg til ruting.

85 aksesspunkter for trådløst nett

Av utstyret som var på plass under årets TG var blant annet 85 aksesspunkter av typen FAP-U421EV.

– Disse har støtte for siste WAVE-2 802.11ac-standard, forteller Lars Kristian Eidsten, også mangeårig nettverksfrivillig på TG.

Til daglig jobber Eidsten om konsulent i Fortinet. Det leverte WiFi-løsningen på TG18, og lånte ut utstyret til KANDU/TG18.

Under Wave 2-standard ligger også støtte for MU-MIMO.

– Multi User Multiple in multiple out gir oss muligheten til at hver radio kan sende til to klienter samtidig. Dette gir nær en dobling i kapasiteten sammenlignet med wave én, sier Eidsten.

– For sentral styring benyttes FortiWLC 1000-D, forteller Eidsten.

Han forteller at denne har en kapasitet på 1000 aksesspunkter, 10 000 Klienter og fire gigabits med trafikk.

– Under årets TG har valgte vi å gå ned på antall aksesspunkter for å minske overhead og management data. Dette har gitt oss bedre ytelse i områder nær aksesspunkter, samtidig som vi har hatt utfordringer med dekning andre plasser.

For TG 19 forteller Eidsten at det allerede er startet et prosjekt med 30 graders retningsbestemete antenner fra RF Elements.

Egen båndbreddetest og 1500 klienter

Eidsten forteller også at ytelse målt på «gulvet» under årets TG har variert mellom ti og 70 megabits. Før årets TG ble utviklet de nettverksfrivillige egen båndbreddetest for WIFI-nettet.

– Denne båndbreddetesten sjekker tilkoblingsstatus fra WLC sitt perspektiv når en test gjennomføres, slik at vi kan sjekke hva som er grunnlaget på 802.11-nivå for en god eller dårlig test. Dette har gitt oss verdifull informasjon som blant annet har resultert i prosjektet med retningsbestemte antenner, forteller Eidsten.

Gjennomsnittlig hadde de 1500 klienter tilkoblet som benyttet en båndbredde på 380 megabits.

– FortiWLM klientstatus viser endel klienter som ikke oppfyller «compliance» i år. Bedring her blir ett av hovedmålene for neste år, sier han.

Maksimalt antall klienter per aksesspunkt var 45.

– Det forteller oss at vi har større behov for å dekke områder enn økning i antall aksesspunkter på grunn av klienter per aksesspunkt.

Han forteller at de aller fleste klientene brukt på TG18 støtter 802.11AC, som gjør oppsett og «tuning» av WIFI enklere at de har nye drivere, nye chipset og lignende.

– WIFI-miljøet på TG varierer stort avhengig av tidspunkter på døgnet. Eksempelvis var det arbeid med «tuning» helt frem til halv sju en morgen.

– Ytelse så etter arbeidet bra ut, men utfordringer oppsto når folket sto opp igjen omtrent klokka 12, avslutter Eidsten.