Tiedostojen siirto ja synkronointi TKO-äly FLUG -teemailta 14.6.2006 Sini Ruohomaa
Työkaluja eri tavoitteisiin Eri koneet, sama data (esim. kotihakemisto) Varmuuskopiointi Jatkuva vs. silloin tällöin Tiedostoja tuttaville Netitse Ilman 2/10
Eri koneet, sama data Tiedostopalvelimen kautta, esim. NFS Yksi kone sisältää tiedostot fyysisesti, muut käyttävät verkon yli Esim. sama kotihakemisto kahdella kotikoneella Pros: Synkronointiongelmat minimoitu Cons: Palvelimen oltava päällä jotta tiedostoihin pääsee Etäkäyttö vielä erikseen: esim. ssh:lla Taitaa olla toisen esityksen asia 3/10
Varmuuskopiointi: kahden uhkan välissä Fyysiset ongelmat: taltio ei enää olekaan taltio Kovalevyt hajoavat lopulta aina Kannettavat ym. liikkuvat muistilaitteet viedään Harvinaisempia: tulipalo, jännitepiikki... Loogiset ongelmat: Kämmäys: hups, poistinpa graduni... Tiedostojärjestelmän korruptio Erilaiset optimiratkaisut eri uhkille Ei kopioida automaattisesti loogista vikaa 4/10
Jatkuva varmuuskopiointi Paikallisesti: RAID Kerros lisää kirjoitukseen: toisinna ja hajauta Yhden levyn hajotessa palautus muilta Tarpeet: 2 tai useampi kovalevy koneessa Perus-RAID: 2 levyä, yhden verran tilaa RAID5: 3 levyä, kahden verran tilaa Ei auta jos koko kone kärähtää / viedään Ei auta loogisiin virheisiin 5/10
Erävarmuuskopiointi: silloin tällöin Loogisia ja fyysisiä ongelmia vastaan Useampi kopio auttaa myöhään havaittavista ongelmista toipumisessa Tiedostojen satunnaiseen poisteluun monia muitakin apuja, kuten versionhallinta: CVS, Subversion Komentorivityökalut: unison ja rsync 6/10
Unison: toistuvaan synkkaukseen Yhdistää muutokset molempiin suuntiin Kysyy ensin, ellei anneta yleisneuvoja Pitää asentaa molempiin päihin Käyttää tiedostonsiirtoon rsynciä, soveltuu hitaalle piuhalle Asetustiedostoon ~/.unison/default.prf vaikkapa: ignore = Path.galeon/mozilla/galeon/Cache/* ignore = Name *.ev-summary unison /home/sini/ ssh://sini@backupkone.fi//home/sini/ 7/10
Rsync: satunnaissynkronointiin Synkronoi lähteen kohteeseen, ei kahta suuntaa, ei kysele Alla oletuksena ssh Joustavuutta ensisijaisesti parametrisarjasta rsync -zap /home/sini/ sini@backupkone.fi:/home/sini/ Vrt: rsync -zap /home/sini sini@backupkone.fi:/home/sini/ Tulos kohdekoneella: /home/sini/sini/ Kohteen /:lla ei tunnu olevan merkitystä Entäs ne parametrit... 8/10
Rsyncin parametriviidakko: mikä -zap? -z: pakkaa liikenne (säästää piuhaa) -a: archive mode = -rlptgod -r: rekursoi alihakemistoihin -l: siirrä symboliset linkit linkkeinä, -L: korvaa viitatulla tiedostolla/hakemistolla -ptgod: säilytä kaikenlaista: oikeudet, ajat, ryhmä, omistaja, (laitteet/devices roottina) -P: = --partial progress --partial: jatka jos tiedostonpätkä jäi kesken --progress: näytä eteneminen tiedostoittain 9/10
Rsync: muita mukavia parametrejä --size-only: vertaa vain kokoa (ol: koko+aika) -c: laske md4-checksum, eli vertaa sisältöäkin -e 'ssh -c blowfish' (vaihtaa rsh-komentoa) ssh:n blowfish-salaus tehokkaampi isoille tiedostoille --delete: poista kohdehakemistosta tiedostot joita ei lähteessäkään ollut Poiston ajoitusta voi muuttaa lisäparametreista -v: verboosi, tosin vähemmän kuin --progress 10/10
Tiedostoja tuttaville netitse: Haasteet Tuttuja voi olla monenlaisia Kehtaanko antaa pääsyn koneelleni Osaako käyttää muuta kuin web-selainta Tutut voivat olla epäyhteensopivia Windows/Macintosh/mikälie Ei saa asennettua lempisoftaasi Tutuilla voi olla heikko nettiyhteys Katkeilee, hidas Sneaker network voi pelastaa 11/10
Tiedostoja hyvin tutuille: ssh-työkalut Telnet ja ftp ennen vanhaan etäkäyttökalut Telnet etäkäyttöön, ftp tiedostonsiirtoon Joku pyörittää palvelinta, loput ajavat asiakkaita Salaamattomia, salasanat nuuskittavissa,... Anonyymi-ftp yhä voimissaan Ssh ~ kryptattu telnet Sen päälle kehitetty sftp, scp vrt. ftp, (r)cp Windows-käyttäjälle: Putty (+pscp, psftp), winscp Ssh-palvelimen pystytys suoraviivaista 12/10
Ssh-palvelut Ssh, sftp ja scp vaativat vain ssh-palvelimen Cons: ihan joka kaverille ei kannata antaa loginia omalle koneelle Antaisinko tämän tyypin räveltää koneellani valvomatta? Sftp:lle voi tosin rajata käyttäjän pääsyä hiukan /etc/passwd:hin sftp-käyttäjälle shelliksi /usr/lib/sftp-server Sallii tällöin vain ftp-komennot Perus-ftp:llä erillinen käyttäjähallinta, plussaa 13/10
http: webbiselaintutuille Vaikka kotisivutilan kautta, jos sellaista on Pros: Oma kone irti loopista mahd. pian Jos ei: oma web-palvelin pystyyn vaan? Ei enää kovin vaikeaa Mm. gnome-user-share valmispaketti apache + avahi + Gnome käyttäjätason tiedostojakokilke Cons: Tietoturva haasteellista Oletus: maailman saatavilla, ei kryptattu Murtautujat kolkuttavat mieluusti web-palvelinta 14/10
http:-johdannainen: ifolder Vapaa, graafinen kilke, mukana mm. Pieni wwwpalvelin Tiedostoihin pääsee webitsekin, ifolder tarvitaan vain palvelijapäähän Kontrolloitavissa read-only tai read-write Paketti Windowsille, MacOS X:lle Linux-valloitus vielä rajoittunutta Novell Linux emodistrona Sorsa-tgz löytyy, palvelin SUSElle, Fedoralle ja CentOSille 15/10
Liian vaikeeta... Joskus ei tarvitse mennä merta edemmäs, varsinkin jos piuhaa piisaa Molemmille sähköpostipalvelu jossa ei liitetiedostojen koolla niin väliä Esim. Gmail Cons: siirron jatkamisen työkalut (esim. webmaililla wget) voivat vaatia ekstrasäätöä Ja aina kun käyttää tiedostonsa palvelutarjoajan kautta, pitää miettiä kenen polttarikuvia maailmalle lähettelee ja jättääkö kryptaamatta ;) 16/10
Irtotaltiot: kun verkko ei riitä Sneaker network, myös adidasverkko, viittaa ennen vanhaan mm. korpuin hoidettuun tiedonsiirtoon Nykyään ei onneksi enää juuri korppuja tarvitse... Vaihtoehtoja: USB-massamuistit: tikut, levyt, muut Kotipolttoiset optiset levyt: CD:t, DVD:t Irtotaltiot sopivat myös varmuuskopiointiin, tulipalolta yms. suojautumiseen ja arkistointiin 17/10
USB-massamuistit Toimivat tuoreissa Linuxeissa huoletta Muistitikut halpenevat, 128M irtoaa n. kympillä USB-levyt esim. 250G 140 EUR Villi käyttää kameraa/mp3-soitinta/puhelinta tiedostonsiirtoon (monet USB-massamuisteja) Varo asetustiedostojen tms. poistoa Muista umount / taltion irroitus! Tiedonsiirto vie usein kauemmin kuin progressbarit näyttävät, voi olla vielä kesken USB 1.0 hiiidas verrattuna 2.0:aan 18/10
Poltettavat optiset levyt Tarvikkeet: lähteeseen polttava CD/DVD-asema, kohteeseen riittävän tuore lukeva asema Jotkut vanhat eivät lue kotipolttoisia Levyaihioita: kertakirjoitteinen tai useampi Aihioissa hyvitysmaksut (vrt. kasettimaksu) Mutta ulkomailta saa tuoda omaan käyttöön / kimppatilauksena vapaasti Esim. 50 CD-R:n spindle 12 (vrt. 33 ), 100 20, DVD+R 25 11, 100 41 (Verkkokauppa Tallinna) Yksittäispakkaus kalliimpaa 19/10
Yhteenveto Tunne tarpeesi ja vaihtoehdot Datan jakeluun esim. kotiverkossa NFS Varmuuskopiot: jatkuva vs. silloin tällöin Molempi parempi Työkalut: RAID, unison, rsync Tiedostojen siirto paikasta toiseen rsync, ssh ja johdannaiset Web-palvelimen kautta, mm. ifolder Lenkkariverkko 20/10
Kiitos! Saa kysyä! Esitys webissä: http://www.cs.helsinki.fi/sini.ruohomaa/info/teema/ ODP, PDF, saa uusiokäyttää kohteliaasti Muita Open Source -työkaluja erinäisiin tehtäviin: http://www.cs.helsinki.fi/sini.ruohomaa/ossposterit/ Google on ystävä: http://www.google.fi/ 21/10