Optimizarea rsync pentru transferul rapid de fișiere uriașe (Administrarea sistemului, Rsync, Fișiere)

Varun a intrebat.
a intrebat.

Aceasta este ceea ce am nevoie:

  • Daemonul rsync care rulează pe serverul sursă. Serverul de destinație face un rsync pull ca mai jos:
    rsync -ptv rsync://source_ip:document/source_path/*.abc destination_path/
  • Fișiere binare uriașe (3 GB până la 5 GB) sunt copiate de la mașina sursă la destinație prin LAN. Deci, nu este necesară criptarea / decriptarea. Prin urmare, nu se utilizează SSH. Mașina de destinație se conectează direct la daimonul rsync.
  • Dosarul de destinație va fi întotdeauna gol înainte de extragerea rsync. Deci nu trebuie să-mi fac griji cu privire la actualizarea condiționată a unor fișiere. Rsync pull va crea întotdeauna fișiere noi la destinație (nu le va actualiza). Prin urmare, nu am nevoie ca rsync să calculeze sumele de control.

Nu sunt mulțumit de cantitatea de CPU consumată de rsync la capătul de recepție? Ce opțiuni rsync mă vor ajuta să optimizez utilizarea rsync în cazul explicat mai sus. Ceea ce mă îngrijorează este faptul că rsync ar putea face mai mult decât am nevoie. rsync verifică sumele de verificare ale fișierelor. Nu am nevoie de așa ceva.

De asemenea, aș dori să văd îmbunătățiri ale vitezei.

Schimbarea block-size, dezactivarea checksum-ului etc. va ajuta?

Comentarii

  • Nu folosiți rsync dacă nu există delta de transferat. –  > Por womble.
  • @womble: Ce instrument ar trebui să folosesc atunci? Rsync a fost sugerat aici- serverfault.com/questions/384467/… – –  > Por Varun.
  • netcat, sau scp cu cifrul null. –  > Por womble.
  • Scp cu cifru nul? Sunteți sigur că scp suportă null cipher. Puteți să dați un exemplu sau să-mi indicați resurse relevante? –  > Por Varun.
1 răspunsuri
growse

Se pare că ați putea dori să aruncați o privire la --whole-file sau -W comutator. Acesta este activat în mod implicit dacă rsync face copii locale ale sistemului de fișiere, dar cred că documentația recomandă utilizarea sa dacă viteza LAN este mare și sincronizarea prin rețea.

Practic, acesta dezactivează algoritmul delta rsync și transferă doar întregul fișier dacă crede că este diferit.

Nu ar trebui să vă faceți griji cu privire la checksumming decât dacă forțați -c. În mod implicit, se uită doar la ora ultimei modificări și la dimensiunea fișierului și presupune că fișierele sunt diferite dacă aceste valori sunt diferite.