Evitar Gargalo

Estou pensando em montar um servidor de arquivos, onde serão jogados arquivos grandes, quais consumirão muitos minutos cada arquivo. Na verdade será um servidor em RAID 1, pois como mantenho durante alguns dias o backup de alguns clientes, preciso de uma maior garantia para meus clientes. Os backups seriam feitos inicialmente em um computador, e depois copiado para o servidor. Como existem backup de 10gb e alguns com mais de 100gb, sei que isso levará tempo para copiar, mesmo tendo uma rede gigabit. Sendo que algumas vezes precisarei copiar mais que um backup a mesmo tempo, gostaria de saber se é possível diminuir o gargalo, para que uma transferência não atrapalhe a outra e torne o processo lento demais. Pensei em uma usar mais que uma placa de rede no servidor, mas não sei se o LInux ou Windows irá gerenciar isso como eu gostaria, pois enquanto um backup iria por uma placa de rede, o outro iria pela outra. Sendo assim, diminuindo o gargalo, imagino também que o PC-terminal que irá mandar o backup também precise de mais que uma placa de rede.

É possível fazer isso, existe uma solução melhor? O servidor funcionará melhor com qual SO?

Poderia fazer bonding das placas de rede no servidor.
E diminuir a prioridade do processo de transferência para não parar o servidor enquanto estiver escrevendo no HD.
Os dados PRECISAM ser válidos? Digo, o backup é estritamente necessário ser possível restaurar?
Digo isso, pois, só RAID1 não adianta.
Esse é um dos poucos casos em que recomendo FreeBSD ou Solaris (alguma variante) com ZFS.

ehehehehe...Esse é o osmano que conheci a algum tempo atrás, eheheheheh.

Coloca o bacula, por que um backup e bem diferente de um copiar arquivos e mante-los salvo. Talvez seja por isso que esteja dando tanto gargalo em sua rede, quando vc copia um arquivo x de tamanho x, a forma como os sistemas operacionais trata o evento copiar, é bem diferente,do evento bacukp realizado por algum Manager.
veja ai.
Bacula Backup Brazil – BBB

Citação:

---

Postado originalmente por osmano807

Poderia fazer bonding das placas de rede no servidor.
E diminuir a prioridade do processo de transferência para não parar o servidor enquanto estiver escrevendo no HD.
Os dados PRECISAM ser válidos? Digo, o backup é estritamente necessário ser possível restaurar?
Digo isso, pois, só RAID1 não adianta.
Esse é um dos poucos casos em que recomendo FreeBSD ou Solaris (alguma variante) com ZFS.

---

Descordo com o mostro sagrado, Osmano807, vc pode usar ai um debian, slack, Fedora e vai ser muito feliz. Eu tenho o diabo aqui rodando, e é muito bom. Mas pode ir de linux que vc vai ser feliz sim.
Instala o sistema Bacula.

Boa, o Osmano entende um ''pouquinho'' dos dois...(só um pouquinho) rssss

Citação:

---

Postado originalmente por JorgeAldo

Aqui não se trata de sistema operacional e sim de sistema de arquivos.

O ZFS é no geral superior para armazenamento seguro, assim como o FreeBSD 'quebra' melhor que o Linux.

Agora, claro, quem entende somente de linux terá a tendencia a somente recomendar o que conhece.

Agora vamos lá.

Bonding de placas de rede é blz. Você pode tentar um switch CISCO com agregação de link (Etherchannel). Isso irá permitir que o mesmo servidor possa servir mais de uma requisição por vez.

Porem você irá entrar em contato com outro gargalo, intransponível por si mesmo (Tem como resolver mas vai precisar de mais do que RAID 1) que é a taxa de transferência do próprio disco rígido...

Quanto aos "gerenciadores de backup" que recomendaram como se fossem "mágicos", na verdade devem estar se referindo ao backup incremental, que pode sim ser util, mas que não substitui a necessidade de backups completos de tempos em tempos.

---

Cara eu não so entendo de linux, não! Eu entendo de sistemas Unix, trabalho na IBM como analista lá usamos Unix puro, nada de FreeBD, BDS, Linux, ou Mac todas sabores de Unix, exeto o Linux, que não é Unix, mas segue o padrão, em hipotese alguma falei que o bacula era um sistema magico, e o fato de sugerir o mesmo é justamente pela facilidade de se encontrar ajuda. A limitação em disco nem é o principal problema pois não acredito que esteja tratando uma questão como esta e esta usando um misero hd sata de 7200, eu estou pensando em HD SAS de 15000 RPM, tem gente que coloca hardware desktop com sistema operacional Serve, o hardware é impactante neste caso sim. O trata sim de sistema operacional, para se falar de sistema de arquivo tem que saber qual o sistema operacional é capaz de fazer a leitura e escrita nele, ou vc acha que o windows é capaz de se fazer escrita e leitura em ZFS? sei a respota não! mas para que ele entenda o sistema de arquivo ele tem que saber qual ou quais são suportados. Ao descordado do amigo Osmano, so fiz por pensar de forma diferente neste ponto.

A forma como será feito o backup é da seguinte forma. Com uma máquina windows, uso o Norton Ghost, e faõ o backup na própria máquina windows. Despois copia o arquivo do backup (criado pelo norton ghost) para o servidor de arquivos.

Sim, acrescente um interface de rede a mais e utilize esse interface somente para o processo de backup.

Utilize o iptables para rotear todo o tráfego do backup para essa interface de rede adicional.