super servidor com 3 TB de HD

E ai galera do fórum olha estou precisando de vcs hoje

Estou querendo montar um super servidor para meu provedor Internet radio estava aqui pensando comigo em montar um cluster. Queria colocando cerca de 6 pcs com hds de 500 GB cada no total de 3 TB isso e muito sim e muito mais si eu fizer isso quem sabe terei uma economia no meu link pois estou ampliando minha rede para mais 3 cidades e queria um super servidor para fazer cachê paginas e download de ate 300 mb

hoje uso o mikrotik para controlar o acesso de meus clientes

vamos la essas são minhas duvidas

será que alguém teria um tutorial para esse tipo de cluster?

Eu poderia utilizar esse cluster para também servidor de e-mail e web site tudo junto pois esse servidor teriam muito processamento de sobra ?

300 mb será que e muito ou pouco ?

proxy ajuda.. mas fazer milagre.. ninguém faz

cara estou querendo uma ajuda para esse projeto

Mas por que usar 6 pcs com 1hd cada, se você pode com menos da metade do custo fazer em um único pc?

A não ser que você queira espalhar em 6 lugares diferentes, é inviável.

Uma placa-mãe razoável, com um dual ou quad + 4gb de ram fazem um baita servidor de dados, sem contar a possibilidade ainda de usar RAID.

queria bastante processamento de sobra por isso 6 pcs pois vi falar que no cluster junta os processos para si tornar um

Esse seu super projeto nao vai funcionar do jeito que voce quer.

Saudações.

Não é viável, o cluster junta sim o processamento, mas você não vai ter processamentos absurdos com o trabalho de pegar um arquivo do hd e jogar na ethernet. Não sei se existe alguma compactação envolvida, mas com certeza um processador dual ou quad com bastante memória e uma interface de rede boa serão suficientes.

EDIT: grayfox chegou menos sutilmente na idéia que eu quero te fazer entender :)

Bom, já que quer gastar, compre uma maquina boa, com bastante memoria ram com HD SAS. Compre 2 HDs SAS de 73gb.
E seja feliz...

queria saber pelomenos para o cache ficaria bom ter um cluster ou não funcionaria

se você tiver uns 10.000 clientes talvez compense esse seu projeto.

esse servidor e para + ou - 800 clientes hoje mais esse numero vai aumentar com essas 2 cidades a mais por isso queria esse servidor para não gastar muito dinheiro com link full.

será que si eu colocar em um pc bom com bastante memória e um bom proc. ficaria bom

tenho medo de ser muito trafego para esse servidor e ele não aquenta tanto trafego pois hoje são 800 clientes

cara...

squid ocupa no máximo 10% do CPU de um servidor bom, ele consome muita memória.

e em termos de economia de link, um squid muito bem configurado economiza em torno de 15%-25% de link, como dito anteriormente, não faz milagre.

nao adianta um servidor gigante.. proxy nao consegue economizar tanta banda assim nao.. media 25 a 40 % ..

nao adianta tentar escapar do principal "motor" de um provedor.. o link !!

tendo um servidor.. vc tambem tera um "single point of failure" .. se o servidor der problema.. seu provedor.. OFF !!

muito melhor ter 4 servidores em cluster e com redundancia...

Citação:

---

Postado originalmente por lucianogf

se você tiver uns 10.000 clientes talvez compense esse seu projeto.

---

Uma vez fiz um gateway de um provedor de internet que tinha 4 mil clientes...
O squid consumia 40% de um AMD64 3000+ . Isso faz uns 4 anos atras.

Saudações,

meu squid aqui nao passa dos 7% com 1.200

soh q memoria ram.. ja eh outra historia hehehe

8gb facil assim

Legal galera isso então que vou fazer vou montar um pc bom e com muita memória para meu squid e outra coisa teria como colocar dois hds nesse servidor com o squid pelo menos isso teria pois ai vou colocar dois hds de 750 GB assim ficariam com um bom cachê

Amigo,
Para você ter uma ideia mais ou menos do que é um cluster e suas funcionalidades sugiro ler primeiramente este tópico da wikipedia:
Cluster - Wikipédia
Existe o mesmo artigo mais completo em inglês:
Computer cluster - Wikipedia, the free encyclopedia

Abraços

Bom, nao li tudo, mas cara, 3 Terabytes de informação é COISA para kct.. imagina o tempo que demora para pesquisar nesse disco todo ? Pelo que eu vejo voce tem poucos clientes.

Eu tenho um squid aqui rodando em um Xeon 2.4Ghz com 1 GB com 40GB de cache, é tranquilão, a unica bronca é que ele fica quase tocando sempre 100% de CPU., tirando isso é perfeito. Esse proxy aguenta quase 2000 usuarios.

No seu caso de 800 users, é tranquilamente botar so em um proxy... acho que até ~1,300 o meu Xeon 2.4Ghz aguentaria sem dar tanto trauma de perfomance hehehe

Creio que passando dos 10GB de proxy o gargalo mesmo fica na I/O do disco.

O ideal é ter um hd de 73GB SCSI (hoje sao os SAS...) só para o cache dir.

Tem agora esses Quad core com 8mb de cache que sao bons... E todavia, utilize placas de rede gigabit pcixpress 1x.


Saudações,

Bom, a questao do proxy e bem complexa, cada um usa de um jeito, eu aqui tenho um cenario do provedor parecido com o seu, e uso um proxy com a seguinte config:

processador com 2 nucleoes
4 GB de memoria, (ja estou providenciando upgrade para 8 GB)
para o cache do squid. uso 2 HDs sata II de 250 Gb cada, com 16 mb de cache em cada, fazendo Raid 0, para aumentar a performance de leitura e escrita em disco.


Atenciosamente,


Rosauro Baretta

Citação:

---

Postado originalmente por rosauro

Bom, a questao do proxy e bem complexa, cada um usa de um jeito, eu aqui tenho um cenario do provedor parecido com o seu, e uso um proxy com a seguinte config:

processador com 2 nucleoes
4 GB de memoria, (ja estou providenciando upgrade para 8 GB)
para o cache do squid. uso 2 HDs sata II de 250 Gb cada, com 16 mb de cache em cada, fazendo Raid 0, para aumentar a performance de leitura e escrita em disco.


Atenciosamente,


Rosauro Baretta

---

Rosauro, dá uma lida nas dicas do Squid, no wiki, que encontrará algo sobre raid. Não é recomendado o uso do mesmo, pois não aumenta a performance e sim decrementa. Só uma dica. ;)

1- squid não eh multi-thread .. somente usa 1 processador
2- como o sergio disse, raid0 nao aumenta a performance no caso "squid", muito melhor ter 2 cache_dir (1 em cada hd) do que 1 cache_dir em raid0 .!

sem contar que se quer montar um servidor verdadeiramente bom para squid tem que ser com HD SCSI..

o que vcs que falam de um servidor bom isso configuração P4 , ATHLON, quanto de memoria ....

pois assim gasto somente com um pc bom em vez de gastar com varios pc para fazer o cluster que a galera folo que não e o certo mais então vamos para um pc bom

Citação:

---

Postado originalmente por voiplink

o que vcs que falam de um servidor bom isso configuração P4 , ATHLON, quanto de memoria ....

pois assim gasto somente com um pc bom em vez de gastar com varios pc para fazer o cluster que a galera folo que não e o certo mais então vamos para um pc bom

---

Dos que eu fiz, até agora a melhor configuração foi um opterom com 4 HDs SAS, 8 GB RAM e um squid para cada processador (núcleo) formando 4 instâncias do squid, rodando em sibling.

Se for usar única e exclusivamente para squid e mais alguns serviços leves, daria tranquilamente um xeon dual core 2.4, 4 GB de memoria, no minimo, dois HDs scsi 73gb.

Uma maquina dessas aguenta tranquilamente 1000 clientes. Logicamente que a memória esgotaria muito rápido, então o melhor seria ter 8Gb.

essa eu não sabia que tem como rodar mais de um squid em um pc essa squid ai deve que fico otimo em