Servidor para Cache de 1000 Clientes

[bilozani]

Uso Hyper...funciona muito bem. Suporte e atendimento de primeira.

[bodoquenanet]

Uso Hyper...funciona muito bem. Suporte e atendimento de primeira.

geralmente o cache dpois de configurado em sua rede leva um tempo pra ficar 100%. Qto tempo levou o seu?

[caicarabruno]

Bom dia Galera,
Bom ja passaei por este tipo de problema assim como muitos que tem ou trabalham em provedores, instalar o cache e a rede ficar lenta.

*Uma pequena historinha.
Bom, antes eu entendia que o cache deveria ser entregue com mais velocidade para os clientes.
- Depois que configurei desta forma vi que a rede ficou lenta e logo a banda de meus rádios iam pro saco.
- Vi que não deveria ser assim.
Então pesquisei, pesquisei, pesquisei e pesquisei.
- A partir de muito pesquisa entre outras coisas entendi que o cache full era uma forma de disponibilizar os arquivos mais rápido e não com mais velocidade como já citaram, se me pagam por 512k por que vou entregar a 2 Megas ou mais.
A partir deste momento a rede melhorou e os rádios respiraram UFA.

MAAASSSSS com o tempo a rede começou a engasgar em horário de PICO, e la vem chamado de clientes.

Blza comecei a analizar e ver o por que destes gargalos, fiz testes de estresse na rede como um todo e não achei nada.
Quando comecei a visualizar á máquina de cache principalmente em horário de PICO, e vi que o I/O do disco ia pro brejo.
- Blza fiz raid0 dividi em vários discos "pequenos" ao invés de 2 grandes, num total de 6x250g, usando uma placa ASUS black edition com um X6 da vida ,16 GIGA RAM, se eu não fosse casado eu pegaria.

O I/O melhorou absurdo porém via software, 2 meses depois voltou o problema, mas cooomooo ??RSS

depois de muita pesquisa e muita pesquisa mesmo, percebi que estava fazendo tudo errado, Mas como errado ?
- EU tinha uma ferrari com um puta motorzão para fazer o trabalho de um caminhão com o mesmo motorzão, e qual a diferênça ?

Com a ferrari você consegue ir mais rápido porém com pouca carga então tem de ir e voltar várias vezes para entregar a todos
Com o caminhão você vai mais lento porém com muita carga, e a logística é mais fácil.

A solução

Detalhes do produto Servidor em rack PowerEdge R410 11G | Dell Brasil
2 X intel® Xeon® E5530, 2,40 GHz/8 MB, 4C 80 W
16 X gigas de ram DDR3 800mhz
4 X SAS de 3,5 pol (15.000 RPM) 146 GB em RAID 0.

Com este caminhão não tenho mais problemas, minha rede ficou 100% meus clientes não reclamam, o Cache não utilizado em uma semana e limpo, sempre na madrugada, armazeno no máximo 700 mega por arquivo, que são as ISO's da vida.

o Que aprendi, máquinas que são feitas para DESKTOP por mais que sejam potentes não geram o mesmo efeito que um servidor,e com o preço que se paga por um DESKTOP bem montando você compra um servidor básico/mediano da IBM, DELL, HP, ITAUTEC.

Não adianta falar que o cache XYZPTO não é bom, claro que um é melhor que o outro porém você tem de dar condições de trabalho para ele.

Tentem usar o thunder com FreeBSD o avião que vira, pois o UNIX consegue tirar o melhor do hardware.

Espero que este texto ajudem a galera a pesquisar e claro antes de implementar verificar se aquela Direcionamento no MK é o ideal para sua rede.

Abraços

[carlindanet]

Bom dia Galera,
Bom ja passaei por este tipo de problema assim como muitos que tem ou trabalham em provedores, instalar o cache e a rede ficar lenta.

*Uma pequena historinha.
Bom, antes eu entendia que o cache deveria ser entregue com mais velocidade para os clientes.
- Depois que configurei desta forma vi que a rede ficou lenta e logo a banda de meus rádios iam pro saco.
- Vi que não deveria ser assim.
Então pesquisei, pesquisei, pesquisei e pesquisei.
- A partir de muito pesquisa entre outras coisas entendi que o cache full era uma forma de disponibilizar os arquivos mais rápido e não com mais velocidade como já citaram, se me pagam por 512k por que vou entregar a 2 Megas ou mais.
A partir deste momento a rede melhorou e os rádios respiraram UFA.

MAAASSSSS com o tempo a rede começou a engasgar em horário de PICO, e la vem chamado de clientes.

Blza comecei a analizar e ver o por que destes gargalos, fiz testes de estresse na rede como um todo e não achei nada.
Quando comecei a visualizar á máquina de cache principalmente em horário de PICO, e vi que o I/O do disco ia pro brejo.
- Blza fiz raid0 dividi em vários discos "pequenos" ao invés de 2 grandes, num total de 6x250g, usando uma placa ASUS black edition com um X6 da vida ,16 GIGA RAM, se eu não fosse casado eu pegaria.

O I/O melhorou absurdo porém via software, 2 meses depois voltou o problema, mas cooomooo ??RSS

depois de muita pesquisa e muita pesquisa mesmo, percebi que estava fazendo tudo errado, Mas como errado ?
- EU tinha uma ferrari com um puta motorzão para fazer o trabalho de um caminhão com o mesmo motorzão, e qual a diferênça ?

Com a ferrari você consegue ir mais rápido porém com pouca carga então tem de ir e voltar várias vezes para entregar a todos
Com o caminhão você vai mais lento porém com muita carga, e a logística é mais fácil.

A solução

Detalhes do produto Servidor em rack PowerEdge R410 11G | Dell Brasil
2 X intel® Xeon® E5530, 2,40 GHz/8 MB, 4C 80 W
16 X gigas de ram DDR3 800mhz
4 X SAS de 3,5 pol (15.000 RPM) 146 GB em RAID 0.

Com este caminhão não tenho mais problemas, minha rede ficou 100% meus clientes não reclamam, o Cache não utilizado em uma semana e limpo, sempre na madrugada, armazeno no máximo 700 mega por arquivo, que são as ISO's da vida.

o Que aprendi, máquinas que são feitas para DESKTOP por mais que sejam potentes não geram o mesmo efeito que um servidor,e com o preço que se paga por um DESKTOP bem montando você compra um servidor básico/mediano da IBM, DELL, HP, ITAUTEC.

Não adianta falar que o cache XYZPTO não é bom, claro que um é melhor que o outro porém você tem de dar condições de trabalho para ele.

Tentem usar o thunder com FreeBSD o avião que vira, pois o UNIX consegue tirar o melhor do hardware.

Espero que este texto ajudem a galera a pesquisar e claro antes de implementar verificar se aquela Direcionamento no MK é o ideal para sua rede.

Abraços

Falou tudo que eu queria dizer mais não estava achando palavras, vejo bastante colegas falando em montar servidores com maquinas comuns, isso sempre será o maior erro, por mais barato que pareça, este servidor na verdade nunca sera um servidor, sera apenas um PC comum dos melhores, já trabalhei em duas empresas que cometiam esses erros, sempre dava Pau, quando colocaram servidores em uma Dell e em outra IBM, nunca mais deu problema sai de lá e os servidores ficaram, um já esta funcionando a 6 anos.

abraços

Marcos

[bjaraujo]

Aqui tô usando um pc básico com 4GB de mem. Tá muito bom por enquanto. Mas já estou para encomendar uma placa Supermicro[1], Processador Xeon 1155 e meia dúzia de memória.
O fato é que um conjunto de placa e processador desktop por mais rápido que seja só o faz em pequenos volumes e relativa baixa demanda.



1- Newegg.com - SUPERMICRO MBD-X9SCI-LN4F-O LGA 1155 Intel C204 ATX Intel Xeon E3 Server Motherboard

[caicarabruno]

Boa tarde Araujo,

Procure uma placa com 2 Processadores, pois com mais capacidade de processamento mais fácil será a administração da memória por parte do SO.

flw

[bilozani]

geralmente o cache dpois de configurado em sua rede leva um tempo pra ficar 100%. Qto tempo levou o seu?

Para começar a ver a economia de banda real em torno de 15 dias. Mas nunca me deu problema o cache.

[bodoquenanet]

Para começar a ver a economia de banda real em torno de 15 dias. Mas nunca me deu problema o cache.

Antes disso, as páginas carregavam normalmente, sem travamentos ou lentidão?

[bjaraujo]

Boa tarde Araujo,

Procure uma placa com 2 Processadores, pois com mais capacidade de processamento mais fácil será a administração da memória por parte do SO.

flw

Sabes algo sobre o problema do Sandy Bridge em Dual LGA1366? Uma ótima placa é essa pois possui SAS onboard para começar com baixo custo: Newegg.com - SUPERMICRO MBD-X8DTH-6F-O Dual LGA 1366 Intel 5520 Extended ATX Dual Intel Xeon Server Motherboard .

Edit: Ví que o problema é justamente em 1155.

[caicarabruno]

Sabes algo sobre o problema do Sandy Bridge em Dual LGA1366? Uma ótima placa é essa pois possui SAS onboard para começar com baixo custo: Newegg.com - SUPERMICRO MBD-X8DTH-6F-O Dual LGA 1366 Intel 5520 Extended ATX Dual Intel Xeon Server Motherboard .

Edit: Ví que o problema é justamente em 1155.

Então que eu saiba, melhor "li por ai" que o problema com a 1366 e 1155 é o baixa desempenho com MAC OX e também com o prórpio windows 8 Que vem por ai, então a INtel esta mudando suas plataformas com mais rápido. Agora para servidores que vão ficar trabalhando durante muito tempo estão de bom tamanho.

Supports up to 192 GB 1333 / 1066 / 800MHz DDR3 ECC Registered memory

NUSSA QUE QUANTIDADE DE MEMO.


abraços

[bjaraujo]

Então que eu saiba, melhor "li por ai" que o problema com a 1366 e 1155 é o baixa desempenho com MAC OX e também com o prórpio windows 8 Que vem por ai, então a INtel esta mudando suas plataformas com mais rápido. Agora para servidores que vão ficar trabalhando durante muito tempo estão de bom tamanho.


NUSSA QUE QUANTIDADE DE MEMO.


abraços

Fazer um ramdisk com COSS. Imagine a insanidade, a página aberta quando o cara pensar em clicar. hauhauhauha

[caicarabruno]

Fazer um ramdisk com COSS. Imagine a insanidade, a página aberta quando o cara pensar em clicar. hauhauhauha

Iria ficar show ahsuahshaus

[EribertoTorres]

Fiquei pensando nesse tema por uns dias e me veio uma ideia, os colegas mais experientes podem ajudar.

Aproveitando o hardware do colega:
ver a taxa de utilizaçao da cpu (no linux com o comando top)
ver as conexoes (ntop)
Supondo que a latencia é dada pelo hd:
Controladora Raid por hardware e dois hds SSD em Raid 0
Se for na interface de rede, talvez uma placa mais profissional.
Todavia sao só alternativas e divagaçoes que fiz, os mais experientes podem contribuir.

[misterbogus]

alguém acha que uma dessa pode ser chamada de placa de servidor?

[bjaraujo]

alguém acha que uma dessa pode ser chamada de placa de servidor?

Se não for Opterom é Itanium.

[misterbogus]

zoei
essa placa é uma arima
to pensando em comprar uma dessas e usar com 4 opteron quad core totalizando 16 núcleos com uns 16gb de memória com um raid bacana.

mas uma pergunta
isso seria uma configuração robusta para rodar um cache?
é tudo peça na categoria "SERVIDOR"

[bjaraujo]

Em minha humilde opinião isso seria um truncado carregando um sofá, rsrs.
Segundo o que tenho lido aqui mesmo, o squid ou lusca não aproveita o multiprocessamento, entretanto é mesmo é útil para o o aufs e para os url e store rewriters.
Estou para pegar uma placa com suporte a dois processadores por conta do SAS on-board mas pretendo usar somente um processador e por meia dúzia de memória.
O colega falou sobre raid com ssd mas lí nalguma lista que chegou um ponto que o ssd "se negava" a escrever quaisquer coisa. O meio termo que ví foi, por um cachão aufs no SAS e por um cachinho coss para arquivos menores diretamente na memória do sistema (ramdisk).
O que estou intrigado é que meu cache com apenas 1GB coss[1] e 160GB aufs está consumindo próximo de 4GB (acho que se tivesse mais passava). Tomei o cuidado de desativar o swap do sistema.

1- O que notei aqui é que se eu tiver 2GB de cache COSS o Lusca consome pelo menos 2GB de memória ainda que o cache esteja completamente vazio.

[SLIPPERY]

Acho que a questão é matemática, tá certo que uma super maquina com super processador e muita, muita, muita memória enche os olhos.
1° Qual o tamanho do seu link? P fazer trafego de 10 mbit/s no server n precisa muita coisa.
2° Quantas requisições? Tem muita gente que gosta de colocar ferrari p andar no barro.
Mas eu vou contar minha experiência. Eu uso uma placa Asus m4n68t-m, 4 giga de memoria, 1 hd de 80 gb p sistema, 1 hd de 80gb p squid e um hd de 1 tera p thunder 3. 460 clientes e um link de 16 mbit/s processamento em torno de 60 % e nao para. Sugestão: Pense bem no que vc vai fazer p n ficar com hardware sobrando.

[boneco]

ola erveton voce comentou sobre os hd ssd eu achei isto sobre a vida util deles
Vale a pena trocar um HD por um SSD?

[caicarabruno]

1° Qual o tamanho do seu link? P fazer trafego de 10 mbit/s no server n precisa muita coisa.

Tenho dois links um de 30 Mega e Outro de 50, e uma quantidade de clientes rasolavél, atendo clientes com até 2 megas.

Segundo o que tenho lido aqui mesmo, o squid ou lusca não aproveita o multiprocessamento, entretanto é mesmo é útil para o o aufs e para os url e store rewriters.

Quanto a processador, é só criar várias instâncias para o squid, e cada instância ira distribuir do cache por portas diferentes, só tera de criar mais regras no Mikrotik.

https://under-linux.org/f96/squid-mu...-fazer-125562/

Abraços