Squid - webproxy

[ijr]

Estou para implantar um servidor webproxy em meu provedor.

Minha máquina é:

Celeron 2.66
1Gb Ram
MB Asus Offboard
HD 10GB rodando o linux

Estou querendo instalar um HD SATA de 400GB apenas para o proxy.

Minha dúvida é se vai funcionar legal.... a máquina vai conseguir processar esse proxy?

Será que melhorarei bem a performance de navegação?

[mtec]

Acho melhor primeiro vc entender conceitos de proxy-cache. Vc está disperdiçando um avião!!

Um abraço,

mtec

[ijr]

Por isso que estou solicitando ajuda de vcs mais experientes!

Que hardware seria suficiente????

Que tamanho de HD é o ideal????

[ijr]

Estou querendo implantar um super proxy-cache em meu provedor.

quero colocar um

Celeron 2.66
1Gb Ram
MB Asus
10gb (HD ide que está rodando o linux slackware)

HD SATA 400GB para cache do squid.


será que funciona bem??????

opinem!

[eniak]

e ai 400 gb nao rola coloca o delay do hd + ms de tua rede fica um pouco lento que tal um scsi $$$$$$$$$$$$$$$$$$$$$$$

[ijr]

200gb funciona??

o problema que para eu colocar SCSI não dá, pois os slots PCI estão lotados (não tem como colocar adptadora)!

por isso pensei em SATA.

[marcelomg]

Estou querendo implantar um super proxy-cache em meu provedor.

quero colocar um

Celeron 2.66
1Gb Ram
MB Asus
10gb (HD ide que está rodando o linux slackware)

HD SATA 400GB para cache do squid.


será que funciona bem??????

opinem!

Não funciona, vc precisa de 15 mb de memória ram pra 1 gb de hd
então seria necessariamente 3 gb de ram.

[mtec]

Qual a largura de banda e quantas maquinas na rede??

mtec

[alexandrecorrea]

seguinte..
o kernel vem com um limite padrao (se usar o PAM) .. 1gb de ram para cada processo.. entao o squid MESMO precisando nao consome mais que isso se vc nao mudar essa opção..

400gb eh mta coisa.. 200gb tambem.. uma conta interessante de fazer eh:

um objeto que nao eh acessado por mais de 7 dias.. eh um objeto VELHO... entao .. eh melhor manter um cache mais "clean" sobrecarregando menos a maquina, com tempos de respostas menores...

coloque 50gb (e se possivel um hd SEPARADO) para o cache..

scsi tem um ganho de performance mtoooooooo melhor... e ainda monte a partição do cache usando XFS ou REISERFS 4, com as opções noatime, notail isso proporciona um ganho de +- 40% na performance... o noatime diz que o kernel nao precisa armazenar datas e horarios de alteracoes nos arquivos.. tornando a escrita e leitura mto mais rapidas...

1- rode um servidor dns local na maquina somente para o squid...
2- 1gb de ram.. se a maquina for exclusiva para cache.. coloque 512mb no cache_mem, caso contrario .. 128MB ou 256MB ...

....
o nivel de diretorios do cache_dir .. coloque 64 e 256

tem uma conta.. mas nao lembro agora.. mas esse eh um numero razoavel para 50gb de cache..

[lucianogf]

Não funciona, vc precisa de 15 mb de memória ram pra 1 gb de hd
então seria necessariamente 3 gb de ram.

cara..

com base em que vc diz que é necessário 15mb de memória pra cada giga de cache do squid??

não estou questionando o que você escreveu, apenas quero saber...

valeu

[lucianogf]

o kernel vem com um limite padrao (se usar o PAM) .. 1gb de ram para cada processo.. entao o squid MESMO precisando nao consome mais que isso se vc nao mudar essa opção..

cara..

vc poderia colocar como alterar isso, assim o autor do tópico pode verificar esta configuração e melhorar o desempenho do seu proxy...

valeu

[alexandrecorrea]

wiki do squid !

plataforma:
32bits consome em media 12mb por cada GB de cache
62bits consome em media 25mb por cada GB de cache

MAS essa situação é mto variavel, meu sistema aqui, 64bits.. fiz as contas esta medindo consumo de 32mb para cada GB de CACHE, nao contabilizando o cache_mem que é de 768MB


USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
squid 3519 5.8 66.6 2744272 2710204 ? Sl Dec05 892:46 (squid) -D -s

[lucianogf]

isso é interessante saber...

é como sempre digo..

jipe é jipe, fusca é fusca, caixa de prego é caixa de prego... e sempre terá uma coisa nova pra aprender...

hehehehe

[alexandrecorrea]

reparando aqui.. o que me da mais medo.. eh aquele 66.6 alis uhahuahuahu

666 the best !! auhuhahuahuhua

:X

[_Th0r_]

Uma boa solução que encontramos por aqui foi utilizar varios servidores (na mesma rede, parecido com um cluster) e não apenas um, configuramos eles pra fazerem consultas entre si antes de buscar qualquer informação na internet, com isso não precisamos de máquinas parrudas com 4, 8, 16Gb de ram, pois tinhamos máquinas mais simples com algo em torno de 512Mb a no máximo 1Gb de ram, mas juntando tudo tinhamos um bom cache e que funciona muito bem...

Achamos isso mais viável do que montar um super servidor com muito disco (o que é fácil e barato conseguir hoje em dia) e muita memória, e falando em momória complica porque pra conseguir placas mãe que suportam muita memória é preciso gastar mais...

Mas o lance é esse mesmo, o squid precisa de muita memória, não adianta ter muito hd se você não dimensionar bem a quantidade de memória.

Essa é a minha experiência no assunto...

t+

[ijr]

é isso ai pessoal, minha idéia de ter um super HD está errada.

Vou verificar como posso adicionar um HD SCSI .... pois meus slots estão cheios! ... ainda não procurei, mas vou ver se compro algum entre 60 - 80 GB

Muito obrigado pelas dicas e sugestões, todas foram de grande valia!!!!!

Quero ver se na segunda semana de janeiro (qdo diminui um pouco o sufoco) eu consigo colocar isso pra funcionar.

[]´s

[ijr]

links de 150 - 300 K

Banda total 2mb

100 clientes

[alexandrecorrea]

para alterar os limites do sistema (usando PAM) faça:

edite o arquivo /etc/security/limits.conf

a sintaxe é:

dominio tipo item valor

dominio pode ser: um usuario, um grupo, * para todos

tipo pode ser: soft ou hard , forcar limites soft ou hard

os ITEMS sao:

core -> limita o tamanho maximo do arquivo core.
data -> max data size (KB)
fsize -> tamanho maximo de um arquivo (KB)
memlock -> tamanho maximo de espaço reservado na memoria
nofile -> maximo de "open files" (FD´s)
rss -> tamanho maximo que o processo pode atingir (rsident size, RSS)
stack -> tamanho maximo da pilha para o processo
cpu -> tempo maximo que o processo pode ser executado (minutos)
nproc -> maximo de processos para o usuario
as -> limitador de endereços
maxlogins -> numeor maximo de logins simultaneos
priority -> prioridade que os processos deste usuario ira rodar
locks -> numero maximo de arquivos "travados" o usuario pode manter


(no arquivo limits.conf tem exemplos e esse help, ingles)...


alterando estes valores, voce precisa reiniciar o servidor para que as alterações entrem em vigor...

[ijr]

em geral, o que se consome mais é processador ou memória?

[alexandrecorrea]

memória !! processador eh mto pouco.. 6% da cpu direto se usar async io