Servidor comum para rodar squid com mais de 100 usuarios ?

Boa noite, depois de dias e dias de teste com um PIV 3.0 HT + MB Intel Server board + 1GB memória + sata II 160GB rodando squid 2.6 não consegui fazer o cache pesquisar rápido o suficiente para os usuários com controle de banda abrir as paginas igual ( digo igual porque fica muito mais lento mesmo), de que quando estão somente no NAT.

O servidor é um debian 4.0 r2, kernel 2.6.19 compilado de forma enxuta e para o modelo de processador PIV.
O squid foi compilado na maquina.

Esta rodando iptables+cbq+squid+nat+connlimit+ipp2p.

O squid foi de todas as formas inclusive configurado com cache pequeno, grande, diskd e o caralho a quatro.
O melhor desempenho foi com diskd e usando uma fatia de memoria fisica grande e cache menor (menos subdiretórios também), mas mesmo assim tirando o Proxy a resposta dos clientes wireless é melhor.

Como meu Proxy economiza 30% do meu link resolvi comprar um novo Computador para fazer o Proxy e ver se o conjunto da obra aumenta o desempenho do squid.

Deixando bem claro que o squid fazendo cache em uma rede local sem cbq é espetacular para arquivos repetitivos em termos de velocidade. O problema é usar ele em conjunto com controle de banda deixando todos limitados a uma velocidade predefinida. Ai é que entra o meu caso, economizar banda e não aumentar velocidade.
Mas quero pelo menos deixar a resposta do Proxy quase igual o uso somente do nat.

Então pedi um:

Core 2 Quad de 2.4GHZ
Intel chip set G33 com 3 pci, 4 sata e memória Dual Inline.
2 kingston 1GB
Sata III 160GB
2 3com 10/100/1000

Vou instalar um debian 4.0 r3 ia64 + squid 2.6

Em duas semanas posto aqui os resultados.

Se alguém tiver casos parecidos para nos informar sobre desempenhos e configurações agradeço.

Não testei este ambiente em SERVIDORES, porque estas CPUs são desktop e temos que respeitar a limitação em ambientes como esse. Quando sobrar um dinheirinho para um server mesmo ai quero ver como fica.

Citação:

Postado originalmente por ShadowRed

Boa noite, depois de dias e dias de teste com um PIV 3.0 HT + MB Intel Server board + 1GB memória + sata II 160GB rodando squid 2.6 não consegui fazer o cache pesquisar rápido o suficiente para os usuários com controle de banda abrir as paginas igual ( digo igual porque fica muito mais lento mesmo), de que quando estão somente no NAT.

O servidor é um debian 4.0 r2, kernel 2.6.19 compilado de forma enxuta e para o modelo de processador PIV.
O squid foi compilado na maquina.

Esta rodando iptables+cbq+squid+nat+connlimit+ipp2p.

O squid foi de todas as formas inclusive configurado com cache pequeno, grande, diskd e o caralho a quatro.
O melhor desempenho foi com diskd e usando uma fatia de memoria fisica grande e cache menor (menos subdiretórios também), mas mesmo assim tirando o Proxy a resposta dos clientes wireless é melhor.

Como meu Proxy economiza 30% do meu link resolvi comprar um novo Computador para fazer o Proxy e ver se o conjunto da obra aumenta o desempenho do squid.

Deixando bem claro que o squid fazendo cache em uma rede local sem cbq é espetacular para arquivos repetitivos em termos de velocidade. O problema é usar ele em conjunto com controle de banda deixando todos limitados a uma velocidade predefinida. Ai é que entra o meu caso, economizar banda e não aumentar velocidade.
Mas quero pelo menos deixar a resposta do Proxy quase igual o uso somente do nat.

Então pedi um:

Core 2 Quad de 2.4GHZ
Intel chip set G33 com 3 pci, 4 sata e memória Dual Inline.
2 kingston 1GB
Sata III 160GB
2 3com 10/100/1000

Vou instalar um debian 4.0 r3 ia64 + squid 2.6

Em duas semanas posto aqui os resultados.

Se alguém tiver casos parecidos para nos informar sobre desempenhos e configurações agradeço.

Não testei este ambiente em SERVIDORES, porque estas CPUs são desktop e temos que respeitar a limitação em ambientes como esse. Quando sobrar um dinheirinho para um server mesmo ai quero ver como fica.

Shadow,

Boa noite. Irmão, quando você controla a banda, o pessoal que irá acessar a internet vai navegar com a velocidade determinada por você. Não adianta querer que a página seja aberta em uma velocidade de um link de 1 mega, se você limitou-o a 128 kbps.

Agora, o que torna realmente um pouco lento, é o acesso a informações (cache) dentro do Disco rígido, onde as páginas estão arquivadas para eventuais solicitações.

O que tens que lembrar, é que o squid, utiliza tanto a memória ram ( para objetos quentes, já que está na memória ram, a solcitação e a resposta sejam mais rápidas, mais utilizada para objetos de sites, de no máximo 256 kb, por exemplo) quanto o Disco rígido para arquivos de tamanhos maiores.

Hoje eu tenho pendurado em um Duron 1.1 ghz, com 1 Giga de Memória Ram, e duas placas de rede 10/100, 95 clientes, acessando páginas normalmente e bem mais rápidas, SOLUÇÃO: troquei o disco rígido por um PEN DRIVER. Hoje utilizo para armazenamento o PEN DRIVER, pois é uma memória Flash, assim que precisa acessar informações no meu servidor, é bem mais rápido a resposta do que está armazenado em um Disco Magnético, ok.

Outra dica, Servidores cache/DNS ->> Utilize servidores Dns dentro da sua prórpria rede, aumentando também a velocidade de busca do squid atrás do sites.

espero ter ajudado.

Atenciosamente,

tenho mais de 100 usuarios de acesso por dia e nao tenho problema nenhum
HD SATA
130 GB Cache Squid 60% utillizado, a ideia do amigo acima é boa so fica limitada o espaco de arquivos pequenos, aqui jogo ate 20mb em cache de disco (msn) top of downloads

Debian 4 recompilado para o pom + pluss

Colocar PEN DRIVE fica muito limitado.

Eu tenho rodando squid em HD SATA, onde o tamanho do cache está limitado a 20gb (não adianta colocar + que isso para rede pequena pois os arquivos ficam velhos).

No caso pode-se usar HD SCSI ai sim o desempenho será melhor.

Citação:

Postado originalmente por ijr

Colocar PEN DRIVE fica muito limitado.

Eu tenho rodando squid em HD SATA, onde o tamanho do cache está limitado a 20gb (não adianta colocar + que isso para rede pequena pois os arquivos ficam velhos).

No caso pode-se usar HD SCSI ai sim o desempenho será melhor.

eu defini no meu host quardar arquivos por 14 dias no cache após pode sobrepor

SCSI vou descordar entao coloca 2 sata em raid 0 que vc consegue uma taxa de 120.000.00 MB/s real de transferencia

como é cache vc nao precisa de confiabilidade ou seja SEGURANCA = SCSI DESEMPENHO = SATA

Citação:

Postado originalmente por MDdantas

Shadow,

Boa noite. Irmão, quando você controla a banda, o pessoal que irá acessar a internet vai navegar com a velocidade determinada por você. Não adianta querer que a página seja aberta em uma velocidade de um link de 1 mega, se você limitou-o a 128 kbps.

Agora, o que torna realmente um pouco lento, é o acesso a informações (cache) dentro do Disco rígido, onde as páginas estão arquivadas para eventuais solicitações.

O que tens que lembrar, é que o squid, utiliza tanto a memória ram ( para objetos quentes, já que está na memória ram, a solcitação e a resposta sejam mais rápidas, mais utilizada para objetos de sites, de no máximo 256 kb, por exemplo) quanto o Disco rígido para arquivos de tamanhos maiores.

Hoje eu tenho pendurado em um Duron 1.1 ghz, com 1 Giga de Memória Ram, e duas placas de rede 10/100, 95 clientes, acessando páginas normalmente e bem mais rápidas, SOLUÇÃO: troquei o disco rígido por um PEN DRIVER. Hoje utilizo para armazenamento o PEN DRIVER, pois é uma memória Flash, assim que precisa acessar informações no meu servidor, é bem mais rápido a resposta do que está armazenado em um Disco Magnético, ok.

Outra dica, Servidores cache/DNS ->> Utilize servidores Dns dentro da sua prórpria rede, aumentando também a velocidade de busca do squid atrás do sites.

espero ter ajudado.

Atenciosamente,

Acho que voce não entendeu o que disse; A lentidão não é em relação de usar o proxy e ter que abrir paginas mais rapido, quando se usa controle de banda junto com cache é claro que tudo vai estar limitado a velocidade liberada. O cache só serve para aliviar um pouco o link.
A questão é, usando o proxy as paginas abrem mais lento que o uso apenas do NAT em ambiente com squid e controle de banda, e isso se dá a pesquisa que o squid faz primeiro antes de liberar as paginas.

E obtive 3 vezes mais velocidade usando um HD SCSI 72 GB do que usando pen drive (USB II ), CF, SD. Até um sata de 40 GB antigo se mostrou mais rapido na leitura e escrita do que os pen drive.

Mas posso afirmar uma coisa, processador + MB + memoria + HD, faz toda a diferença.

Mas mesmo assim voce tem um delay, minimo mas tem em relação ao uso somente do NAT.

O servidor rapido ajuda diminuir o delay mas não tira ele.

Agora o cache sem controle de banda como havia relatado é show para arquivos repetitivos. No meu caso só serve para aliviar um pouco o link, mais nada.

Outra coisa, isso não é problema e sim um ajuste FINO que quero fazer no servidor para deixar ele com desempenho melhor.

Agora quando colocar um SERVIDOR mesmo para rodar acredito que o delay some, pois como falei CPUs desktop não se compara a SERVIDORES.

Tive a oportunidade de ver um IBM dual Processor Xeon Quad Core 2.4 ghz com HD SAS rodando 500 usuarios e o delay com squid e controle de banda é menor do que tenho, quase nada. Estava rodando FreeBSD mas não acredito que seja o sistema e sim o servidor. Mesmo porque o squid estava configurado da mesma forma que os teste que fiz.

Quando chegar o meu, tiro a duvida em definitivo aqui. Mas só tirando o PIV e colocnado um Core 2 Quad + SCSI já mudo da agua pro vinho.

amigos estou prestes à montar um servidor desses, no meu caso o meu controle de banda ficará no mikrotik eu queria saber se algum de vcs jah experimentou essa solucao e quais foram os resultados ...

Citação:

Postado originalmente por admskill

amigos estou prestes à montar um servidor desses, no meu caso o meu controle de banda ficará no mikrotik eu queria saber se algum de vcs jah experimentou essa solucao e quais foram os resultados ...

Não tera problemas, conheço varias pessoas que controla a banda no AP Mikrotik, dizem que funciona normalmente.

acabei de comprar um xeon quad core, 4gb memoria e 2 hds sas em raido 0. isso tudo so pra proxy e dns, tenho 450 clientes. quero ver se esse pczinho vai dar comta
;)

galera nao adianta compra um quadcore e usar um chipset via ou sis numa placa mae ou um chipset descontinuado nao compativel com o FSB do processador

o processador core2 Quad por exemplo o certo é usar uma MB com chipset 975 pra cima pois comporta o FSB 1066 que é o do processador, trabalho com host mantado de alta perfomance e se alguem tiver interece em montar um turbo recomendo placas mae com chipset X38 para familia core2 duo E8400 pois este processador trabalha com 1333 FSB e o chipset suporta DDR3 como memoria (256bit) ou seja a memoria que a nos usamos atualmente é 64bit apenas, tem tabem a familia dos core2 quad que é outro chipset

lembrando a fama do Core2duo comessa no processador E6320 com 1066 de FSB e 4 mega de cache