-
Aumentando a velocidade de acesso ao cache do squid
Boa noite,
uso o linux kurumin 5.0 em uma rede wireless, tenho o squid instalado e funcionando, tenho controle de banda por CBQ que funciona somente o controle de download, pois ainda não conseguir fazer funcionar a marcação de pacotes para o controle de up funcionar.
Não estou notando nenhuma aceleração na abertuda de páginas e nem mesmo nos donwloads de arquivos que já foram baixados por outros clientes e estão no cache. O squid estar configurado para guarda arquivos de até 100MB no cache físico que tem 10000MB. Também coloquei o número de diretórios e subdiretórios para 10000 64 64, o tamanho do cache na guardado na RAM é 300MB.
Será que o controle de download do CBQ estar controlando também a velocidade de acesso ao cache do squid?
Se sim existe alguma maneira de desativar o controle de velocidade de acesso ao cache do proxy ou até mesmo aumentar um pouco a velocidade, para que os arquivos e as páginas que já foram baixados por algum usuário sejam abertos mais rapidamente pelo cliente?
Portela
-
Aumentando a velocidade de acesso ao cache do squid
Alguém sabe resolver isso?
Portela
-
Aumentando a velocidade de acesso ao cache do squid
sim e nao, depende de como voce implementoui seu cbq, de como esta sua rede, e de onde esta os eu proxy. se vc explicar... ai sim dap ara dizer.
-
Aumentando a velocidade de acesso ao cache do squid
Geralmente discos SCSI produzem um melhor desempenho de servidores cache.
Mantenha em mente também que um cache muito grande precisa de um gerenciamento maior, requirindo mais hardware. Se você possui na sua tag cache_dir o seguinte:
Ele vai fazer menos cache, mas em compensação ele vai ficar mais rápido pois o Squid vai poder gerenciar melhor isso aí, sem falar que você vai poder economizar um pouco mais o seu processador para outras funções.
Ter um cache de 10 GB é absurdo, a menos que você tenha um micro com SATA-9473598734958739487534 e um Pentium 20 dualcore quadri-processado e 10000 clientes.
Fora isso, dê uma olhada nas diretrizes maximum_object_size e minimum_object_size.
Abraços!
-
Aumentando a velocidade de acesso ao cache do squid
Ow stéfanuuu blz?
cara então não adianta colocar um cache de 2 Gb, nem o servidor sendo dedicado a somente isso?
:)
-
Aumentando a velocidade de acesso ao cache do squid
EU pelo menos não vejo motivo.
-
Aumentando a velocidade de acesso ao cache do squid
Bom a rede atualmente é composta por 22 usuários, espalhando por um raio de 2km da torre, tenho um link de 512, o servidor é um único computador que estar fazendo, cache squid + sarg, dns, firewall, controle de banda por CBQ (ta controlando só o download).
o hardware é um duron 1.6, hd ide 40gb, duas placas 3com
O CBQ estar assim:
Para cada IP da rede tenho dois arquivos:
cbq-0E10.cliente02-in
DEVICE=eth1,10Mbit,1Mbit
RATE=128Kbit
WEIGHT=12Kbit
PRIO=5
RULE=192.168.0.10
BOUNDED=yes
ISOLATED=no
cbq-0E10.cliente02-out
DEVICE=eth0,10Mbit,1Mbit
RATE=128Kbit
WEIGHT=12Kbit
PRIO=5
RULE=192.168.0.10,
BOUNDED=yes
ISOLATED=no
´
O cache_dir tá
cache_dir 10000 64 64
mas não noto diferença alguma no acesso a páginas ou downloads que já foram feitos por outros usuários da rede e que estão no cache.
Portela
-
Aumentando a velocidade de acesso ao cache do squid
Alguém pode me dar uma luz de como fazer para que os clientes não tenha sua banda controlada ao acessar arquivos do cache do squid. Atualmente não estou notando nenhuma aceleração nas páginas ou arquivos q já foram acessados por mim mesmo ou por outros usuários da rede.
O squid.conf tá assim:
# /etc/squid.conf
# Este é o principal arquivo de configuração do Squid.
# Esta versão incluída no Kurumin inclui apenas as opções mais usadas,
# comentadas de forma a facilitar a configuração. Se quiser ver o arquivo
# original incluído no pacote, leia o arquivo /etc/squid.conf.debian
# Comentários por Carlos E. Morimoto
http_port 3128
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY
cache_mem 256 MB
maximum_object_size_in_memory 300 KB
maximum_object_size 10 MB
minimum_object_size 0 KB
cache_swap_low 90
cache_swap_high 95
# >> Cache em disco <<
cache_dir ufs /var/spool/squid 512 64 64
# Arquivo onde são guardados os logs de acesso do Squid.
cache_access_log /var/log/squid/access.log
visible_hostname carnaubanet
# O e-mail que o Squid envia como senha ao acessar um servidor
# FTP anonimo:
ftp_user [email protected]
# >> Padrão de atualização do cache <<
refresh_pattern ^ftp: 100 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 100 20% 2280
# >> Controle de acesso <<
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 901 # SWAT
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
acl proibidos dstdom_regex "/etc/squid/proibidos"
http_access deny proibidos
#auth_param basic program /usr/lib/squid/ncsa_auth /etc/squid/squid_passwd
#acl autenticados proxy_auth REQUIRED
#http_access allow autenticados
http_access allow all
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_uses_host_header on
-
Aumentando a velocidade de acesso ao cache do squid
cara...
tipo... uma dica q te dou, mude de distro, talvez slackware seja melhor, pois é mais leve e mais rápido...
como o xstefanox disse, vc poderia colocar um disco SCSI para o cache, o problema é o valor do investimento, mas para substituir este coloque outro HD neste micro na IDE2 e use raid, acho q é RAID 10 q grava nos dois ao mesmo tempo, assim se um arquivo demora 10s pra ser gravado no servidor com raid irá demorar 5s...
valew
-
Aumentando a velocidade de acesso ao cache do squid
olha pessoal aki nos serv de proxy meu são dual xeom 3.0 scsi de 15000rpm e 4gm de memoria o que eu falo usar bastante memoria no hd eu coloco 2 gb pois se colocar mais naum adianta ele fica mais lento
agora a ideia de como vc reitar o controle do cbq no proxy
tenta criar uma regra no cbq que libere velocidade na porta do squid
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por Benatto
agora a ideia de como vc reitar o controle do cbq no proxy
tenta criar uma regra no cbq que libere velocidade na porta do squid
cara...
não sou eu q esotu precisando mas gosto de aprender novas técnicas...
como seria isso?? por marcação de pacotes especificando a porta??
assim qdo a conexão for solicidada a porta do quid esta não teria controle de velocidade??
mas e as requisições q o squid irá fazer??
valew
-
Aumentando a velocidade de acesso ao cache do squid
o seu cache tem ser mais rapido do que baixar da internet senao nao adianta neh? leva 0,5s para trazer do cache e 0,3s para trazer da internet, tudo varia de acordo com seu link inclusive.
outra coisa, um cache dir muito grande vai atrapalhar, entretanto nao necessariamente voce precisa de um scsi mais se dizer mais de um disco jah ajuda, e so fazer varios cache_dir separados em varios discos que concerteza fica bala, mas se for em scsi melhor ainda... mas ai vai do custo x beneficio, mas faca essa analise do custo/tempo x cache/internet e ajuste o seu squid de acordo.
-
Aumentando a velocidade de acesso ao cache do squid
Caro Benatto obrigado pela dica,
ainda não tenho experiencia suficiente para trabalhar com o slackware, você poderia dar um exemplo de como posso fazer para criar um regra no CBQ para que libere mais banda para o acesso ao cache.
Portela
-
Aumentando a velocidade de acesso ao cache do squid
opa amigo eu numca fiz isto mais vou presquisar para vc
-
Aumentando a velocidade de acesso ao cache do squid
tem um artigo para voce aumentar em 70 % a velocidade do cache!
So que eu nao consegui faze-lo!
Tem que recompilar o kernel de uma maneira mais cabulosa adicionando uns modulos nele!! e eu so frago compilar pelo make menuconfig! Maso artigo 'e esse::
http://www.vivaolinux.com.br/artigos...hp?codigo=1833
-
Aumentando a velocidade de acesso ao cache do squid
sim ja usei ele é bom mesmo
-
Aumentando a velocidade de acesso ao cache do squid
mais agora eu tb naum lembro a onde coloca as opcoes quando eu fiz isto foi no kernel 2.4 agora no 2.6 naum sei onde axar no menuconf e nem como adicionar no .config
-
Aumentando a velocidade de acesso ao cache do squid
E teria como vc nos falar aonde achar essas opcoes no 2.4.XX?
Pq eu tb tenho vontade de implementar essa tecnica
valeu
-
Aumentando a velocidade de acesso ao cache do squid
po naum lembro
to tentando adicionar na mao ele
vc tem o kernek 2.4 ai
posta o .config dele
-
Aumentando a velocidade de acesso ao cache do squid
fica no .config? vou dar uma procurada nele.... achando ou nao eu posto aqui !!! valeu
-
Aumentando a velocidade de acesso ao cache do squid
seguinte eu axei no kernel a onde mudar os msg* e shm*
são eles /usr/src/fonte do kernel/include/kernel/msg.h
e usr/src/fonte do kernel/include/kernel/shm.h
agora o SYSVMSG eu naum axei
-
Aumentando a velocidade de acesso ao cache do squid
isso ai eu achei num artigo tb ... mas sem colocar o modulo que vc nao achou funciona?
-
Aumentando a velocidade de acesso ao cache do squid
esta foi minha ideia
mais eu naum to no meu laboratorio
naum mtenho como testar
eu axo qeu vai funcionar
-
Aumentando a velocidade de acesso ao cache do squid
mas tipo . .fazer funcionar vc nunca fez? 'e so uma ideia?
-
Aumentando a velocidade de acesso ao cache do squid
quando eu fiz no 2.4 eu naum lembro de ter ativado SYSVMSG
-
Aumentando a velocidade de acesso ao cache do squid
pessoal eu tentei instarlar o squid com o diskd
ele instalou tudo certinho criou cache tudo certinho
mais o squid quando levantado ficar uns 15 segundo e cai
-
squid
tche, seguinte, como voce esta controlando a banda do cara.. o squid nao vai adiantar mtu, pois voce tem um link de 512 entrando, e controla a 128 na saida. beleza, voce colocando um squid, ele vai sair a 128 iguall saco ? o teu cliente nao vai sentir diferenca praticamente, a unica coisa que isso vai te ajudar, eh liberar um pouco do teu link de 512... por que dai sempre que um pinta for acessar um site, ele nao precisa baixar ele denovo, jah vai ter no cache... assim voce tem mais link sobrando.
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por Benatto
pessoal eu tentei instarlar o squid com o diskd
ele instalou tudo certinho criou cache tudo certinho
mais o squid quando levantado ficar uns 15 segundo e cai
cara...
configurei o squid aqui pra usar o diskd e funfou normalmente...
uso slack 10.2
e não precisei fazer mais nada...
valew
-
Aumentando a velocidade de acesso ao cache do squid
como vc fez a instalacao do squid e a conf dele
vc pode passar
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por Benatto
como vc fez a instalacao do squid e a conf dele
vc pode passar
cara..
instalei o squid por arquivo tgz
squid-2.5.STABLE11-i486-1maew.tgz
a configuração de cache está assim:
cache_dir diskd /var/lib/squid/cache 256 32 128 Q1=64 Q2=72
valew
-
Aumentando a velocidade de acesso ao cache do squid
o erro nata no squid conf meu
agora ta rodando
amigo cv sentiu alguma diferença usando diskd ???
-
Aumentando a velocidade de acesso ao cache do squid
cara..
existe algum tipo de teste q se pode fazer pra medir o desempenho do squid?
pois estes testes q faço são aqui em casa, e tem apenas um micro navegando...
então não tem como notar a diferença...
-
Aumentando a velocidade de acesso ao cache do squid
bem.. aqui em casa eu tb so tinha um micro e pra testar se o squid tava a fazer cache foi simples, fiz o seguinte
$ dd if=/dev/random of=squid.img bs=1M count=2024
em cima eu criei um ficheiro de lixo com 2mb, dps enviei ele para um FTP na internet..... depois configurei o browser para usar proxy (caso ele n seja transparente) seguidamente fiz download desse arquivo via http...
a primeira vez ele demorou um pouco, pois ainda n tava em cache..
dps limpei a cache do firefox (browser) e voltei a fazer download do arquivo de lixo via http.... aí ele demorou cerca de 1 segundo.. se tanto.. pra completar o download, concluí que estava a funcionar correctamente :)
Agora se vc quiser monitorziar o desemepnho do squid, sempre pode comepilar ele com a opção de snmp no ./configure e monitoriza-lo via MRTG ;)
Um abraço[]
-
Aumentando a velocidade de acesso ao cache do squid
-
Aumentando a velocidade de acesso ao cache do squid
Pessoal para a alteração desses parametros não precisa recompilar o kernel, tudo pode ser feito pelo sistema de arquivos proc, tudo on-the-fly com o sistema rodando, basta para isso entrar em /proc/sys/kernel/ e lá dentro procurar o parametro que vc quer alterar, por exemplo para alterar a variavel msgmni basta fazer:
echo 32 > /proc/sys/kernel/msgmni
E pronto, variavel alterada, utilizo isso nos meus servidores com conectiva 9, utilizo squid + diskd + sarg em varias maquinas, cada maquina atende em media 500 usuarios, no squid.conf uso cache de 12gb em cada maquina, velocidade de acesso excelente, quase instantaneo, as maquinas são p4 3000 com 1gb de memoria e hds IDE mesmo de 40gb cada, acesso normalmente em qualquer hora, sem perca de performance.
Flw.
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por Portela
Caro Benatto obrigado pela dica,
ainda não tenho experiencia suficiente para trabalhar com o slackware, você poderia dar um exemplo de como posso fazer para criar um regra no CBQ para que libere mais banda para o acesso ao cache.
Portela
Tb estou precisando fazer os usuários passarem direto pela limitação do cbq qdo um objeto já estiver armazenado em cache. Alguma dica?
-
Aumentando a velocidade de acesso ao cache do squid
Bem, eu estou usando esse mesmo esquema de cache diskd.
Realmente muito bom. Utilizo 4 discos, 1 ide + 3 scsi, utilizo o ide para o sistema operacional (freebsd) e os outros 3 discos scis fazendo cache (4Gb cada).
Minha performace foi surpreendente mesmo. Tenho um grafico no mrtg que me da estatiscas de resquests/hits/cache antes de implantar essa tatica. MInha media era 2500 requests/min e depois dessa ampliação pulou para quase 4000 requests/min.
O processador e quantidade de memoria ram não foram alterados. Somente foi feito a implantação de mais discos. (Xeon 2.5GHz 1Gb ram)
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por TheHawk
Pessoal para a alteração desses parametros não precisa recompilar o kernel, tudo pode ser feito pelo sistema de arquivos proc, tudo on-the-fly com o sistema rodando, basta para isso entrar em /proc/sys/kernel/ e lá dentro procurar o parametro que vc quer alterar, por exemplo para alterar a variavel msgmni basta fazer:
echo 32 > /proc/sys/kernel/msgmni
E pronto, variavel alterada, utilizo isso nos meus servidores com conectiva 9, utilizo squid + diskd + sarg em varias maquinas, cada maquina atende em media 500 usuarios, no squid.conf uso cache de 12gb em cada maquina, velocidade de acesso excelente, quase instantaneo, as maquinas são p4 3000 com 1gb de memoria e hds IDE mesmo de 40gb cada, acesso normalmente em qualquer hora, sem perca de performance.
Flw.
Tentei fazer isso aqui e não consegui, nesse arquivo oque tem dentro dele é só o numero 16, mudei para 32 mas ele não aceita que salve, o que devo fazer?
-
Aumentando a velocidade de acesso ao cache do squid
Basta fazer esse comando que eu disse acima, com isso ele altera a variavel, somente... qual o seu linux
-
Aumentando a velocidade de acesso ao cache do squid
Vcs falaram bastante em tamanho de cache no squid eu uso o squid com um cache de 2gb -> 2000 64 64 minha maquina é um p4 2.4 com hd SATA bem rapido .... nunca notei diferença em preformance ... tem 1gb de memoria e funciona muito bem ...
abraço.
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por TheHawk
Pessoal para a alteração desses parametros não precisa recompilar o kernel, tudo pode ser feito pelo sistema de arquivos proc, tudo on-the-fly com o sistema rodando, basta para isso entrar em /proc/sys/kernel/ e lá dentro procurar o parametro que vc quer alterar, por exemplo para alterar a variavel msgmni basta fazer:
echo 32 > /proc/sys/kernel/msgmni
E pronto, variavel alterada, utilizo isso nos meus servidores com conectiva 9, utilizo squid + diskd + sarg em varias maquinas, cada maquina atende em media 500 usuarios, no squid.conf uso cache de 12gb em cada maquina, velocidade de acesso excelente, quase instantaneo, as maquinas são p4 3000 com 1gb de memoria e hds IDE mesmo de 40gb cada, acesso normalmente em qualquer hora, sem perca de performance.
Flw.
cara..
mas tem um porém..
se nao recompilar o kernel, algumas variáveis necessárias não serão encontradas no proc...
depois q fi o q vc escreveu fui procurá-las no proc pra poder fazer as alterações, mas algumas não encontrei...
pelo jeito somente com a recompilação..
mas tbm não recompilei o kernel pra ver... meu proxy aqui tá com uns probleminhas por isso q nao fiz ainda..
valew
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por TheHawk
Basta fazer esse comando que eu disse acima, com isso ele altera a variavel, somente... qual o seu linux
Uso o redhat 9.0
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por valeonline
Citação:
Postado originalmente por TheHawk
Basta fazer esse comando que eu disse acima, com isso ele altera a variavel, somente... qual o seu linux
Uso o redhat 9.0
cara..
como citado acima
# echo 32 > /proc/sys/kernel/msgmni
mas vc precisa fazer isso todas as vezes q o micro for reiniciado, ou recompile o kernel pra q o valor nao seja alterado...
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por lucianogf
Citação:
Postado originalmente por valeonline
Citação:
Postado originalmente por TheHawk
Basta fazer esse comando que eu disse acima, com isso ele altera a variavel, somente... qual o seu linux
Uso o redhat 9.0
cara..
como citado acima
# echo 32 > /proc/sys/kernel/msgmni
mas vc precisa fazer isso todas as vezes q o micro for reiniciado, ou recompile o kernel pra q o valor nao seja alterado...
O que agiliza este comando ??? o que fica mais rapido ??
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por smvda
Citação:
Postado originalmente por lucianogf
Citação:
Postado originalmente por valeonline
Citação:
Postado originalmente por TheHawk
Basta fazer esse comando que eu disse acima, com isso ele altera a variavel, somente... qual o seu linux
Uso o redhat 9.0
cara..
como citado acima
# echo 32 > /proc/sys/kernel/msgmni
mas vc precisa fazer isso todas as vezes q o micro for reiniciado, ou recompile o kernel pra q o valor nao seja alterado...
O que agiliza este comando ??? o que fica mais rapido ??
isto seria pra poder utilizar o diskd, mas tem outras variáveis além dessa
tem q ver no tutorial do squid com diskd pra ver quais são as variáveis...
de cabeça nao lembro
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por lucianogf
Citação:
Postado originalmente por smvda
Citação:
Postado originalmente por lucianogf
Citação:
Postado originalmente por valeonline
Citação:
Postado originalmente por TheHawk
Basta fazer esse comando que eu disse acima, com isso ele altera a variavel, somente... qual o seu linux
Uso o redhat 9.0
cara..
como citado acima
# echo 32 > /proc/sys/kernel/msgmni
mas vc precisa fazer isso todas as vezes q o micro for reiniciado, ou recompile o kernel pra q o valor nao seja alterado...
O que agiliza este comando ??? o que fica mais rapido ??
isto seria pra poder utilizar o diskd, mas tem outras variáveis além dessa
tem q ver no tutorial do squid com diskd pra ver quais são as variáveis...
de cabeça nao lembro
Lucianogf tem sim outros parametros, mas por exemplo no meu caso, uso o conectiva, no conectiva os outros parametros já está com os valores corretos, o unico valor que precisa ser alterado é esse ai acima, vai de distribuição para distribuição, é preciso checar sua distribuição e ver quais parametros não se enquadram.
Flw.
-
Aumentando a velocidade de acesso ao cache do squid
Ops deu um erro aqui e a mensagem ficou repetida. Foi mal.
-
Aumentando a velocidade de acesso ao cache do squid
-
Aumentando a velocidade de acesso ao cache do squid
ahh sim..
nao tinha visto qual distro vc usa
aqui no proxy uso o slack 10.2
-
Aumentando a velocidade de acesso ao cache do squid
Citação:
Postado originalmente por lucianogf
Citação:
Postado originalmente por valeonline
Citação:
Postado originalmente por TheHawk
Basta fazer esse comando que eu disse acima, com isso ele altera a variavel, somente... qual o seu linux
Uso o redhat 9.0
cara..
como citado acima
# echo 32 > /proc/sys/kernel/msgmni
mas vc precisa fazer isso todas as vezes q o micro for reiniciado, ou recompile o kernel pra q o valor nao seja alterado...
Luciano e se incluir o comando no rclocal não resolveria, pra não ter que digitar toda vez que reinicia o micro.