Servidor Proxy Squid lento

[cleciorodrigo]

Amigos estou tendo um grande problema aqui estou a configurar um servidor de proxy em Corel 2 Duo, com 2Gb de Ram e HD Sata2 de 150Gb, porem o proxy esta muito lento, segue abaixo o meu squid.conf se alguem tiver uma dica fico muito grato

acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT

http_access allow manager localhost
http_access deny manager

# Deny requests to unknown ports
http_access deny !Safe_ports
# Deny CONNECT to other than SSL ports
http_access deny CONNECT !SSL_ports

acl rede src 200.153.55.0/25
http_access allow rede

http_access allow localhost
http_access deny all
icp_access allow all

# Squid normally listens to port 3128
http_port 8080 transparent

#We recommend you to use at least the following line.
hierarchy_stoplist cgi-bin ?

cache_mem 512 MB

maximum_object_size_in_memory 32 KB

cache_dir ufs /var/spool/squid 20000 32 256

minimum_object_size 0 KB

maximum_object_size 64 KB

cache_swap_low 90
cache_swap_high 95

access_log /var/log/squid/access.log squid

pid_filename /var/run/squid.pid

ftp_user [email protected]
ftp_passive on

#We recommend you to use the following two lines.
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY

#Suggested default:
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320

# Apache to signal ETag correctly on such responses
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache

ie_refresh on

#Default:
cache_effective_user squid

visible_hostname proxy.velbras.com.br

unique_hostname proxy.velbras.com.br

icon_directory /usr/share/squid/icons

error_directory /usr/share/squid/errors/Portuguese

dns_nameservers 189.20.243.27 201.63.34.130

append_domain .velbras.com.br

coredump_dir /var/spool/squid

Abraços

Clecio

[alexandrecorrea]

primeiro...

cache_mem muito alto.. abaixa pra 64mb ...

outra coisa

maximum_object_size 64 KB

voce ta limitando o cache do squid em objetos de 64k .. .. o que for maior que 64k.. nao faz cache..

passa esse valor ai pra 250 MB ...

...

[arium]

cache_dir ufs /var/spool/squid 20000 32 256

usa diskd tbm

[cleciorodrigo]

Alexandre Correa obrigado por sua colaboração farei as alterações e irei testar, porem fiz uma pesquisa no forum, sobre o squid estar consumindo toda a memoria da maquina, em uma das respostas vc mencionou que se deve limitar para o squid 25% da memoria disponivel.
Mesmo esta maquina sendo um Corel 2 Duo com 2Gb de Ram??

Abraços

Clecio

primeiro...

cache_mem muito alto.. abaixa pra 64mb ...

outra coisa

maximum_object_size 64 KB

voce ta limitando o cache do squid em objetos de 64k .. .. o que for maior que 64k.. nao faz cache..

passa esse valor ai pra 250 MB ...

...

[cleciorodrigo]

Amigo vou pesquisar sobre o diskd obrigado pela dica

Abraços

Clecio

usa diskd tbm

[arium]

amigao.. o squid consome mesmo! ele vai "roubando" o excesso de memoria e utilizando!! o importante é não fazer swap! normalmente ele fica com de 10 a 70mb livre de memória só

Abraços

[arium]

á sobre a memoria... tenho mesmo hardware que vc no meu squid! core 2 duo com 2GB ... uso 200mb de cache_mem.. tá redondinho e ainda uso antivirus! testae os lance qqr coisa posto minha conf inteira aqui pra vc abraço

[alexandrecorrea]

o cache_mem nao limita o total de memoria q o squid consome.. mas sim o espaço que ele vai usar para manter ubjetos em TRANSITO.... 64mb a 128 ja sao suficientes...


outra coisa.. troca la o UFS para AUFS ... diskd esta sendo abandonado por gerar mto I/O de disco !!!

[alexandrecorrea]

se o servidor for dedicado para squid.. voce pode fazer assim

cache_mem 512 MB

maximum_object_size_in_memory 1024 Kb

... ai o "pau moe" hehehe :P

mas servidor tem q estar dedicado..

outro fator importantissimo.... HD DEDICADO PARA O CACHE !!

[arium]

concordo que gera mais IO... heheheh e como gera fdp é ele :P !!!

mais responde mais rapido não acha mano velho?!

pelomenos nos testiculo que fiz aqui hehehe

[alexandrecorrea]

nao.. aufs eh bemmmmmm melhor.. trabalha em threads e asincronas... entao fica aassim a ordem

ufs (deve ser usado se vc tem 5 a 8 requisições por segundo)
diskd
AUFS
COSS <- este ta experimental... usa um 'flat file' para armazenar os objetos.. recomendado para arquivos pequenos...'


aqui eu faço assim

um storage coss para armazenar objetos pequenos (128k ou menores) ... e quando objetos forem maior.. vao para o outro cache_dir que é aufs

[arium]

legal teu esquema! tah com que tamanho de cache ae e quantas requisiçoes por segundo?


aqui tem horas que trabalho com perto de 200 requisições.. por enquanto tah rendondão mais vai sabe o futuro hehehe..

[alexandrecorrea]

por onde tu mediu quantas req/s ?

o cachemgr mostra POR MINUTO !!

aqui da 11.500 req/m .. ou seja.. 191 req/s

consumindo 5gb de ram + cache_mem... 2 hd sas 15.000 rpm, freebsd 6.3 amd64

[arium]

se dah por minuto divide-se por 60 ..
mais assim meu cache é pequeno como disse nao gosto de cache grande! 10gb de cache... uso mais pra winupdate paginas + acessadas + essas tranqueragem.. tbm não faço cache de get_video e quando aperta crio delay pools pro youtube .. já que cada user na rede tbm é um cache só não é shared :-)

a finalidade PRINCIPAL do meu squid é servir de parent-proxy pro http antivírus... que hj roda clamav... mais mais sedo possivel quero trocar pro kaspersky.. assim que e tiver como utilizar as libs ao invez de sockets (que tem que pagar por cada socket :/ )

mais bem tá legalzinho pro meu uso!

Abração irmão!

[arium]

outra baita dica ae pro nosso amigo


MONTE A PARTIÇAO DO CACHE COMO NOATIME!!!!!!!

isso vale ouro :P

[cleciorodrigo]

Amigos com as alterações sugeridas pelos amigos houve uma melhora porem ainda não estou satisfeito pois o desempenho ainda esta menor, que o do proxy que tenho rodando hoje no mikrotik. Teria mais alguma sugestão de alteração ou configuração, ja esta rodando com diskd, alterei o cache_men, e as demais configurações sujeridas

Abraços

Clecio

[arium]

pega meu msn e adiciona que trocamos umas ideias!

Abraçao amigo!

[terencerocha]

64mb para cada gb cacheado...
com 512mb coloca 8gb de cache

[danielrcom]

Pra um servidor Squid que atende 60 usuários, 40 em full-time, qual o melhor "cache_dir"?

diskd, ufs ou aufs?

Características:

Disk size: 34.42 GB | Make and model: SEAGATE ST336938LW | Cylinders: 4493
CPU type: AMD Sempron(tm) 2400+ (1658 MHz)
CPU load averages: 0.00 (1 mins) , 0.03 (5 mins) , 0.00 (15 mins)
Real memory: 504.86 MB total / 231.95 MB free Swap space: 956.96 MB total / 956.92 MB free

[glaucioklipel]

Clécio, duas coisas:

Segue a dica e usa diskd mesmo e aumenta os valores conforme a dica tb.

Separe em uns 5 diretorios de cache e se possível, faça a cache em um HD secundario. O squid gera bastante IO de disco.

Ex.:

/dev/hda2 = /
/dev/hdb1 = /var/spool/squid

cache_dir diskd /var/spool/squid/cache1 400 16 256 Q1=64 Q2=72
cache_dir diskd /var/spool/squid/cache2 400 16 256 Q1=64 Q2=72
cache_dir diskd /var/spool/squid/cache3 400 16 256 Q1=64 Q2=72
cache_dir diskd /var/spool/squid/cache4 400 16 256 Q1=64 Q2=72
cache_dir diskd /var/spool/squid/cache5 400 16 256 Q1=64 Q2=72

Altere também esses dois valores:

memory_replacement_policy;
cache_replacement_policy.

Ambos são configurados por padrão em 'lru', altere o primeiro para 'heap LFUDA' e o segundo para 'heap GDSF'.

Após ter feito essas alterações, reinicie o squid. Mas pode ser que ele dê algum erro, então não inicie por scripts, inicie pelo executável e ative modo de debug. Os dois possíveis erros são relacionados ao 'diskd' e a política 'heap'. Caso isso aconteça, recompile o seu squid com mais essas linhas:

--enable-removal-policies="heap lru" --enable-storeio="diskd ufs" (no enable-storeio pode colocar também pra futuras alterações assim "diskd aufs coss ufs")

Creio que isso dê uma bela diferença no seu proxy.

Abraços e posta aí se deu resultado todas as dicas da galera!