Preciso atimizar meu proxy

[tuxson]

Ola para todos...

To com um problemasso na minha rede, aki eu tenho um link ADSL de 800K, quando tem no maximo 10 pessoas fica blz, = qd chega a ter umas 30 pessoas conectadas a internet fica lentissima, a rede fisica ta blz...

Ai eu resolvi fazer um proxy com o squid e montei uma maquina com as seguintes configurações, Semprom 2.8 64b, 1GRam Kingston, 2 placas de rede 3Com e Hd de 80GB 7200RPM...

Minha distribuição: Slackware 10.2 com Squid 2.5.STABLE14

Meu squid.conf...

# Porta padrao de comunicacao
http_port 3128

# Comunicacao entre outros proxys
icp_port 3130

hierarchy_stoplist cgi-bin ?

acl QUERY urlpath_regex cgi-bin \?

no_cache deny QUERY

# Cache em memoria
cache_mem 700 MB

# Frequencia de atualizacao do cache, qt menor menos ele busca atualizacao na internet
cache_swap_low 90
cache_swap_high 95

# Tamanho maximo do arquivo que e armazenado em cache
maximum_object_size 9000 KB

# Tamanho do espaco em disco para cache, diretorios e sub-diretorios para cache
cache_dir ufs /var/cache/squid 5000 16 256

# LOcal para armazenar os logs de acesso
cache_access_log /var/log/squid/access.log

# Local para gravar o log de tudo o que foi consultado no cache
cache_log /var/log/squid/cache.log

#
cache_store_log /var/log/squid/store.log

# Logar o numero do processo do proxy
pid_filename /var/log/squid/squid.pid

auth_param basic children 5

auth_param basic realm Autenticação - Entre com sua senha de acesso!

auth_param basic credentialsttl 2 hours

auth_param basic casesensitive off

refresh_pattern ^ftp: 1440 20% 10080

refresh_pattern ^gopher: 1440 0% 1440

refresh_pattern . 0 20% 4320

acl all src 0.0.0.0/0.0.0.0

acl manager proto cache_object

acl localhost src 127.0.0.1/255.255.255.255

acl to_localhost dst 127.0.0.0/8

acl SSL_ports port 443 563

acl Safe_ports port 80 # http

acl Safe_ports port 21 # ftp

acl Safe_ports port 443 563 # https, snews

acl Safe_ports port 70 # gopher

acl Safe_ports port 210 # wais

acl Safe_ports port 1025-65535 # unregistered ports

acl Safe_ports port 280 # http-mgmt

acl Safe_ports port 488 # gss-http

acl Safe_ports port 591 # filemaker

acl Safe_ports port 777 # multiling http

acl CONNECT method CONNECT

# IPs da rede local
acl redes_locais src "/scripts/proxy/redes_locais"

# Lista de sites porno
acl porno dstdomain "/scripts/proxy/porno"

# Lista de sites que contem palavras proibidas
acl palavras url_regex -i "/scripts/proxy/palavras.txt"

http_access allow manager localhost

http_access deny manager

http_access deny !Safe_ports

http_access deny CONNECT !SSL_ports

# Bloqueia sites porno
http_access deny porno

# Bloqueia palavras
http_access deny palavras

# Libera a rede
http_access allow redes_locais

# Libera tudo
http_access allow all

http_reply_access allow all

icp_access allow all

# Define o tamanho maximo da pagina
reply_header_max_size 20 KB

# Define o tamanho maximo do corpo da pagina (limite de download)
reply_body_max_size 0 allow all

# Administrador do sistema
cache_mgr sca@[email protected]

# Usuario e grupo do proxy
cache_effective_user proxy
cache_effective_group proxy

# Nome do servidor que aparece pro cliente
visible_hostname srvsol

# Mensagens de erro em portugues
error_directory /usr/local/squid/share/errors/Portuguese

# Proxy transparente
httpd_accel_host virtual
httpd_accel_port 80
#httpd_accel_single_host off
httpd_accel_with_proxy on
httpd_accel_uses_host_header on
#logfile_rotate 7
coredump_dir /var/cache/squid

Gostaria de saber se tem algo mais onde posso melhorar ainda mais meu desempenho, da uma analizada por favor na configuração da minha maquina se ta legal e no script se tem algo mais q eu possa melhorar....

Agradeco a todos pela colaboracao...

[djhulk]

caramba, vc tem um baita servidor...
tenho um servidor Duron 1100 c/ 128mb ram, rodando squid e apache.

compilei o kernel 2.6.14
tenho 15 clientes pindurados... e acl com mais de 1000 sites.
a memoria fica em torno de 90% ocupada...
minha linha de mem_cache ta 5MB é claro...
mais acho q vc bota 700MB é mto...

e recomendo vc a compila o kernel... é mto facil... (pelomenos no debian) compila o 2.6.14 ou o ultimo 2.6.16

é isso cara...
[]'s

ahh.. e eu nao descomentei as acl safe ports... nao vi necessidade alguma. (talvez até a 443 )

[tuxson]

Kra pra vc v e mesmo assim qd chega a ter + ou - 30 clientes a internet fica lentissima...

O q sera q pode ser?

[netosdr]

Caro colega tuxson,

Acredito que 700 MB é muita coisa pra colocar no cache do SQUID. Ele não consegue gerenciar efecientemente tanta informação e acaba ficando lento mesmo, apesar de ter uma máquina boa mas não adequada a esse volume de cache. É aconselhado ter a metade da memoria RAM como cache principal. (cache_mem 512 MB)
Já o tamanho máximo de cada objeto no cache acredito que vc pode diminuir esse valor a não ser que toda sua rede faça download de arquivos grandes, várias máquinas, por exemplo o AVG para atualizar pega arquivos de 3 ou 4 MB por cada vez que atualiza. Esse arquivo estando no cache vc acelera o processo e diminui a carga sobre o link.
Aconselho vc a colocar o valor padrão que já é de bom tamanho (maximum_object_size 4096 KB).
Em síntese acredito tb que um link de 800 kbps suporta bem até 20 clientes, acima realmente ele vai ficar sobrecarregado, garantindo-se uma banda de 40kbps para cada cliente.
Aproveite e verifique seu proxy, vc não disse como está mas é aconselhado fazer o controle de banda com delay pools para garantir a qualidade do acesso e o controle para que somente um usuário não consuma a banda de vários ao mesmo tempo.

É somente minha opnião, seria bom o pessoal dar as sugestões para o seu caso.

Espero ter ajudado.

Abraço!

[PatrickBrandao]

- cache_dir aufs é melhor
- quando mais acl's, mais lento, eu deixo sem nenhuma acl e protejo o acesso ao squid pelo iptables
- discos de acesso rápido (sata, scsi)
- memoria de acesso rápido
- super processador(es)

[Bruno]

amigo

# Libera tudo
http_access allow all

assim vc ta liberando qualquer rede a user seu proxy

isto naum é legal

vc ja tentou usar um controle de banda ????

[xstefanox]

Putz... perae, perae gente... vamos com calma...

Caro colega tuxson,

Acredito que 700 MB é muita coisa pra colocar no cache do SQUID. Ele não consegue gerenciar efecientemente tanta informação e acaba ficando lento mesmo, apesar de ter uma máquina boa mas não adequada a esse volume de cache. É aconselhado ter a metade da memoria RAM como cache principal. (cache_mem 512 MB)
Já o tamanho máximo de cada objeto no cache acredito que vc pode diminuir esse valor a não ser que toda sua rede faça download de arquivos grandes, várias máquinas, por exemplo o AVG para atualizar pega arquivos de 3 ou 4 MB por cada vez que atualiza. Esse arquivo estando no cache vc acelera o processo e diminui a carga sobre o link.
Aconselho vc a colocar o valor padrão que já é de bom tamanho (maximum_object_size 4096 KB).
Em síntese acredito tb que um link de 800 kbps suporta bem até 20 clientes, acima realmente ele vai ficar sobrecarregado, garantindo-se uma banda de 40kbps para cada cliente.
Aproveite e verifique seu proxy, vc não disse como está mas é aconselhado fazer o controle de banda com delay pools para garantir a qualidade do acesso e o controle para que somente um usuário não consuma a banda de vários ao mesmo tempo.

É somente minha opnião, seria bom o pessoal dar as sugestões para o seu caso.

Espero ter ajudado.

Abraço!

Embora uma penca de gente ache que a diretiva cache_mem controle a memória máxima de um processo do Squid, tá todo mundo com preguicinha de ler o arquivo de configuração. Todo mundo segue receitas de bolo e ninguém sabe o quê tá fazendo. Por isso que quando dá pau postam mensagens do tipo "Socorropelamordesatanásquemeutroçoaquiparou!". Inclusive isso está comentado em letras bem garrafais no squid.conf...

A diretiva cache_mem controla a memória adicional a ser utilizada para manter objetos em cache, sobretudo objetos em trânsito, aplicativos do tipo cgi-bin e objetos que não estão em cache. Não adianta nada você botar 500 GB de RAM no seu servidor e destes 500 colocar 496 GB pro Squid porque tu nunca vai gerenciar esse tamanho total de arquivos.

Claro que existem casos e casos, mas eu mantenho um proxy que atende 300 clientes com o cache_mem setado para 64 MB. O acesso é rápido e a máquina é simples.

- cache_dir aufs é melhor
- quando mais acl's, mais lento, eu deixo sem nenhuma acl e protejo o acesso ao squid pelo iptables
- discos de acesso rápido (sata, scsi)
- memoria de acesso rápido
- super processador(es)

aufs não é melhor a partir do momento que você tem que fazer mais acessos ao disco, porque não existem objetos realmente na memória, ou seja: Você usa menos RAM e mais SWAP. Existem poucos casos onde aufs é melhor e são para outros sistemas UNIX-like.

Comentando o seu segundo comentário... se tu usa IPTables para tratar requisições para a internet, então pra quê ter um proxy? Existem serviços de apenas caching de páginas para a internet.

O quê a gente deve entender por "super processadores"?

O quê eu percebi também no seu arquivo de configuração é que você mantém um cache gigante né? Mas rapaz... tu não tem noção do quão isso deixa o serviço lento. Diminua esses valores para algo mais mortal... deixa a linha assim:

cache_dir ufs /var/spool/squid 512 8 128

Certifique-se que ninguém que não deveria estar usando seu proxy está.

amigo

# Libera tudo
http_access allow all

assim vc ta liberando qualquer rede a user seu proxy

isto naum é legal

vc ja tentou usar um controle de banda ????

Isso é importante! Mas se ele limitar o relay do Squid, ele tem que se preocupar menos, a partir do momento que ele pode especificar os "favores" e "tratamentos especiais" antes da ACL all. =)


Um abraço e estamos aí pra tirar as dúvidas.

[netosdr]

Colega xstefanox,

Ninguém em algum momento disse que cache_mem controla quanto o processo pode consumir de memória, vc se enganou.
Como foi dito controla objetos armazenando-os EM DISCO para agilizar o acesso.
Concluindo, quanto mais clientes, teoricamente mais sites diferentes serão acessados,
e quanto mais sites, mais objetos serão armazenados.

Um abraço!

[xstefanox]

Colega xstefanox,

Ninguém em algum momento disse que cache_mem controla quanto o processo pode consumir de memória, vc se enganou.
Como foi dito controla objetos armazenando-os EM DISCO para agilizar o acesso.
Concluindo, quanto mais clientes, teoricamente mais sites diferentes serão acessados,
e quanto mais sites, mais objetos serão armazenados.

Um abraço!

Do arquivo squid.conf:

# TAG: cache_mem (bytes)
# NOTE: THIS PARAMETER DOES NOT SPECIFY THE MAXIMUM PROCESS SIZE.
# IT ONLY PLACES A LIMIT ON HOW MUCH ADDITIONAL MEMORY SQUID WILL
# USE AS A MEMORY CACHE OF OBJECTS. SQUID USES MEMORY FOR OTHER
# THINGS AS WELL. SEE THE SQUID FAQ SECTION 8 FOR DETAILS.
#
# 'cache_mem' specifies the ideal amount of memory to be used
# for:
# * In-Transit objects
# * Hot Objects
# * Negative-Cached objects
#
# Data for these objects are stored in 4 KB blocks. This
# parameter specifies the ideal upper limit on the total size of
# 4 KB blocks allocated. In-Transit objects take the highest
# priority.
#
# In-transit objects have priority over the others. When
# additional space is needed for incoming data, negative-cached
# and hot objects will be released. In other words, the
# negative-cached and hot objects will fill up any unused space
# not needed for in-transit objects.
#
# If circumstances require, this limit will be exceeded.
# Specifically, if your incoming request rate requires more than
# 'cache_mem' of memory to hold in-transit objects, Squid will
# exceed this limit to satisfy the new requests. When the load
# decreases, blocks will be freed until the high-water mark is
# reached. Thereafter, blocks will be used to store hot
# objects.

Infelizmente, cache_mem não tem nada a ver com armazenamento em disco, embora o Squid possua um cache, que é localizado para onde sua diretiva cache_dir aponta. Eu falei a respeito do tamanho excessivo que eu vi nas configurações porque estes tamanhos refletem um mau-entendimento da opção.

[tuxson]

Pessoal andei dando uma estudada e concordo com o q vcs postaram ai e assim fiaz algumas alteracaoes de algumas TAGs e vi um artigo interessante na internet tb sobre o diskd
http://www.vivaolinux.com.br/artigos...p?codigo=1833#
ai eu alterei algumas coisas e ficou assim:

cahe_mem 512MB
maximum_object_size 4096 KB
cache_dir diskd /var/cache/squid1 256 16 256 Q1=64 Q2=72
cache_dir diskd /var/cache/squid2 256 16 256 Q1=64 Q2=72
cache_dir diskd /var/cache/squid3 256 16 256 Q1=64 Q2=72
cache_dir diskd /var/cache/squid4 256 16 256 Q1=64 Q2=72
cache_dir diskd /var/cache/squid5 256 16 256 Q1=64 Q2=72
cache_dir diskd /var/cache/squid6 256 16 256 Q1=64 Q2=72

coredump_dir /var/cache/squid1
coredump_dir /var/cache/squid2
coredump_dir /var/cache/squid3
coredump_dir /var/cache/squid4
coredump_dir /var/cache/squid5
coredump_dir /var/cache/squid6

O q vcs acham dessas alteracoes, isso vai melhorar o desempenho?
Pq a rede ta um caos aki e uma escola d informatica ai qd fica com 30 acesos simultaneos num tem como dar aula, ai eu ja fiz o pedido d um link de 1M tb... e comprei uns switchs pra torcar uns hubs q tinha aki...

Obrigados a todos pela atencao...

[geofesteiro]

amigo so uma opniao que pode ajudar
na variavel

# Porta padrao de comunicacao
http_port 3128

coloca o ip da sua rede
ex
http_port 192.168.0.1:3128

e outra coisa vc verificou se seu proxy nao esta tendo accesos externo para navegacao ??

flow
espero ter ti ajudado

[tianguapontocom]

cara eu acho q seu servico ta lento por conta de download nos terminais, pq apartir de hoje vc nao passa a controlar a velocidade de download dos clientes? tbm concordo em q vc seto um grande gerenciamento de pstas no cache diminua aki eu tenho um servidor p4 1.8 com 512 de ram e hd de 40 meu squid ta com cache de 10gb por 16 128 aki pelo menos meu cache ta normal sem problemas de lerdeza na rede quando mudei pra linux e usei o squid a 1 ano todos os problemas por aki forao embora.
e concordo q vc nao deve pegar receitas feitas vc deve criar uma de acordo com sua nece....

[tuxson]

Kra ja fiz d tudo e problema persiste, ja fiz isso tb, pra vc ter ideia eu coloquei eles com 100K pra cada um....

Hora q tem + ou - 30 clientes simultaneos e fatal a internet fica inacessivel...

Ja to ficando quase doidod por causa disso pq como ja mencionei aki e uma escola de informatica ai qd chega a turma d internet o professor dispensa o pessoa e ai chefia fica irado.... Hoje chegou um kra la e falou q era pra mim colocar um Rwindows 2003 sever com o ISA server q resolveria + fala serio servidor com Linux e imbativel e inquestionavel... so q qd eu falo isso o kra so olha pra mim e fala "E tao bom q a internet ta do jeito q vc ta vendo..." fala serio + num desisti nao vo ate o fim to pesquisando aki e tudo mais....

se alguem puder me dar + alguma dica agradeco..

[tianguapontocom]

me tira uma duvida no seu firewall vc fez alguma regra redirecionando a porta 80 pra porta 3128 do squid?
posta ai seu firewall pra vermos se a algo de errado nele!
tipo se os clientes nao estao navegando sites pela porta 80 o squid nao ta servindo de nada.

[tuxson]

Kra pra vc ter ideia eu cheguei ao ponto de tirar o firewall e apenas colocar uma regra pra NAT e redirecionar pra porta 3128....

Ai num resolvel por fim coloquei so o NAT e ai coloquei o proxy manual em todas as maquinas e mesmo assim nada....

[tianguapontocom]

qual sua distro? qual a versao do squid q vc ta utilizado?

[tuxson]

Slackware 10.2

squid-2.5.STABLE14

[tianguapontocom]

cara qual sua distro? qual seu a versao de se squid?

[Super_Diaulas]

alguém pensou em usar o iptraf???
snifar a rede ????

ou olhar os acessos???/
de repente tua rede tá cheia de virus..... com smtp...e tá enviando email adoidado

bota um mrtg, só para ver se realmente se estão te fornecendo os 800k contratados...

use o iptraf e veja quais portas estão concentrando a maior parte da banda.....

use o comando netstat -n para verificar qnts máquinas tem grudadas no teu server.... se tiverem acessando a 3128, verifique se são máquinas da sua rede............

[geofesteiro]

outra coisa que me deixou incabulado que tipo de coneccao vc usa ?????
speed
provedor de radio
link direto
qual é responde ai
blz
pq ja vi este problema em AP dependendo da quantidade de usuario a AP num guenta tira esta duvida ai pra gente
valeuu