Lentidão internet com squid

[lfernandosg]

sempre usei o squid autenticado com a configuração abaixo mas tive que mudar de máquina por uma um pouco mais nova.rsss(P4. 2.8ghz/512mb/80GB sata)

e estava tudo bem até que essa semana os usuários que estavam navegando através do squid começaram reclamar de lentidão(diretoria fica fora doproxy)e quando adicionei as configurações do squid em minha máquina sentir logo a diferença...digitei:UOL - O melhor conteúdo já demorou mais do que o normal para aparecer a tela de usuário e senha(uso squid autenticado versão 2.7) e quando fui testar nosso link de 1mb dedicado embratel só estava dando 185kpbs para testar se realmente era o link tirei as conf do proxy do meu navegador e fui testar novamente(minha máquina está fora do proxy) entáo deu 895kpbs então vi que o problema estava no squid...vejam meu squid.con abaixo:



visible_hostname Debian Linux
http_port 3128 transparent
icp_port 0
#htcp_port 0
#mcast_groups 239.128.16.128
#tcp_outgoing_address 0.0.0.0
#udp_incoming_address 0.0.0.0
#udp_outgoing_address 0.0.0.0

# # hostname type port port options
# # -------------------- -------- ----- ----- -----------
# cache_peer parent.foo.net parent 3128 3130 [proxy-only]
# cache_peer sib1.foo.net sibling 3128 3130 [proxy-only]
# cache_peer sib2.foo.net sibling 3128 3130 [proxy-only]
#cache_peer hostname type 3128 3130
#icp_query_timeout 0
#maximum_icp_query_timeout 2000
#mcast_icp_query_timeout 2000
#dead_peer_timeout 10 seconds
#hierarchy_stoplist cgi-bin ?
#
#acl QUERY urlpath_regex cgi-bin \?
#no_cache deny QUERY
#alterado dia 29/07/08
#cache_mem 16 MB
#cache_swap_low 90
#cache_swap_high 95
maximum_object_size 40960 KB
#minimum_object_size 0 KB
#ipcache_size 1024
#ipcache_low 90
#ipcache_high 95
#fqdncache_size 1024
cache_dir ufs /var/spool/squid 256 16 256
cache_access_log /var/log/squid/access.log
#cache_log /var/log/squid/cache.log
#cache_log /dev/null-antigo
#cache_store_log /var/log/squid/store.log
cache_store_log none
# TAG: cache_swap_log
# Location for the cache "swap.log." This log file holds the
# metadata of objects saved on disk. It is used to rebuild the
# cache during startup. Normally this file resides in the first
# 'cache_dir' directory, but you may specify an alternate
# pathname here. Note you must give a full filename, not just
# a directory. Since this is the index for the whole object
# list you CANNOT periodically rotate it!
#
# If you have more than one 'cache_dir', these swap logs will
# have names such as:
#
# cache_swap_log.00
# cache_swap_log.01
# cache_swap_log.02
#
#cache_swap_log
#emulate_httpd_log off
#mime_table /etc/squid/mime.conf
#log_mime_hdrs off
#useragent_log none
#pid_filename /var/run/squid.pid
#debug_options ALL,1
#log_fqdn off
#client_netmask 255.255.255.255

#ftp_user Squid@
#ftp_list_width 32
##ftp_passive on
#cache_dns_program /usr/lib/squid/dnsserver
#dns_children 5
#dns_defnames off
#dns_nameservers 127.0.0.1
#unlinkd_program /usr/lib/squid/unlinkd
#pinger_program /usr/lib/squid/pinger
#redirect_program none
#redirect_children 5
#redirect_rewrites_host_header on

#authenticate_program /usr/bin/ncsa_auth /etc/squid/passwd
auth_param basic program /usr/lib/squid/ncsa_auth /etc/squid/passwd
auth_param basic children 3

#authenticate_program none
#authenticate_program /koewy/modules/firewall/bin/koewy_pam_auth-> antigo
#authenticate_children 3

authenticate_ttl 10 minutes


authenticate_ip_ttl 0

#wais_relay_host localhost
#wais_relay_port 8000
#request_header_max_size 10 KB
.
#request_body_max_size 1 MB
request_body_max_size 0 MB
#reply_body_max_size 0
#reply_body_max_size 0
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 10080

#reference_age 1 year
#quick_abort_min 16 KB
#quick_abort_max 16 KB
#quick_abort_pct 95
#negative_ttl 5 minutes
#positive_dns_ttl 6 hours
#negative_dns_ttl 5 minutes
#range_offset_limit 0 KB

#connect_timeout 120 seconds
#peer_connect_timeout 30 seconds
#siteselect_timeout 4 seconds
#read_timeout 15 minutes
#request_timeout 30 seconds
#client_lifetime 1 day
#half_closed_clients on
#pconn_timeout 120 seconds
#ident_timeout 10 seconds
#shutdown_lifetime 30 seconds

#acl myexample dst_as 1241
#acl password proxy_auth REQUIRED


#
#Defaults:
acl NO_AUTH url_regex -i '/etc/squid/no_auth_url'
acl BLOCK url_regex -i '/etc/squid/bloqueados'
#############MSN#########
acl bloqueiamsn url_regex -i "/etc/squid/bloqueiamsn"
#acl MSN url_regex -i '/etc/squid/msn'
#acl LIBERADOS_MSN proxy_auth roze fernando neide



acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 4243 563
acl Safe_ports port 80 21 443 563 70 210 1025-65535
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
acl NO_CACHE url_regex -i '/etc/squid/no_cache_url'
# TAG: http_access
# Allowing or Denying access based on defined access lists
#
# Access to the HTTP port:
# http_access allow|deny [!]aclname ...
#
# Access to the ICP port:
# icp_access allow|deny [!]aclname ...
#
# NOTE on default values:
#
# If there are no "access" lines present, the default is to allow
# the request.
#
# If none of the "access" lines cause a match, the default is the
# opposite of the last line in the list. If the last line was
# deny, then the default is allow. Conversely, if the last line
# is allow, the default will be deny. For these reasons, it is a
# good idea to have an "deny all" or "allow all" entry at the end
# of your access lists to avoid potential confusion.
#
#Default configuration:


http_access deny bloqueiamsn !g_liberado
#http_access allow PORTAS
#http_access allow EXTENSOES g_liberado
http_access deny EXTENSOES
#http_access allow g_liberado
#http_access deny NEGAEXE
#http_access allow MSN LIBERADOS_MSN
#http_access deny MSN
http_access allow NO_AUTH
http_access deny BLOCK


http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
#
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
#
http_access allow localhost
no_cache deny NO_CACHE
#USER:Fernando
acl u_fernando proxy_auth fernando
#Natasha
acl u_natasha proxy_auth natasha
#USER:Ademario
acl u_ademario proxy_auth ademario
#USER: haila
acl u_haila_url_allow url_regex -i "/etc/squid/u_haila_allow"
http_access allow u_haila u_haila_url_allow
acl u_haila_url_deny url_regex -i "/etc/squid/u_haila_deny"
http_access deny u_haila u_haila_url_deny

#USER: hiltevan
acl u_hiltevan_url_allow url_regex -i "/etc/squid/u_hiltevan_allow"
http_access allow u_hiltevan u_hiltevan_url_allow
acl u_hiltevan_url_deny url_regex -i "/etc/squid/u_hiltevan_deny"
http_access deny u_hiltevan u_hiltevan_url_deny


#USER: Neide
acl u_neide_url_allow url_regex -i "/etc/squid/u_neide_allow"
http_access allow u_neide u_neide_url_allow
acl u_neide_url_deny url_regex -i "/etc/squid/u_neide_deny"
http_access deny u_neide u_neide_url_deny

etc...


icp_access allow all
miss_access allow all
memory_pools off
forwarded_for off

e etc....


o que pode estar errado? então sem ter idéia tentei otimizar o squid descomentando o cache_mem e colocando com 16mb

e adicionando 5 diretório de cache com ufs mas piorou a situação...depois de dar um stop no squid e um squid -z quando restartei ai que a internet ficou lenta...então voltei a configuração que estava e pelo está funcionando o que pode ser pessoal??



logo após voltar ao normal e dar um restar a internet melhorou um pouco(no site da embratel quando entro com a maquina dentro do proxy) já começou a aparecer 690kpbs oscilando para 890 mas a abertura de páginas está muito lenta ainda para o que era antes.....se puderem me ajudar fico grato pois não tenho idéia do que seja.

[Lincoln]

tentou apagar o cache do squid
tive problemas parecidos, e quando eu recriava a pasta a velocidade voltava ao normal
tenta ai depois avisa

[lfernandosg]

melhorou limpando o cache mas ainda para abrir a primeira página que está dentro do cache ainda demora e por estar dentro do cache e não pedir autenticação abria bem mais rápido antes.obg pela dica melhorou....

[Lincoln]

seu hd é IDE ou SATA??
lembro-me de ter problemas com o squid quando o dma ou ultradma do hd não estava ativo e ou não subia
ah tenta também mudar o tamanho do cache...



para ver o status do hd
#hdparm /dev/hda ou sda se for SATA

[lfernandosg]

meu HD é sata samsung.

resposta do comando:

linux:/home/novaf# hdparm /dev/sda
/dev/sda:
IO_support = 0 (default)
readonly = 0 (off)
readahead = 256 (on)
geometry = 9729/255/63, sectors = 156301488, start = 0

[alexandrecorrea]

ativa o memory_pools

e outra.. cache de 256mb ? muito pequeno...

MAS antes de tudo.. tenta trocar o ufs para aufs !! veja se melhora.. sem alterar nada

[lfernandosg]

não mudou quase nada mas uma coisa já está normal...quando entro para testar a internet está dando 1mb de link estando dentro do proxy ou não mas o problema é quando clico no navegador para abrir algumas páginas como google, gmail demora uns 15 segundos para aparecer e antes não era assim...será que é algo no DNS? acho que não pois as máquinas são as mesmas e não ocorre nenhum erro de dns.

OBS.: O site google está fora do cache mas o gmail não então isso não intefere muito pois mesmo que estivesse fora do cache não era para demorar tanto.

[Lincoln]

cara, então o que me parece que esta acontecendo ai "deve" ser o hd
faz o teste ai, veja qual a velocidade padrão do modelos, digo Mbps/s

se me lembro bem o camando é este aki, mas da uma fuçada no google pra ter certeza

hdparm -t /dev/sda ----------------> pra fazer o teste de velocidade
hdparm -d1 /dev/sda ---------------> pra ativar o dma
hdparm -t /dev/sda ----------------> veja se mudou alguma coisa...

o DNS dos micros estão iguais ao do servidor???

[lfernandosg]

os dns do servidor linux são os dns da embratel link...os dns da rede interna são os dos doois servidores internos:

10.0.1.2 e 10.0.1.1 máquinas windows com AD mas que não estão dando problemas nos testes de DNS e a 10.0.1.2 que é a principal da rede funicona assim mais de 2 anos.

comandos:

1)linux:/home/novaf# hdparm -t /dev/sda

/dev/sda:
Timing buffered disk reads: 220 MB in 3.01 seconds = 73.06 MB/sec


2)linux:/home/novaf# hdparm -d1 /dev/sda

/dev/sda:
setting using_dma to 1 (on)
HDIO_SET_DMA failed: Inappropriate ioctl for device
HDIO_GET_DMA failed: Inappropriate ioctl for device


3)linux:/home/novaf# hdparm -t /dev/sda

/dev/sda:
Timing buffered disk reads: 224 MB in 3.02 seconds = 74.07 MB/sec


o HD é novo tem 2 meses de uso.

[alexandrecorrea]

roda dns LOCAL para o proxy.. deve ser isso

[lfernandosg]

vc fala rodar o bind no linux? pergunto porque tenho que rodar o dns nas máquinas Windows por causa do Active directory. dentro do /etc/resolv.conf tem os dns da embratel e adicionei :

search novaf.local : meu dominio
nameserver 10.0.1.2 DNS principal windows com AD
nameserver 10.0.1.1 DNS alternativo da rede


nos encaminhadores do servers windows coloquei o dns da embratel.


OBS.: ou vc acha melhor instalar o dns no linux e colocar o ip além de gateway da rede interna como DNS alternativo na rede?

[alexandrecorrea]

nao precisa do search nao.. em alguns casos esse search atrapalha as consultas...

idela eh ter um DNS LOCAL na mesma maquina do proxy !!

[lfernandosg]

mas para ter o DNS local no server linux teria que integrar ele com o AD por causa da minha rede.

entrei nos logs de acesso do cache e vi isso:


2008/07/31 13:43:05| logfileOpen: opening log /var/log/squid/access.log
2008/07/31 13:43:05| Store logging disabled
2008/07/31 13:43:05| User-Agent logging is disabled.
2008/07/31 13:43:05| Referer logging is disabled.
2008/07/31 13:43:05| DNS Socket created at 0.0.0.0, port 32808, FD 7
2008/07/31 13:43:05| Adding domain novaf.local from /etc/resolv.conf
2008/07/31 13:43:05| Adding nameserver 200.255.255.66 from /etc/resolv.conf
2008/07/31 13:43:05| Adding nameserver 200.255.255.70 from /etc/resolv.conf
2008/07/31 13:43:05| Adding nameserver 10.0.1.2 from /etc/resolv.conf
2008/07/31 13:43:05| helperOpenServers: Starting 3 'ncsa_auth' processes
2008/07/31 13:43:05| Accepting transparently proxied HTTP connections at 10.0.1.254, port 3128, FD 13.
2008/07/31 13:43:05| HTCP Disabled.
2008/07/31 13:43:05| WCCP Disabled.
2008/07/31 13:43:05| Loaded Icons.
2008/07/31 13:43:05| Ready to serve requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
2008/07/31 13:44:22| aclAuthenticated: authentication not applicable on transparently intercepted requests.
[ 47 linhas lidas ]

o que será que esse quer dizer?será que atrapalha em algo?

[alexandrecorrea]

modo transparente nao aceita autenticação !!!

[arium]

aceita aceita mais tem que faze uma imenda

[lfernandosg]

tireo o transparent e está ok o log agora mas o problema continua da lentidão.

[Lincoln]

então me parece que o problema deve ser o hd
pq sem o dma ativado fica ruim agora num me lembro pra hds sata
tenta ai

hdparm -d1 /dev/sda

depois pra faze um teste de velocidade

hdparm -t /dev/sda

ve ai

[lfernandosg]

nãp aceita pode ver em resposta anteriores que já tentei...outra coisa pessoal tive que voltar o transparent pois as máquinas que não estavam com o proxy configurado não estavam conseguindo acessar as páginas da ACL no_auth depois de /etc/init.d/squid restart.

[MDdantas]

1 - cache_mem - a quantidade de memória utilizado pelo squid para arquivar objetos na memória. Caso o servidor seja apenas para esse função, utilize metade da memória para arquivar os objetos em memória.

Exemplo:

memória de 1 GB
cache_mem 512 MB


2 - maximum_object_size_in_memory - o tamanho máximo dos objetos alocados na memória.

Exemplo:
maximum_object_size_in_memory - 256 ou 512 KB


3 - maximum_object_size - Para definir como configurar o tamanho máximo nessa opção, deve-se levar em consideração que um número grande implica em maior economia de banda e perda de performance no cache local, enquanto um número menor não ajuda muito em ganho de banda, mas melhora a velocidade em tempo de resposta. Recomenda-se a utilização de uma valor entre 4 e 16 MB.


Exemplo:
maximum_object_size 8192 KB

Colocastes em teu squid.conf, arquivos com 40 MB


cache_dir - > local onde se armazena os objetos. configurastes para 256 MB apenas

Exemplo:
cache_dir ufs /var/log/squid 5000 16 256 - 5 GB

cache_swap_low - Aqui se especifica o limite mínimo para substituição de um objeto. A substituição começa quando o swap em disco está acima do limite mínimo.

Defina algo como:
cache_swap_low 80


cache_swap_high - Justamente o oposto da opção anterior. Aqui se define o limite máximo.

cache_swap_high 90


VERIFIQUE TAMBÉM O SEU FIREWALL
E VEJA SE NÃO POSSUI NENHUM CONTROLE DE BANDA.
MONTE UM SERVIDOR DNS CACHE PARA MELHORAR E VELOCIDADE DE SOLCITAÇÕES.
AUTENTICAÇÃO + PROXY TRANSPARENTE - NÃO COMBINA.


Analise e responda caso tenha resolvido o problema.


Atenciosamente,

[alexandrecorrea]

autenticação + transparent nao aceita... em uma unica instancia NAO aceita.. eh limitação do protocolo...