+ Responder ao Tópico



  1. #1

    Padrão Meu squid não faz cache, o que pode ser ? [resolvido]

    Bom pessoal estou com um problema no meu gateway ubuntu server 6.10 bom é o seguinte, uso a versão 2.6 STABLE1 do squid junto com o dansguardian, o problema é que tudo funciona perfeitamente mas nada fica cacheado na pasta /var/spool/squid, ja configurei os parametros do diretorio que será usado pelo cache e quando do um ls -lahS na pasta do cache só tem apenas 1.5 mb dentro dela, o unico cache que funciona é o cache na memoria com objetos pequenos. Ja dei um chmod 777 na pasta do cache e mesmo assim nada é escrito la dentro, quando a erro no cache o squid nem inicializa ... mas no meu caso inicializa normal. Obs: eu uso proxy transparente.
    Olhando no log do cache eu vejo varias entradas da seguinte manera : TCP_MISS, será que é algum problema ?
    O fato é que o servidor aparenta estar redondo mais de forma alguma ele faz cache.
    Peço a ajuda de vcs pois tenho um certo prazo pra entregar esse gateway.
    Agradeço pela atenção.
    Última edição por RYUDO; 17-01-2007 às 18:55.

  2. #2

    Padrão Carona

    Pegando uma carona no seu post, gostaria de saber como faço para saber se realmente o proxy esta fazendo cache, a pasta de cache esta aumentando o valor mais sempre que acesso um site no access.log aparece o site novamente sempre com TCP_MISS/200m o que seria isso, as vezes tenho duvida qto ao cache pricipalmente em sites de fotos ele parece baixar novamente a imagem.

    como faco para saber?


    Grato

    ah desculpa a carona ai

  3. #3

    Padrão

    Aguém por favor me ajude
    Não sei mais o que posso fazer pra isso funcionar e ja estou no limite do meu prazo.

  4. #4
    BurKa
    Visitante

    Padrão

    Cara....Posta ai teu squid.conf pra gente dar uma analisada.......no primeiro caso é possivel q esteja setado outro diretório ....

    O que pegou Carona se puder fazer a mesma coisa....ai fika mais fácil da gente ajudar =D

  5. #5

    Padrão

    Seu squid.conf pode estar setado pra armazenar apenas objetos com menos de 64k, nao? Posta mesmo o squid.conf pra analisar

  6. #6

    Padrão

    segue abaixo meu squid.conf vou mandar tb um grep do processo do squid, uma coisa que não expliquei é que aqui eu uso o dansguardian só pra filtrar virús que passam pelo proxy e funciona perfeitamente então quem ta se comunicando com o squid é o dansguardian atraves de redirecionamento no iptables.
    Outro fato curioso é que ele faz cache de arquivos tipo um instalador do winrar ... quando a pessoa vai baixar denovo baixa instantaneamente ... mais pq diabos a pasta do cache fica sempre com alguns kbps de espaço ocupado ? paginas em html ele nao faz cache ...


    ## PROXY TRANSPARENTE SQUID 2.6 STABLE1 UBUNTU SERVER 6.10 ##



    ## parametros necessarios para que o proxy funcione corretamente ##

    acl all src 0.0.0.0/0.0.0.0
    http_access allow all


    ## deixa o proxy transparente ##
    http_port 3128 transparent


    ## corrige bug do squid 2.6 stable1 operando em transparente ##
    always_direct allow all


    ## nome do host ##
    visible_hostname linuxell-proxy


    ## tamanho do cache de arquivos na memoria ##
    cache_mem 64 MB

    ## tamanho maximo de objetos em cache na memoria ##
    maximum_object_size_in_memory 128 KB

    ## tamanho maximo de objetos no cache do disco ##
    maximum_object_size 512 MB

    ## tamanho minimo de objetos no cache do disco ##
    minimum_object_size 0 KB

    ## parametros para esvaziar o cache quando necessario ##
    cache_swap_low 90
    cache_swap_high 95

    ## diretorio onde o cache sera salvo ##
    cache_dir ufs /var/spool/squid/cache 32000 16 256

    ## diretorio onde o o log de acesso sera salvo ##
    cache_access_log /var/log/squid/access.log


    Grep para ver o processo:

    root@linuxell-proxy:~# ps aux | grep squid
    root 3713 0.0 0.2 4552 632 ? Ss 09:10 0:00 /usr/sbin/squid -D -sYC
    proxy 3715 0.0 3.0 9468 7308 ? S 09:10 0:00 (squid) -D -sYC
    root 4198 0.0 0.3 2800 748 pts/1 R+ 09:40 0:00 grep squid

    Permissão da pasta de cache:
    root@linuxell-proxy:~# ls -alghS /var/spool/squid/cache/
    total 212K
    -rw-r----- 1 proxy 136K 2007-01-13 09:41 swap.state
    drwxrwxrwx 18 proxy 4,0K 2007-01-13 09:41 .
    drwxrwxrwx 19 proxy 4,0K 2007-01-06 09:13 ..
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 00
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 01
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 02
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 03
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 04
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 05
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 06
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 07
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 08
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 09
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 0A
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 0B
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 0C
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 0D
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 0E
    drwxrwxrwx 258 proxy 4,0K 2007-01-06 09:13 0F




    root@linuxell-proxy:~# squid -d 1
    root@linuxell-proxy:~# 2007/01/13 18:04:16| Starting Squid Cache version 2.6.STABLE1 for i386-debian-linux-gnu...
    2007/01/13 18:04:16| Process ID 5413
    2007/01/13 18:04:16| With 1024 file descriptors available
    2007/01/13 18:04:16| Performing DNS Tests...
    2007/01/13 18:04:16| Successful DNS name lookup tests...
    2007/01/13 18:04:16| DNS Socket created at 0.0.0.0, port 1051, FD 5
    2007/01/13 18:04:16| Adding nameserver 192.168.0.1 from /etc/resolv.conf
    2007/01/13 18:04:16| Adding nameserver 192.168.254.254 from /etc/resolv.conf
    2007/01/13 18:04:16| User-Agent logging is disabled.
    2007/01/13 18:04:16| Referer logging is disabled.
    2007/01/13 18:04:16| Unlinkd pipe opened on FD 10
    2007/01/13 18:04:16| Swap maxSize 196608 KB, estimated 15123 objects
    2007/01/13 18:04:16| Target number of buckets: 756
    2007/01/13 18:04:16| Using 8192 Store buckets
    2007/01/13 18:04:16| Max Mem size: 65536 KB
    2007/01/13 18:04:16| Max Swap size: 196608 KB
    2007/01/13 18:04:16| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
    2007/01/13 18:04:16| Rebuilding storage in /var/spool/squid (CLEAN)
    2007/01/13 18:04:16| Using Least Load store dir selection
    2007/01/13 18:04:16| Current Directory is /root
    2007/01/13 18:04:16| Loaded Icons.
    2007/01/13 18:04:26| Accepting transparently proxied HTTP connections at 0.0.0.0, port 3128, FD 12.
    2007/01/13 18:04:26| Accepting ICP messages at 0.0.0.0, port 3130, FD 13.
    2007/01/13 18:04:26| HTCP Disabled.
    2007/01/13 18:04:26| WCCP Disabled.
    2007/01/13 18:04:26| Ready to serve requests.
    2007/01/13 18:04:26| Done reading /var/spool/squid swaplog (748 entries)
    2007/01/13 18:04:26| Finished rebuilding storage from disk.
    2007/01/13 18:04:26| 748 Entries scanned
    2007/01/13 18:04:26| 0 Invalid entries.
    2007/01/13 18:04:26| 0 With invalid flags.
    2007/01/13 18:04:26| 748 Objects loaded.
    2007/01/13 18:04:26| 0 Objects expired.
    2007/01/13 18:04:26| 0 Objects cancelled.
    2007/01/13 18:04:26| 0 Duplicate URLs purged.
    2007/01/13 18:04:26| 0 Swapfile clashes avoided.
    2007/01/13 18:04:26| Took 10.3 seconds ( 72.9 objects/sec).
    2007/01/13 18:04:26| Beginning Validation Procedure
    2007/01/13 18:04:26| Completed Validation Procedure
    2007/01/13 18:04:26| Validated 748 Entries
    2007/01/13 18:04:26| store_swap_size = 10340k
    2007/01/13 18:04:27| storeLateRelease: released 0 objects
    2007/01/13 18:09:15| Preparing for shutdown after 2 requests
    2007/01/13 18:09:15| Waiting 30 seconds for active connections to finish
    2007/01/13 18:09:15| FD 12 Closing HTTP connection


    Vejam meu store.log ABSOLUTAMENTE nada é encontrado em cache (RELEASE), embora ja tenha visitado estes sites dezenas de vezes:
    root@linuxell-proxy:~# tail -f /var/log/squid/store.log
    1168835294.975 RELEASE -1 FFFFFFFF 23BC9B56F8EBF551DD8D3431BD146A5D 200 1168835294 -1 1168935294 x-squid-internal/vary -1/129 GET http://www.linofee.org/favicon.ico
    1168835344.325 RELEASE -1 FFFFFFFF 6A6C6CBAA7B56155B1E8FEBCB78755F6 200 1168835336 -1 -1 text/html -1/19560 GET Google
    1168835350.739 RELEASE -1 FFFFFFFF 30C71BC7AC9F9E968CEC432C2F81FDEF 200 1168835342 -1 -1 text/html -1/19224 GET Google
    1168835371.570 RELEASE -1 FFFFFFFF D00060911BB1E32C0DA530FFAB51CE6A 200 1168835363 -1 -1 text/html -1/19560 GET Google
    1168835388.021 RELEASE 00 00000653 C4016CD15BABECDB6D69C76CEB1D6711 200 1168835282 1059062895 -1 application/pdf 1892758/110595 GET http://www.pbh.gov.br/prodabel/cde/p...calves2003.pdf
    1168835498.202 SWAPOUT 00 00000654 BAF3B9DFEF002EDE7C7A9A2B5C796B34 200 1168835288 1059062895 -1 application/pdf 1892758/1892758 GET http://www.pbh.gov.br/prodabel/cde/p...calves2003.pdf
    1168835806.736 RELEASE -1 FFFFFFFF 11DA54834ED887757F67EEAE21733904 200 1168835798 -1 -1 text/html 19645/19645 GET UOL - O melhor conteúdo
    1168835809.188 RELEASE -1 FFFFFFFF 3CA8FE759AC053F0AA8E927016DAC6C7 200 1168835801 -1 -1 application/x-javascript -1/675 GET http://de.uol.com.br/js.ng/site=uolb...64&ord=334791?
    1168835810.334 RELEASE -1 FFFFFFFF D38768DBDBF11F7CC3726932661CBFA0 304 1168835802 -1 1168836402 unknown -1/0 GET http://barra.uol.com.br/b/scripts/flash.js
    1168835825.733 RELEASE -1 FFFFFFFF 0ED779C43AA25107C2B89639B9A3FF5B 200 1168835818 -1 -1 text/html 3517/3517 GET Google





    Aqui estão minhas regras de iptables para compartilhar conexão e fazer redirecionamento:

    ### COMPARTILHAMENTO DA INTERNET ###
    /sbin/iptables -t filter -F
    /sbin/iptables -t nat -F
    modprobe iptable_nat
    echo 1 > /proc/sys/net/ipv4/ip_forward
    /sbin/iptables -t nat -A POSTROUTING -o ppp0 -j MASQUERADE


    ## REDIRECIONA PARA O PROXY ###

    /sbin/iptables -t nat -A PREROUTING -p TCP --dport 80 -j REDIRECT --to-port 8080
    Última edição por RYUDO; 15-01-2007 às 02:38. Razão: acrecentar informações

  7. #7

    Padrão

    ajuda por favor estou em cima do prazo pra colocar a maquina em produção.

  8. #8

    Padrão

    Cara ...

    em :

    ## tamanho maximo de objetos no cache do disco ##
    maximum_object_size 512 MB

    na minha conf ...
    maximum_object_size 10 MB

    no mais acho que está tudo certinho ...

    os logs de acessos são mostrados em /var/log/squid/access.log ?
    se não, .... dá uma olhada na tua regra de firewall ... se tá direcionando certinho ...

    tenta assim ...

    /sbin/iptables -t nat -A PREROUTING -s 192.168.0.0/24 -p tcp --dport 80 -j REDIRECT --to-port 3128




    Falow ...
    Última edição por rootmaster; 15-01-2007 às 10:31.

  9. #9

    Padrão

    Obrigado rootmaster pela sua atenção!
    Bem amigo , o redirecionamento eh feito para porta 8080 pois é onde o dasnguardian escuta pois uso o mesmo para filtrar virús na rede. O dansguardian recebe as requisições na porta 8080 e repassa automaticamente pra 3128 do squid.
    Estou com outro problema, minha adsl congela do nada ... mesmo usando meu dns interno ou externo simplesmente a conexão morre
    Última edição por RYUDO; 15-01-2007 às 10:51.

  10. #10

    Padrão

    Tranquilo ... já resolveu o problema ... ?

  11. #11

    Padrão

    Não meu amigo e o pior é que eu to ficando queimado com o chefe por causa disso preciso urgente de ajuda eheheh

  12. #12

    Padrão

    verifiquei aqui utilizando o utilitario cachemgr.cgi e o sargs e de fato meu squid só faz cache de objetos na memória, nada é feito em disco. o sargs me diz ter um movimento de 99.9 % de coisas vindas de fora do proxy e 0.01% de coisas vindas do proxy IN_MEMORY_CACHE. Ahhhhh amigos me ajudem

  13. #13

    Padrão

    Pessoal o meu cache faz cache sim ! eu descobri instalando o cachemgr e o sargs só que o problema é o seguinte: ele faz cache de tudo mas insiste em ficar pegando 99 % do trafego de fora do cache ... li que são algumas politicas de pattern que vc tem que acertar no cache para que ele parece de ficar pegando tudo de fora .... alguem sabe como resolver ?

  14. #14

    Padrão

    RESOLVI !!!
    segue abaixo os comandos que foram colocados no meu squid para que ele baixasse mais coisas in cache do que out cache:

    cache_replacement_policy heap LFUDA
    memory_replacement_policy GDSF

    refresh_pattern ^http:// 30 40% 20160
    refresh_pattern ^ftp:// 30 50% 20160
    refresh_pattern ^gopher:// 30 40% 20160
    refresh_pattern . 1440 100% 1440 ignore-reload override-lastmod override-expire reload-into-ims

    refresh_pattern -i exe$ 0 50% 999999
    refresh_pattern -i zip$ 0 50% 999999
    refresh_pattern -i flv$ 0 50% 999999 ignore-reload override-lastmod override-expire reload-into-ims
    refresh_pattern -i swf$ 0 50% 999999 ignore-reload override-lastmod override-expire reload-into-ims
    refresh_pattern -i cab$ 0 50% 999999 ignore-reload override-lastmod override-expire reload-into-ims
    refresh_pattern -i rar$ 0 50% 999999 ignore-reload override-lastmod override-expire reload-into-ims



    Espero que alguém que teve o mesmo problema consiga resolver com essa dica.

  15. #15

    Padrão

    Citação Postado originalmente por RYUDO Ver Post
    RESOLVI !!!
    segue abaixo os comandos que foram colocados no meu squid para que ele baixasse mais coisas in cache do que out cache:

    cache_replacement_policy heap LFUDA
    memory_replacement_policy GDSF

    refresh_pattern ^http:// 30 40% 20160
    refresh_pattern ^ftp:// 30 50% 20160
    refresh_pattern ^gopher:// 30 40% 20160
    refresh_pattern . 1440 100% 1440 ignore-reload override-lastmod override-expire reload-into-ims

    refresh_pattern -i exe$ 0 50% 999999
    refresh_pattern -i zip$ 0 50% 999999
    refresh_pattern -i flv$ 0 50% 999999 ignore-reload override-lastmod override-expire reload-into-ims
    refresh_pattern -i swf$ 0 50% 999999 ignore-reload override-lastmod override-expire reload-into-ims
    refresh_pattern -i cab$ 0 50% 999999 ignore-reload override-lastmod override-expire reload-into-ims
    refresh_pattern -i rar$ 0 50% 999999 ignore-reload override-lastmod override-expire reload-into-ims



    Espero que alguém que teve o mesmo problema consiga resolver com essa dica.

    Parabéns cara ...

    Valew.