Página 1 de 2 12 ÚltimoÚltimo
+ Responder ao Tópico



  1. #1

    Padrão devorador squid carregando todo o seu cache pra dentro da memoria !!!

    galera o seguinte eu já fiz 500 tentativas e recorro agora a vossa experiência, tavelz seja um pepino nativo do squid mais é o seguinte tenho um p4 2.8 sata2 200gb 1gb de ram, que roda o squid. pois bem os parametros que são relevantes a essa questão é
    a memoria max. que coloquei para o squid

    cache_mem 90 MB (tava usando inicialmente 400mb olha onde cheguei no depespero dos testes)

    cache_replacement_policy heap LFUDA
    memory_replacement_policy heap GDSF

    cache_dir diskd /etc/squid/cache/cache1 50096 16 256 Q1=64 Q2=72
    (ja tentei no desespero até com ufs)


    meu panorama é o seguinte acesso dessa proxy é feito por umas 180.. 200 maquinas,
    o squid consome TODA A MEMORIA DO MEU COMPUTADOR ATÉ O ULTIMO MEGA (fidaputá hehe) não importa o que eu faça ele vai pegando conforme vai achendo o cache... ou seja meu cache vai ateh 700mb até da pau...

    o que eu acho mais engraçado e que se eu desabilitar o squid o consumo de memoria fica no extremo ainda.. (***com o squid desligado***) ae eu vo lah e do o comando rm -rf dir /etc/squid/cache/cache1 meu servidor fica com 800mb de memoria livre instantanemente!!! que raio eh isso?!?!! alguem tem uma explicação lógica pra essa sacanagem do squid???? hehehehe

  2. #2

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    exatamente.

    o cache_mem NAO limita a memoria que o squid vai consumir, ele limita apenas quanto de espaço na ram o squid pode USAR para armazer os objetos "HOT"...

    para resolver isso.. voce tem 3 opções

    primeira (recomendada)
    colocar no minimo 2gb de ram no minimo !!!

    segunda:
    o squid, usando heap, consome cerca de 12mb de ram por cada GB de cache.. para diminuir o consumo da ram.. vc pode diminuir o tamanho do cache_dir !!!

    terceira:
    nao usar a politica heap, usar a lru ... (nao recomendo)



  3. #3

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    esqueci de um detalhe:

    o squid consome +-12 a 20 mb de ram para cada GB de cache em plataforma 64Bits e
    +-10 a 15 mb de ram para cada GB de cache em plataforma 32Bits

    essa "notação" é +- isso ai.. depende muito do seu "ambiente".. :P

  4. #4

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    mais alexandre.. estou usando o heap ali como viu.. mais meu cache chega no max aos 700mb e consome toda minha memoria como se fosse 1/1 entende? 1mb na cache por 1 na memoria sera que errei algo? nem de perto da os 15mb de ram pra cada gb da memoria



  5. #5

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    vc tem 50gb no cache_dir !!

    abaixa pra 10gb e faça um teste

  6. #6

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    amigo mudando um poquino de assunto conhece algum outro web cache? serah que o squid nao tem nenhum concorrente? nem que seja pago porem rode em linux? conhece algum?



  7. #7

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    pra que ? squid eh o melhor que existe.. melhor e mais usado...

    cache consome memoria mesmo.. qualquer cache...

  8. #8

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    Considerando:

    12 MB por giga de cache * 50 GB de cache = 600 MB
    90 MB cache_mem de objetos quentes na memória
    256 MB ou mais memória para rodar os processos do sistema operacional.

    Tem razão de consumir toda a memória que vc tem.

    Solução: aumente a memória RAM ou diminua o cache_dir.

    Um abraço!



  9. #9

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    lembrando que o cache_mem nao limita o quanto o squid vai consumir !!!

    veja quanto de SWAP seu sistema esta consumindo em media.. essa media eh +- o tanto de memoria que vc vai precisar a mais !!


  10. #10

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    o engraçado alexandre é que ele detona a memoria mais nao faz swap... soh que o sistema fica lendo pra caralho e começa a da pau!



  11. #11

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    é não deu pé almentei a memoria pra 1.512MB
    e ainda tá comendo praticamente 1 por 1 de memoria 1 mb de memoria em disco pra 1mb de memoria na pasta de cache

    Olha só

    wireless:/etc/squid/cache# du -h cache1/
    1,1G cache1/


    wireless:/etc/squid/cache# free -om
    total used free shared buffers cached
    Mem: 1486 1456 30 0 66 1066
    Swap: 2863 0 2863


    alguem tem um cache grande ai que tem algum relato do caso? o meu tá com 10gb mais já tá em 1GB de uso arrecem e tá batendo biela :-/

  12. #12

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    faz o seguinte... tem um detalhe q eu esqueci de citar...

    gnumalloc !! squid trabalha melhor se vc utilizar essa lib.. soh baixar e instalar.. que o squid quando vc compilar.. ele reconhece.. e utiliza !!



  13. #13

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    certo! vo instalar e posto aqui os results! ehehe valeu brother

  14. #14

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    aaa só que nesse caso não rola apt-get install né? tenho que instalar com o source do squid? ou você diz quando eu instalar o gnumalloc o squid já reconhece de cara?



  15. #15

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    tipo eu to usando debian sarge na minha máquina, roda o squid e um servidor pppoe + radius, a utilização dessa biblioteca não vai danificar o sistema não é? porque não está assinada pela debian.

  16. #16

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    vc pega a lib no site do gnu !! instala ela...

    ai quando for compilar o squid... ele ja reconhece que vc tem a gnumalloc.. e usa ela !!



  17. #17

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    certo mais tipo ela é uma lib stard certo? outros aplicativos nao vao usar ela amenos que tenham suporte e ela nao vai sobrepor nada eh isso?

  18. #18

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    meu medo e ferrar tudo

    [[email protected]/var/tmp]cat README

    This is the standalone distribution of GNU malloc.
    GNU malloc is part of the GNU C Library, but is also distributed separately.

    If you find bugs in GNU malloc, send reports to [email protected].

    GNU malloc is free software. See the file COPYING.LIB for copying conditions.

    The makefile builds libmalloc.a and gmalloc.o. If you are using GNU malloc
    to replace your system's existing malloc package, it is important to make
    sure you get all GNU functions, not some of the GNU functions and some from
    the system library. gmalloc.o has all the functions in one file, so using
    that will make sure you don't accidentally mix the two malloc packages.



  19. #19

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    eu instalei aqui.. nao substituiu nada.. nem atrapalhou nada nos servidores proxy


  20. #20

    Padrão Re: devorador squid carregando todo o seu cache pra dentro da memoria !!!

    meu guro alexandre.. kra eu recompilei o squid tava com o 2.5 agora tá com o 2.6 eu vi que na hora da compilaçao deu tudo certo mais agora nao tah funcionando o diskd
    olha oque acontece quando do um squid -z

    wireless:/usr/local/squid/sbin# ./squid -z
    FATAL: Bungled squid.conf line 42: cache_dir diskd /etc/squid/cache/cache1 10096 16 256 Q1=64 Q2=72
    Squid Cache (Version 2.6.STABLE3): Terminated abnormally.


    ============
    Locate diskd
    =============
    wireless:/usr/local/squid/sbin# locate diskd
    /etc/squid/squid-2.6.STABLE3/src/fs/diskd
    /etc/squid/squid-2.6.STABLE3/src/fs/diskd/.deps
    /etc/squid/squid-2.6.STABLE3/src/fs/diskd/.deps/diskd.Po
    /etc/squid/squid-2.6.STABLE3/src/fs/diskd/.deps/store_dir_diskd.Po
    /etc/squid/squid-2.6.STABLE3/src/fs/diskd/.deps/store_io_diskd.Po
    /etc/squid/squid-2.6.STABLE3/src/fs/diskd/diskd.c
    /etc/squid/squid-2.6.STABLE3/src/fs/diskd/store_dir_diskd.c
    /etc/squid/squid-2.6.STABLE3/src/fs/diskd/store_diskd.h
    /etc/squid/squid-2.6.STABLE3/src/fs/diskd/store_io_diskd.c
    /usr/bin/diskd
    /usr/share/man/man1/diskd.1.gz

    ============================

    meus parametros no squid
    ============================

    cache_dir diskd /etc/squid/cache/cache1 10096 16 256 Q1=64 Q2=72


    #binario do diskd
    #diskd_program /usr/lib/squid/diskd (não tem mais era do squid velho)
    diskd_program /usr/bin/diskd