Galera,
como posso resolver o problema de limpeza do log no squid?
será que se eu desabilitar a geração dos 3 logs meu squid vai fazer cache normalmente?
-
24-03-2009, 16:21 #1
- Ingresso
- Sep 2008
- Posts
- 44
Limpeza do log
-
24-03-2009, 21:17 #2
- Ingresso
- Feb 2005
- Posts
- 118
Olá!
Postado originalmente por vialink
vc pode apagar sem problemas ex: rm -rf /var/log/squid/* , o squid nao depende dos log para achar os objetos, ele usa outro método verificando data e tamanho do arquivo, o log é apenas um recurso para manutenção e monitoramento principalmente para que usa o SARG onde podemos gerar relatórios de páginas acessadas.
Abraços
-
25-03-2009, 10:37 #3
- Ingresso
- Sep 2008
- Posts
- 44
Postado originalmente por rrinfor
Então eu posso desativar os tres logs que são gerados pelo squid.
access.log
store.log
cache.log
Posso configurar no squid.conf para não gerar eles?
-
25-03-2009, 12:58 #4
- Ingresso
- Feb 2005
- Posts
- 118
Pode sim! Postado originalmente por vialink
mas lembre-se que logs em geral é muito importante, pois eles nos dão muita informação sobre o estado do serviço em questão, no caso do squid sempre que quero saber se ele está funcionando bem, recorro ao log como no exemplo abaixo:
Mostra todo tráfego no squid
tail -f -n 20 /var/log/squid/access.log
Mostra tudo o que esta saindo do squid (cache) para os clientes
tail -f -n 20 /var/log/squid/access.log |grep TCP_HIT
tail -f -n 20 /var/log/squid/access.log |grep MEM_HIT
mas se vc quiser desabilita-los no squid não tem problema basta seguir o exemplo abaixo:
access_log none
cache_log none
cache_store_log none
Coloque o parâmetro none em todas as opções de log no squid, pois somente apagar ou comentar as linhas em questão não vai funcionar, pois por padrao o squid gera logs na ausencia das opções acima no squid.conf.
Abraços
-
26-03-2009, 16:14 #5
- Ingresso
- Sep 2008
- Posts
- 44
Certo, eu optaria por não desabilitar.... só que acontece que o log cresce muito rápido e o squid cai... já tentei várias coisas para rotacionar... e /ou limpar. Postado originalmente por rrinfor
Se tivesse um jeito fácil de resolver isso eu preferiria.
Conhece algo?
Abraço.
-
26-03-2009, 19:09 #6
- Ingresso
- Feb 2005
- Posts
- 118
Postado originalmente por vialink
Log derrubando o squid?!?!?!?
Estranho! Faz o seguinte posta aqui configuração do seu server (hardware) e tbm o seu squid.conf para a gente analizar ok!
Abraços
-
27-03-2009, 11:41 #7
- Ingresso
- Sep 2008
- Posts
- 44
Servidor.
***********************************************
CPU Intel Xeon Dual Core E3120
Placa Mãe Intel S3210SHLC,
3 x 2Gb DDR2 667 Mhz Kingston,
HD SATA-2 250Gb 7200rpm
squid.conf
***********************************************
http_port 3128 transparent
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
cache_mem 1024 MB
cache_swap_low 85
cache_swap_high 95
maximum_object_size 40 MB
minimum_object_size 0 KB
maximum_object_size_in_memory 64 KB
cache_dir diskd /usr/local/squid/cache/ 10000 16 256 Q1=64 Q2=72
access_log /usr/local/squid/logs/access.log squid
cache_log /usr/local/squid/logs/cache.log
cache_store_log /usr/local/squid/logs/store.log
dns_nameservers 208.67.222.222 208.67.220.220
#mulate_httpd_log on
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow all
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow all
http_reply_access allow all
icp_access allow all
cache_mgr internet@gmail.com
******************************************************
APOS O SQUID CAR EU O INICIEI COM -D5 E ELE ME REPORTOU O SEGUINTE.
# 2009/03/17 17:29:38| Starting Squid Cache version 2.7.STABLE4 for amd64-portbld-freebsd7.1...
2009/03/17 17:29:38| Process ID 2042
2009/03/17 17:29:38| With 11095 file descriptors available
2009/03/17 17:29:38| Using kqueue for the IO loop
2009/03/17 17:29:38| Performing DNS Tests...
2009/03/17 17:29:38| Successful DNS name lookup tests...
2009/03/17 17:29:38| DNS Socket created at 0.0.0.0, port 60043, FD 6
2009/03/17 17:29:38| Adding nameserver 208.67.222.222 from squid.conf
2009/03/17 17:29:38| Adding nameserver 208.67.220.220 from squid.conf
2009/03/17 17:29:38| Referer logging is disabled.
2009/03/17 17:29:38| Unlinkd pipe opened on FD 10
2009/03/17 17:29:38| Swap maxSize 10240000 + 768000 KB, estimated 846769 objects
2009/03/17 17:29:38| Target number of buckets: 42338
2009/03/17 17:29:38| Using 65536 Store buckets
2009/03/17 17:29:38| Max Mem size: 768000 KB
2009/03/17 17:29:38| Max Swap size: 10240000 KB
2009/03/17 17:29:38| Store logging disabled
2009/03/17 17:29:38| Rebuilding storage in /usr/local/squid/cache/ (DIRTY)
2009/03/17 17:29:38| Using Least Load store dir selection
2009/03/17 17:29:38| Set Current Directory to /usr/local/squid/cache
2009/03/17 17:29:38| Loaded Icons.
2009/03/17 17:29:38| Accepting transparently proxied HTTP connections at 0.0.0.0, port 3128, FD 12.
2009/03/17 17:29:38| Accepting ICP messages at 0.0.0.0, port 3130, FD 13.
2009/03/17 17:29:38| WCCP Disabled.
2009/03/17 17:29:38| /usr/local/squid/: (21) Is a directory
2009/03/17 17:29:38| WARNING: Could not write pid file
2009/03/17 17:29:38| Ready to serve requests.
2009/03/17 17:29:39| Store rebuilding is 6.0% complete
2009/03/17 17:29:39| Done reading /usr/local/squid/cache/ swaplog (69988 entries)
2009/03/17 17:29:39| Finished rebuilding storage from disk.
2009/03/17 17:29:39| 67279 Entries scanned
2009/03/17 17:29:39| 0 Invalid entries.
2009/03/17 17:29:39| 0 With invalid flags.
2009/03/17 17:29:39| 67279 Objects loaded.
2009/03/17 17:29:39| 0 Objects expired.
2009/03/17 17:29:39| 2709 Objects cancelled.
2009/03/17 17:29:39| 0 Duplicate URLs purged.
2009/03/17 17:29:39| 0 Swapfile clashes avoided.
2009/03/17 17:29:39| Took 0.7 seconds (91403.6 objects/sec).
2009/03/17 17:29:39| Beginning Validation Procedure
2009/03/17 17:29:39| Completed Validation Procedure
2009/03/17 17:29:39| Validated 64570 Entries
2009/03/17 17:29:39| store_swap_size = 1030858k
2009/03/17 17:29:39| storeLateRelease: released 0 objects
DEPOIS QUE REDIRECIONEI OS CLIENTES.
2009/03/17 20:31:30| store_swap_size = 687242k
2009/03/17 20:31:30| storeDiskdSend: msgsnd: (35) Resource temporarily unavailable
2009/03/17 20:31:30| storeDiskdSend OPEN: (35) Resource temporarily unavailable
2009/03/17 20:31:31| storeDiskdSend: msgsnd: (35) Resource temporarily unavailable
2009/03/17 20:31:31| storeDiskdSend OPEN: (35) Resource temporarily unavailable
2009/03/17 20:31:31| ctx: enter level 0: 'http://images.habbohotel.com.br/habboweb/31_b40895fb6101dbe96dc7b9d6477eeeb4/5/web-gallery/v2/images/popup/popup_habbocount_bg.gif'
2009/03/17 20:31:31| storeDiskdSend: msgsnd: (35) Resource temporarily unavailable
2009/03/17 20:31:31| storeDiskdSend UNLINK: (35) Resource temporarily unavailable
2009/03/17 20:31:31| ctx: exit level 0
2009/03/17 20:31:31| storeDiskdSend: msgsnd: (35) Resource temporarily unavailable
2009/03/17 20:31:31| storeDiskdSend OPEN: (35) Resource temporarily unavailable
QUANDO EU LIMPO O CACHE E OS LOGS ele volta normal, funciona umas 4 horas e cai.
Sempre tive dúvida quanto ao tamanho do cache que posso usar tamanho do cache_mem
já que tenho um servidor rasoavelmente bom.
um abraço.
conto com a ajuda de todos.
-
28-03-2009, 20:25 #8
- Ingresso
- Feb 2005
- Posts
- 118
Olá! Postado originalmente por vialink
Amigo, preciso de mais algumas informações:
Que distro vc esta usando?
vc compilou o squid a partir do tarbal?
Vc fez alguma alteração no kernel ou no arquivo /etc/sysctl.conf
Quanto ao cálculo para o uso de memória RAM para cache, use 25% da memoria toral do servidor (de acordo com a FAQ do squid-cache.org), não mais do que isso, veja o cálculo abaixo:
512MB RAM * 25% = 128MB RAM
Desabilite por enquanto somente o cache_store_log como abaixo:
cache_store_log none
Quanto ao cache_dir, segundo a FAQ do squid-cache.org, o DISKD não é mais um sistema de armazenamento eficiente para sistemas linux, o mesmo mantem seu bom desempenho em sistemas BSD's, portanto se vc quer um desempenho melhor para o processo de armazenamento use a opção AUFS em cache_dir com politicas de armazenamento:
cache_dir aufs /usr/local/squid/cache 10000 16 256
Politicas de armazenamento
O squid possui recursos muito interessante para aumentar as chances de cache-hit porém sem degradar o desempenho do servidor como as opções memory_replacement_policy e cache_replacement_policy e suas politicas de armazenamento.
Politicas heap:
GDSF -> Prioriza o armazenamento de objetos populares menores
LFUDA -> Prioriza o armazenamento de objetos populares independente do tamanho
Então vc pode combinar essas politicas da seguinte forma:
memory_replacement_policy heap GDSF <- para memoria RAM
cache_replacement_policy heap LFUDA <- para Disco
E por ultimo verifique as permissões do diretorio de cache do squid.
AbraçosÚltima edição por rrinfor; 28-03-2009 às 20:27.
-
30-03-2009, 11:24 #9
- Ingresso
- Sep 2008
- Posts
- 44
Bem, meu server é um Free BSD 7.1. Postado originalmente por rrinfor
Eu instalei o squie 2.7 através do ports. Não adiconei nenhum parametro no sysctl.conf e nem recompilei o kernel.
já tentei usar ufs, aufs, diskd e sempre tive o mesmo problema com relação ao squid....
Ele funciona por um tempo bem e depois cai e quando inicio novamente ele me apresenta a msg que mostrei... estou desde janeiro tentando fazer esse squid funcionar e sempre sem sucesso
-
30-03-2009, 23:38 #10
- Ingresso
- Feb 2005
- Posts
- 118
Olá! Postado originalmente por vialink
Bem, meu server é um Free BSD 7.1.
Eu instalei o squie 2.7 através do ports. Não adiconei nenhum parametro no sysctl.conf e nem recompilei o kernel.
já tentei usar ufs, aufs, diskd e sempre tive o mesmo problema com relação ao squid....
Ele funciona por um tempo bem e depois cai e quando inicio novamente ele me apresenta a msg que mostrei... estou desde janeiro tentando fazer esse squid funcionar e sempre sem sucesso
vc toparia implementar o squid no Debian 5 ?!?!?!?
Tenho um cache squid3 poderosíssimo no debian5 que nao me deixa na mão.
Abraços
-
31-03-2009, 14:32 #11
- Ingresso
- Sep 2008
- Posts
- 44
tenho que analisar, pq eu teria que reinstalar tudo no server. Postado originalmente por rrinfor
antes era slackware ae um amigo aqui do forum fez a mesma proposta para passar para o free bsd instalei tudo e ele sumiu.
Muda muita coisa de um para o outro?
-
31-03-2009, 19:16 #12
- Ingresso
- Feb 2005
- Posts
- 118
Olá! Postado originalmente por vialink
tenho que analisar, pq eu teria que reinstalar tudo no server.
antes era slackware ae um amigo aqui do forum fez a mesma proposta para passar para o free bsd instalei tudo e ele sumiu.
Muda muita coisa de um para o outro?
Tratando-se do processo de instalação do sistema e do squid, muda um pouco, mas te garanto que é muito simples, e flexível trabalhar com debian, além de ser uma sistema altamente customizável (não é a toa que debian é a distro que mais tem filhos), não digo que ele é melhor que os outros, se falasse estaria mentindo, pois a diferença de uma distribuição linux e outra é sua personalização, idéia de aplicação, ferramentas de administração e organização de modo geral e etc etc e tal.... então o que pode ser maravilhoso para mim, pode ser frustrante para outro, pois cada distribuição linux tem sua personalidade com a qual nos familiarizamos, te propus usar debian porque é o sistema com que trabalho e uso no cotidiano tanto nos servers quanto nos desktops, e que tenho experiencia para te ajudar, e te asseguro que vc terá bons resultados, apenas abra sua mente para as novidades.
Não se preoculpe com o ABANDONO, tenho um compromisso com este forum, pois ja fui, ainda sou e com certeza sempre serei beneficiado aqui!
Quanto a instalação do debian segue abaixo documentações:
The Perfect Server - Debian Lenny (Debian 5.0) [ISPConfig 3] | HowtoForge - Linux Howtos and Tutorials <<-- Meu preferido, leia até a pagina 3 topico 8
Instalando o Debian 5 Passo a Passo | DebianBlogs.com
vc pode baixar as imagens do sistema no link abaixo de acordo com sua arquitetura de hardware, recomendo as imagens netinst que contem o básico do sistema:
http://cdimage.debian.org/debian-cd/...86-netinst.iso <<-- 32bit
http://cdimage.debian.org/debian-cd/...64-netinst.iso <<-- 64bit
AbraçosÚltima edição por rrinfor; 31-03-2009 às 19:20.
-
01-04-2009, 15:22 #13
- Ingresso
- Sep 2008
- Posts
- 44
ta certo, Postado originalmente por rrinfor
vou fazer o seguinte.
vou instalalo em uma máquina que está parada lá
é um dual core 1gb de memeoria hd 160.
agora uma grande dúvida.
Quantas placas de rede devo usar nele?
Hoje tentei com uma só mais estava plugada direto no mikrotik.
Já tentei plugada direto no nkt (paralelo) e também na interface de link e nenhuma deu certo.
Farei isso e te reporto.
-
01-04-2009, 19:45 #14
- Ingresso
- Feb 2005
- Posts
- 118
Postado originalmente por vialink
Posta um diagrama básico da topologia da sua rede (pode ser até um desenho simples no paint), para termos uma ideia de como esta a tua situação, ai eu poderei responder tua dúvida acima para começarmos as mudanças.
Abraços
-
16-04-2009, 12:17 #15
- Ingresso
- Sep 2008
- Posts
- 44
Ola amigo, Postado originalmente por rrinfor
eu andei um pouquinho enrolado e dei uma sumidinha.
Bem, antes de instalar o debian eu troquei a versao do squid que era 2.7 para 3.0.8 e inicialmente parece que está funcionando bem. Já tem 24 h que está rodando.
Estou com dúvida aos parametros do squid.conf.
cache_mem
maximum_object_size_in_memory
maximum_object_size
minimum_object_size
cache_swap_low
cache_swap_high
cache_dir ufs /var/cache/squid 10000 16 256
só preciso saber o que coloco nesses parametros.
Tenho um xeon com 6gb de memoria e hd de 40.
Gostaria de aproveitar ao máximo esse hardware.
Abraço.
-
16-04-2009, 22:03 #16
- Ingresso
- Feb 2005
- Posts
- 118
Na opção cache_mem, configure cerca de 25% da mémoria RAM total do servidor. Postado originalmente por vialink
Exemplo de um servidor com 2GB de RAM:
2048*25%=512 MB
O squid possui recursos muito interessante para aumentar as chances de cache-hit como as opções memory_replacement_policy e cache_replacement_policy e seus politicas de armazenamento.
Politicas heap:
GDSF -> Prioriza o armazenamento de objetos populares menores
LFUDA -> Prioriza o armazenamento de objetos populares independente do tamanho
Então vc pode combinar essas politicas da seguinte forma:
memory_replacement_policy heap GDSF <- para memoria RAM
cache_replacement_policy heap LFUDA <- para Disco
Quanto ao cache_dir utilise o sistema de armazenamento aufs, é o que possui melhor performance no linux, enquanto que o diskd possui a melhor performance em sistemas BSDs
Na opção maximum_object_size_in_memory, não fuja muito do padrão do squid que é 8k, para evitar o rápido esgotamento da memoria, pois a ideia é manter pequenos objetos na RAM, enquanto os objetos maiores ficam no disco, aqui na minha empresa eu uso 32k e acho suficiente já que objetos de páginas em geral varia em torno de 3 a 16k.
Em maximum_object_size vc pode usar um valor sazoavelmente grande, para fazer valer a politica de armazenamento LFUDA mencionado acima, uso um valor de 100 MB, assim mantenho atualizações e aplicativos grandes em cache
Na opção minimum_object_size utilize o valor 0k para que arquivos de qualquer tamanho possa ser armazenado.
Em cache_swap_low e cache_swap_high deixe com as opções padrões
cache_mem 512 MB
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
maximum_object_size_in_memory 32 k
maximum_object_size 100 MB
minimum_object_size 0 k
cache_swap_low 90
cache_swap_high 95
cache_dir aufs /var/cache/squid 10000 16 256
Abraços
-
20-04-2009, 14:47 #17
- Ingresso
- Sep 2008
- Posts
- 44
Postado originalmente por rrinfor
Certo amigo,
vou fazer essas alterações.
Qual o tamanho máximo do cache recomendado? Inicialmente eu coloquei com uns 10gb aproximadamente mais como meu hd é de 250 qual o máximo que posso colocar de forma a não prejudicar o desempenho?
Eu utilizo o freebsd 7, então eu teria uma melhor com o diskd? Caso sim, sabe como posso configurar o freebsd para suportar o diskd?
E minha última dúvida. rsss
Quanto a limpeza do log, como posso fazer para que o próprio squid ratacione?
Abraço.
Citação