Squid Estourando o Log e Ocupando 100% do HD

[maringolo]

Galera ja algum tempo tenho este problema com o squid aqui, do nada ele sobrecarrega o hd e trava meu servidor, descobri que o problema esta no log do squid, então criei um script para limpa-lo cada dois dias automaticamente, mesmo assim continuou diminui pra um dia mas ainda o problema persiste. Alguma dica?

Debian 6 squid 2.7 stable
core i5 8 gb ram 1 tera de hd

[KuruminBranco]

Você tem necessidade de ter os logs registrados? Senão, desabilita a entrada no squid.conf, por que até a performance isso afeta.

[maringolo]

então e so eu excluir esta linha:

cache_access_log /var/log/squid/access.log

meu squid:

############### scripit squid #############

http_port 3128 transparent

visible_hostname fenix

# Configuraç do cache

cache_mem 4000 MB

maximum_object_size_in_memory 8 MB
maximum_object_size 1024 MB
minimum_object_size 0 KB

cache_replacement_policy lru

cache_swap_low 90
cache_swap_high 95
cache_dir ufs /var/spool/squid 500000 16 256

# Localizaç do log de acessos do Squid

#cache_access_log /var/log/squid/access.log

dns_nameservers 200.225.197.37 208.67.222.222

refresh_pattern ^ftp: 15 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 2280

acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 901 # SWAT
acl purge method PURGE
acl CONNECT method CONNECT

http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports

#Erros pagina

error_directory /usr/share/squid/errors/Portuguese

##Redirecionando para a pagina de INFORMACAO
deny_info PG_AVISO aviso
deny_info ERR_ACCESS_DENIED bloqueio

# Libera para a rede local

acl wifi src "/var/www/sgsi/dao/arquivos/users_liberados.txt"
acl aviso src "/var/www/sgsi/dao/arquivos/users_pendentes.txt
acl bloqueio src "/var/www/sgsi/dao/arquivos/users_bloqueados.txt
acl tempo time "/etc/squid/tempo"


http_access allow localhost
http_access allow wifi
http_access deny tempo aviso
http_access deny bloqueio
http_access allow aviso !tempo


# Evitando conflito com o Apache, pois utilizaremos o Apache

acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
extension_methods REPORT MERGE MKACTIVITY CHECKOUT
hosts_file /etc/hosts
coredump_dir /var/spool/squid


# Bloqueia acessos externos

http_access deny all

########### fim do scripit ##############

[KuruminBranco]

Remova a entrada do access log e analise se o disco vai encher.

[Danusio]

Desative tambem o log do sistema syslog, este log do sistema também lota o hd.

[snkbrz]

Aqui eu tenho uma partição de 30GB só para log do squid, rotaciono o log diariamente e o consumo nunca passou dos 10 GB.

Para desativar o log você tem que colocar a entrada:

access_log none

Para desativar o log do cache_store, use também:

cache_store_log none

Se quiser utilizar o log do squid, a linha abaixo ajuda a diminuir o impacto causado pela geração de log, é aconselhado o log ser feito em um hd diferente do de cache, para o spin de disco não ficar concorrendo com a gravação dos arquivos de cache e com a gravação do log, se tiver utilizando discos diferentes para o cache, pode deixar o log no mesmo disco do sistema.

buffered_logs on

Sei que não é o foco do tópico, mas aconselho também a mudar as linhas abaixo para ganhar desempenho, a memoria é um espaço escasso, então o melhor é servir aquivos pequenos, se tem muito poucos clientes(uns 200), pode até colocar a memoria em 1024 KB. Falando da relação ao tamanho máximo de arquivo em disco, pelos testes que fiz aqui o melhor desempenho e economia de banda que consegui foi com arquivos de tamanho entre 128 MB e 256 MB, de nada adianta tem um arquivo de 1 GB em cache mas que nunca vai ser utilizado ou só vai ser usado 1 vez, melhor ter 4 de 256 mb que sejam utilizados mais vezes.

maximum_object_size_in_memory 256 KB
maximum_object_size 256 MB

memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA



client_db off
memory_pools off
half_closed_clients off


Aqui eu utilizo o cacti para monitorar os desempenho do squid via snmp, então dá pra ter uma boa ideia de como está impactando as alterações que se faz no cache, aconselho a utilizar também se ainda não utiliza.


Anderson

[maringolo]

Amigo KuruminBranco caso eu precise desabilitar este log do sistema que vc se referiu, poderia explicar como eu desabilito ele. dei uma pesquisada na net e num achei muita coisa.