Problema Squid3 Paralelo + Mikrotik - AJUDA

[jaelcio]

Olá antes de mas nada gostaria de esclarecer que resolvi criar esse Tópico porque não consegui uma solução que atenda as necessidades do meu local de trabalho.

Eu tenho um cenário da seguinte forma IP DEDICADO com 4 IPS FIXOS (Colocarei ips fictícios), tenho um Servidor UBUNTU SERVER 12.04.1 LTS com IP "10.1.1.3", uma RouterBoard com IP "10.1.1.2" e quem distribui a internet é o modem da "OI" que no caso é o gateway com IP "10.1.1.1". E os clientes usam os IPs "172.10.0.0/24".

Esse servidor é mais para bloqueio de sites, palavras e para usar o SARG.

Meu squid.conf está assim: Dessa forma ele não libera acesso nenhum na rede e quando eu discomento a linha "# http_access allow all" ele acessa internet mas o arquivo /var/log/squid3/cache.log aumenta de tamanho de uma impressionante deixando o acesso a internet extramente lento.

No MIKROTIK fiz esse redirecionamento:

chain=dstnat action=dst-nat to-addresses=10.1.1.3 to-ports=3128
protocol=tcp src-address=172.10.0.0/24 dst-address=!10.1.1.3
dst-port=80


Alguém pode me ajudar


http_port 3128 transparent
visible_hostname webproxy




acl manager proto cache_object
acl localhost src 172.10.0.0/24
acl SSL_ports port 443 563
acl Safe_ports port 80
acl Safe_ports port 21
acl Safe_ports port 443 563
acl Safe_ports port 70 #protocolo gopher antigãacl Safe_ports port 210 #whais
acl Safe_ports port 1024-65535 #todas as outras portas
acl Safe_ports port 280 #http-mgmt
acl Safe_ports port 488 #gss-http
acl Safe_ports port 591 #filemaker
acl Safe_ports port 777 #m ulti http
acl Safe_ports port 901 #acesso Swat
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_PORTS


#permiss ãde acesso ao proxy, rede do Mikrotik
#classe de rede ou classes separadas por espaç.
acl redelocal src 10.1.1.3
http_access allow localhost
http_access allow redelocal
# http_access allow all


#access log
cache_access_log /var/log/squid3/access.log


#cache .log
cache_log /var/log/squid3/cache.log


#m emoria reservada para o cache, coloque um valor de preferencia 40%
# do total da sua maquina, e nãmais.
cache_mem 256 MB


#m ámo tamanho dos arquivo cache na memoria
maximum_object_size_in_memory 80 KB




#m ámo tamanho dos arquivo cache no hd
maximum_object_size 50 MB
minimum_object_size 0 KB


#regra que começa esvaziar / substituir arquivos no cache em 90%
cache_swap_low 80
cache_swap_high 90


#indica ç de localizaç da pasta de arquivos cache e em sequêia valor
#total em MB de espaçno hd a ser usado pelo cache, numero de pastas, e
#numero de subpastas do cache.
cache_dir ufs /var/spool/squid3 2048 16 256


#intervalos de tempos que o proxy verificara os arquivos dos site acessado
#conferem com o do cache, o valor 4560 significa 04 dias
refresh_pattern ^ftp: 15 20% 4560
refresh_pattern ^gopher: 15 0% 4560
refresh_pattern . 15 20% 4560


#m antendo objetos recentes e pequenos na memoria
memory_replacement_policy heap GDSF

[andrecaleiros]

Amigo boa noite.
Em quanto tempo o log cresce e começa a aparecer a lentidao?

caso seja muito rapido (tipo 8 horas), vc pode usar o log_rotate para compactar o log atual e criar um novo. Quanto ao sarg, a mesma coisa... manda ele criar os relatorios primeiro e depois roda o log_rotate.

[jaelcio]

O negócio é rápido em questão de minutos o log atinge 500mb e a rede fica lenta.

[andrecaleiros]

amigo.... com toda certeza do mundo posso dizer que seu hardware esta com problemas.
Há 2 anos mantenho uma empresa com 75 clientes e o log do squid chega a 10GB por dia.
O squid esta rodando em um HD de 7200 de 160GB... todos os dias as 00:00 o log_rotate roda.

[jaelcio]

Rapaz o hardware não sei, uso um banco de dados postgresql nele sem problemas, é um Servidor Dell PowerEdge T310.

[andrecaleiros]

desculpe, me precipetei ao dizer que é problema no hardware.
nos de mais informações sobre o hardware e quais serviços rodam neste servidor.

esse banco de dados tem muitos acessos??
como esta configurado seu servidor? tem raid?

[jaelcio]

Tinha poucos acessos mas eu mudei o banco de servidor. Só tem o apache mesmo que desejo usar o squid. O servidor tá usando RAID 1. Tipo e uma prefeitura com 70 pcs, nem sempre todos online. Quero só um cache de uns 15 gb. O mas necessário é o SARG, que só sai o IP do servidor com squid.

[andrecaleiros]

Esse raid1 é por hardware ou software?
Servidor com raid1 pode ficar muito lento dependendo da conf feita.... é confiavel mas lento.
Creio que, agora q não tem mais o DB voce possa reinstalar o sistema sem raid ou até mesmo com raid0 e testar o squid nessa conf.
Eu faria isso....

[jaelcio]

É por hardware. Mas a lentidão só acontece quando eu discomento a linha que falei no inicio do post

[andrecaleiros]

amigo faz o seguinte...

joga essa linha para o fim do arquivo... e ponhe ela como deny.
Pois as permissoes sao setadas de cima pra baixo, como vc jah liberou a rede com a ACL
acl redelocal src 10.1.1.3
http_access allow localhost
http_access allow redelocal

o http_access allow all libera todas as redes.... pode ser q alguem de fora esteja usando seu proxy....


entao..

http_access deny all

[jaelcio]

E toda vez aparece a pagina de erro quando eu tento acessar com a linha comentado "http_access allow all".
E quando eu libero essa linha acessa normal so que o cache.log em menos de 2 minutos foi a 53mb.
Vou colocar aqui o log do cache log que tem um erro.

2013/01/28 20:27:32| Starting Squid Cache version 3.1.14 for i686-pc-linux-gnu...
2013/01/28 20:27:32| Process ID 3772
2013/01/28 20:27:32| With 65535 file descriptors available
2013/01/28 20:27:32| Initializing IP Cache...
2013/01/28 20:27:32| DNS Socket created at [::], FD 7
2013/01/28 20:27:32| DNS Socket created at 0.0.0.0, FD 8
2013/01/28 20:27:32| Adding nameserver 8.8.8.8 from /etc/resolv.conf
2013/01/28 20:27:32| Adding nameserver 8.8.4.4 from /etc/resolv.conf
2013/01/28 20:27:32| Unlinkd pipe opened on FD 13
2013/01/28 20:27:32| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2013/01/28 20:27:32| Store logging disabled
2013/01/28 20:27:32| Swap maxSize 0 + 262144 KB, estimated 20164 objects
2013/01/28 20:27:32| Target number of buckets: 1008
2013/01/28 20:27:32| Using 8192 Store buckets
2013/01/28 20:27:32| Max Mem size: 262144 KB
2013/01/28 20:27:32| Max Swap size: 0 KB
2013/01/28 20:27:32| Using Least Load store dir selection
2013/01/28 20:27:32| Current Directory is /
2013/01/28 20:27:32| Loaded Icons.
2013/01/28 20:27:32| Accepting intercepted HTTP connections at 0.0.0.0:3128, FD 14.
2013/01/28 20:27:32| HTCP Disabled.
2013/01/28 20:27:32| Squid plugin modules loaded: 0
2013/01/28 20:27:32| Adaptation support is off.
2013/01/28 20:27:32| Ready to serve requests.
2013/01/28 20:27:33| storeLateRelease: released 0 objects
2013/01/28 20:27:33| WARNING: Forwarding loop detected for:
HEAD / HTTP/1.1^M
Via: 1.0 PMPC (squid/3.1.14)^M
X-Forwarded-For: 187.6.67.147^M
Host: 187.6.67.148:3128^M
Cache-Control: max-age=259200^M
Connection: keep-alive^M
^M

2013/01/28 20:27:33| WARNING: Forwarding loop detected for:
HEAD / HTTP/1.1^M
Host: 187.6.67.148:3128^M
Via: 1.0 PMPC (squid/3.1.14), 1.1 PMPC (squid/3.1.14)^M
X-Forwarded-For: 187.6.67.147, 187.6.67.148^M
Cache-Control: max-age=259200^M
Connection: keep-alive^M
^M

2013/01/28 20:27:33| WARNING: Forwarding loop detected for:
HEAD / HTTP/1.1^M
Host: 187.6.67.148:3128^M
Via: 1.0 PMPC (squid/3.1.14), 1.1 PMPC (squid/3.1.14), 1.1 PMPC (squid/3.1.14)^M
X-Forwarded-For: 187.6.67.147, 187.6.67.148, 187.6.67.148^M
Cache-Control: max-age=259200^M
Connection: keep-alive^M

2013/01/28 20:27:33| WARNING: Forwarding loop detected for:
HEAD / HTTP/1.1^M
Host: 187.6.67.148:3128^M
Via: 1.0 PMPC (squid/3.1.14), 1.1 PMPC (squid/3.1.14), 1.1 PMPC (squid/3.1.14), 1.1 PMPC (squid/3.1.14), 1.1 PMPC (squid/3.1.14), 1.1 PMPC (squid/3.1.14)^M
X-Forwarded-For: 187.6.67.147, 187.6.67.148, 187.6.67.148, 187.6.67.148, 187.6.67.148, 187.6.67.148^M
Cache-Control: max-age=259200^M
Connection: keep-alive^M

....................................................................................
E vai sempre repetindo isso.

[andrecaleiros]

Amigo, infelizmente estou sem ideias.
A ultima é que vc suba um outro servidor e teste com a instalação do zero.
Feito isso, podemos descartar o servidor atual e partir pro seu MK..

[jaelcio]

Instalei e configurei em outra maquina aqui e deu sempre os mesmos erros, de cache.log crescendo rapido demais e o erro "WARNING: Forwarding loop detected for:" dentro do cache.log.