Squid + Thunder Cache consumindo muita banda

[fmn127]

Boa noite, Pessoal.

Estou com o meu servidor de cache configurado em um servidor Ubuntu + Squid + Thunder Cache a mais ou menos 9 dias.
Estava funcionando normalmente, porém ele começou a ter um consumo de banda muito elevado, chegando a estourar o link de 2MB Full durante o dia.

Fiz alguns testes de madrugada quando havia apenas 02 usuários do plano de 100k trafegando e a interface CLIENTES estava consumindo 250kpbs em média, enquanto a interface LINK estava consumindo 1.4MB.

Basta eu desativar as regras de NAT e o Web Proxy que o link volta ao normal.

Preciso de uma ajuda urgente ai.

Abraços.

[smith10]

amigo, isso e normal em caso de inicio de operação eu mesmo ja passei por isso e vou te dizer uma coisa se nao fizer um controle de banda de entrada pro thunder ele vai matar sua rede em momentos que estiver baixando videos. O que fiz aqui foi um controle de banda reduzindo a velocidade de entrada pro thunder com marcação por sites e criei uma regra no queue tree limitando a velocidade individuais e com um total pra nao estrangular toda rede.

[osmano807]

amigo, isso e normal em caso de inicio de operação eu mesmo ja passei por isso e vou te dizer uma coisa se nao fizer um controle de banda de entrada pro thunder ele vai matar sua rede em momentos que estiver baixando videos. O que fiz aqui foi um controle de banda reduzindo a velocidade de entrada pro thunder com marcação por sites e criei uma regra no queue tree limitando a velocidade individuais e com um total pra nao estrangular toda rede.

¬¬

Limitar o Thunder? Isso essencialmente tira toda a 'utilidade' dele non?
Seguinte, vejam o que é o tráfego, se for o thunder, ótimo, está salvando no cache!
Depois alguém irá baixar e não vai consumir internet!
Thunder estourar o link? Nunca vi!

[fmn127]

amigo, isso e normal em caso de inicio de operação eu mesmo ja passei por isso e vou te dizer uma coisa se nao fizer um controle de banda de entrada pro thunder ele vai matar sua rede em momentos que estiver baixando videos. O que fiz aqui foi um controle de banda reduzindo a velocidade de entrada pro thunder com marcação por sites e criei uma regra no queue tree limitando a velocidade individuais e com um total pra nao estrangular toda rede.

Cara, poderia me passar como foi realizada a configuração?

Eu normalmente apenas altero a velocidade no thunder.conf.

[fmn127]

¬¬

Limitar o Thunder? Isso essencialmente tira toda a 'utilidade' dele non?
Seguinte, vejam o que é o tráfego, se for o thunder, ótimo, está salvando no cache!
Depois alguém irá baixar e não vai consumir internet!
Thunder estourar o link? Nunca vi!

Eu também não entendi, pois foi de uma hora para outra.

Eu fiz a configuração que você passou no fórum do Tunder:

Arquivo download.php

De ..: $buffer = fread($fIN, 1024*$download_speed);
Para.: $buffer = fread($fIN, round($download_speed * 1024));

E alterei o $download_speed para "32".

O que acha que pode ser osmano?

[osmano807]

Ah, por isso, Thunder 2.x
Tinha um problema de baixar uma vez no cliente e outra no servidor, fizeram uma gambiarra de stream para tentar resolver, aí só baixa 1 vez, deve que está inativo.

Tinha que olhar no functions.php para ver se a função padrão ainda é stream:

function check_file($file,$url,$domain, $streaming=true) {

Eu uso Thunder em C/C++ , por isso não tem essa diferença.

Ah, esse download_speed, com 32 é 32KiB/s, estranho.

[fmn127]

Ah, por isso, Thunder 2.x
Tinha um problema de baixar uma vez no cliente e outra no servidor, fizeram uma gambiarra de stream para tentar resolver, aí só baixa 1 vez, deve que está inativo.

Tinha que olhar no functions.php para ver se a função padrão ainda é stream:

function check_file($file,$url,$domain, $streaming=true) {

Eu uso Thunder em C/C++ , por isso não tem essa diferença.

Ah, esse download_speed, com 32 é 32KiB/s, estranho.

Fiz uma busca aqui e não encontrei o arquivo functions.php. Onde normalmente ele fica?

Poderia me add no msn para conversarmos melhor? [email protected]

[osmano807]

Fiz uma busca aqui e não encontrei o arquivo functions.php. Onde normalmente ele fica?

Poderia me add no msn para conversarmos melhor? [email protected]

Geralmente, ele fica em /etc/squid

[Não Registrado]

não tem jeito de migrar para o thunder3? é infinitamente melhor!

[fmn127]

não tem jeito de migrar para o thunder3? é infinitamente melhor!

É possível apenas atualizar e utilizar as configurações do thunder 2.1?

Caso sim, tem algum tutorial que conheça?

Obrigado.

[interhome]

Crie regra protegendo o seu cache para uso externo.

[osmano807]

Crie regra protegendo o seu cache para uso externo.

Se eu entendi, ele usa 'paralelo' o squid + thunder, então não considero essa possibilidade. 'Se eu entendi'

[fmn127]

Opa.

Instalei o thunder 3 e mantive o Squid 2.7. Os 2 estão funcionando numa boa.

No squid.conf a linha está da sequinte forma:

acl localnet src 40.40.40.0/32

Porém quando adiciono as regras abaixo no MK 3.30, todos os clientes param de acessar sites (Página indisponível), somente MSN continua conectado. :1cry:

/ip address
add address=40.40.40.1/24 broadcast=40.40.40.255 comment="" disabled=no interface=LINK network=40.40.40.0

/ip firewall filter
add action=accept chain=forward comment="Aceitar todos os tipos de conexoes ou pacotes que venham do proxy" disabled=no src-address=40.40.40.0/24

/ip firewall nat
add action=dst-nat chain=dstnat comment="Redirecionamento para o Proxy" disabled=no dst-address=!40.40.40.1 dst-port=80 protocol=tcp \
src-address=10.10.10.0/24 to-addresses=40.40.40.1 to-ports=3128

/ip firewall mangle
add action=mark-connection chain=prerouting comment="Squid - Cache Full" disabled=no dscp=12 new-connection-mark=proxy-hits passthrough=yes
add action=mark-packet chain=prerouting comment="" connection-mark=proxy-hits disabled=no new-packet-mark=proxy-squid passthrough=no
add action=mark-connection chain=prerouting comment="Thunder - Cache Full" disabled=no dst-address=40.40.40.1 dst-port=80 new-connection-mark=\
thunder-connection passthrough=yes protocol=tcp
add action=mark-packet chain=prerouting comment="" connection-mark=thunder-connection disabled=no new-packet-mark=thunder-packs passthrough=no protocol=tcp

/queue tree
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=2000000 max-limit=3000000 name=SquidCache-Down packet-mark=proxy-squid parent=\
global-out priority=8 queue=default
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=2000000 max-limit=3000000 name=SquidCache-Up packet-mark=proxy-squid parent=global-in \
priority=8 queue=default
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=yes limit-at=2000000 max-limit=3000000 name=ThunderCache-Down packet-mark=thunder-packs parent=global-out \
priority=8 queue=default
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=yes limit-at=2000000 max-limit=3000000 name=ThunderCache-Up packet-mark=thunder-packs parent=global-in \
priority=8 queue=default

O que está errado com as regras do MK????

Lembrando que minha topologia está da seguinte forma:

LINK > SWITCH > MK e PROXY (cada um em um servidor)

Obrigado a todos.

[ramonlira]

nao consigo baixar o thunder cache para o ubuntu serv

no topico tem esse link so q nao funciona

wget http://www.thundercache.org/repo/thundercachev21.tar e de ENTER ...

se alguem souber de outro link me avisem por favor des de ja agradeço....

[arcella]

é possivel vc fazer esse controle d banda para reduzir a velocidade d entrada do thunder para mim... se for possivel me add no msn [email protected].. ae negocioamos.. abraços