Mikrotik + Squid 3.0-Stable8 Paralelo(rota estática) + Thunder Cache + Sarg

Olá Pessoal,
Depois de muitas tentativas de fazer funcionar o squid3 em paralelo com mikrotik e ver os relatorios do Sarg de cada cliente da minha rede, fazendo cache full tanto com o thunder cache quanto com a directiva "X-Cache: HIT" do squid. A algum tempo consegui chegar a uma solução excelente. Acredito que muitos estão tentando buscar algo parecido e para contribuir com o forum onde sempre consegui muitas informações vou postar minha solução.

Primeiro vamos definir a topologia :

1)Mikrotik 3.15
ether1(clientes) = 172.25.1.100/24
ether2(proxy) = 192.168.2.1/30
ether3(Internet)= 200.200.xxx.xxx

2)Debian 5.0 Lenny
eth0 = 192.168.2.2/30

Considerando que o mikrotik esta com a internet a todo vapor, e está fazendo o masquerade para a rede dos clientes 172.25.0.0/16 e para a rede do Debian 192.168.2.0/30.

Referencia:
Linux: Proxy em paralelo com o mikrotik [Artigo]

No debian configure os endereços de IP 192.168.2.2/30, gateway e DNS 192.168.2.1.

Referencia:
How to Assign an IP Address on a Linux Computer - wikiHow

No mikrotik, menu ip firewall, marque a rota que vem dos clientes com destino a porta 80 de qualquer endereço:

ip firewall mangle chain=prerouting action=mark-routing new-routing-mark=proxy-flow dst-port=80 passthrough=no protocol=tcp src-address=172.25.0.0/16

No menu ip route crie uma rota redirecionando o fluxo marcado(proxy-flow) e mostrando que o gateway é o servidor debian :

ip route add routing-mark=proxy-flow gateway=192.168.2.2

Compartilhe a internet no debian também:

echo 1 > /proc/sys/net/ipv4/ip_forward
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

Até aqui, a navegacao deve ser testada atraves da interface dos clientes, e deve funcionar normalmente, pois o compartilhamento foi ativado no servidor debian.

Como o proximo passo é instalar o squid3 vamos adiantar a regra para o proxy na porta 3128 transparente.

iptables -t nat -A PREROUTING -i eth0 -s 172.25.0.0/16 -p tcp --dport 80 -j REDIRECT --to-ports 3128

Vamos instalar o squid3, para isso abra o arquivo do apt sources.list e acrescente um repositorio:

deb ftp://ftp.br.debian.org/debian stable main contrib non-free
deb-src ftp://ftp.br.debian.org/debian stable main contrib non-free

Atualizamos os repositorios do apt e instalamos o squid3. (aqui instalei também o bind9 pois estava tendo problemas de dns e o thunder nao estava funcionando direito):

apt-get update
apt-get install squid3 apache2 php5 php5-cli bind9 sarg

#vim /etc/resolv.conf

altere o arquivo para o endereço da sua interface neste caso 192.168.2.2.

Baixe o thunder versão 2.1

http://ecache.svn.sourceforge.net/vi...ar.gz?view=tar

Descompacte os arquivos no diretorio /etc/squid3 e siga as instrucoes do arquivo INSTALL_PTBR.

Seu squid.conf deve semelhante a este.

http_port 3128 transparent

hierarchy_stoplist cgi-bin ?

acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY

acl apache rep_header Server ^Apache

cache_mem 256 MB

cache_swap_low 90
cache_swap_high 95

maximum_object_size 20096 KB

minimum_object_size 0 KB

maximum_object_size_in_memory 10000 KB

cache_dir ufs /var/spool/squid3/cache1 2000 16 256

access_log /var/log/squid3/access.log squid
cache_log /var/log/squid3/cache.log
cache_store_log /var/log/squid3/store.log

hosts_file /etc/hosts

refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320

acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl purge method PURGE
acl CONNECT method CONNECT

http_access deny !Safe_ports
http_access deny purge
http_access allow purge localhost
http_access deny manager
http_access allow manager localhost

acl our_networks src 192.168.0.0/16

url_rewrite_children 20
acl store_rewrite_list dstdomain .avast.com .avg.com .windowsupdate.com .grisoft.com avgate.net .googlevideo.com .globo.com .mais.uol.com.br .terra.com .redtube.com .ytimg.com .pornhub.com .tube8.com .eset.com .4shared.com .xvideos.com .kaspersky-labs.com .geo.kaspersky.com .microsoft.com .youtube.com .orkut.com
url_rewrite_access allow store_rewrite_list
url_rewrite_access deny all
url_rewrite_program /etc/squid3/loader.php

acl localcache dstdomain 192.168.2.2
acl localcache2 dstdomain .orkut.com .avast.com .avg.com .windowsupdate.com .grisoft.com .avgate.net .googlevideo.com .globo.com .mais.uol.com.br .redtube.com .ytimg.com .pornhub.com .tube8.com .eset.com .4shared.com .xvideos.com .kaspersky-labs.com .geo.kaspersky.com .microsoft.com
cache deny localcache localcache2

http_access allow localhost
http_access deny all
http_reply_access allow all
icp_access allow all

cache_mgr [email protected]

cache_effective_user proxy
cache_effective_group proxy

visible_hostname myhost
error_directory /usr/share/squid3/errors/Portuguese
coredump_dir /var/spool/squid3

Depois de dadas todas as permissões para os arquivos e diretorios dos thunder conforme o arquivo INSTALL_PTBR. Reinicie o squid:

#invoke-rc.d squid3 restart

Para configurar o sarg:

crie um diretorio dentro de /var/www/ caso nao exista:

#mkdir /var/www/squid-reports

Depois abra o arquivo:

#vim /etc/squid/sarg.conf

Verifique as linhas e altere se necessario:

output_dir /var/www/squid-reports
access_log /var/log/squid3/access.log

Salve o arquivo e rode o sarg no console

Aqui deve estar tudo funcionando.

NOTA: As instancias do thunder alem de armazenarem os arquivos em um diretorio diferente do cache do proprio squid, nao compartilham os mesmos endereços de memoria alocados pelo squid definidos no squid.conf.

Espero ter ajudado
Abs!
:party:

Obrigado.

Parabens pela iniciativa!

Obrigado
:dancing2:

grande ajuda ..valeuuu

valeu

Cliquem no agradecer que tá otimo rsrsrsrsrs

Citação:

---

Postado originalmente por darklinux3

Olá Pessoal,
Depois de muitas tentativas de fazer funcionar o squid3 em paralelo com mikrotik e ver os relatorios do Sarg de cada cliente da minha rede, fazendo cache full tanto com o thunder cache quanto com a directiva "X-Cache: HIT" do squid. A algum tempo consegui chegar a uma solução excelente. Acredito que muitos estão tentando buscar algo parecido e para contribuir com o forum onde sempre consegui muitas informações vou postar minha solução.
...

---

Muito bom,
É disso que o forum precisa, pessoas que fazer e mostram todo o conteúdo do que tem a fazer.
Parabéns. :laugh:

amigos, eu ja estou usando algo parecido:
squid 2.6 stable no debiam4 em paralelo com mikrotik 2.9.x

esta fazendo cache transparente http normal e muito bem, porem eu tb to querendo fazer cache do MSN, aqueles arquivos de cache do proprio msn, onde fica os contatos, as fotos e as configuraçoes deles.

alguem sabe como devo fazer?

Cache dos arquivos enviados por msn?
Não sei se entendi direito sua pergunta.
Até hoje não vi nada parecido, acredito que exista uma dificuladade nisso por que o arquivo utiliza o protocolo do msn pra ser enviado.

Citação:

---

Postado originalmente por darklinux3

Cache dos arquivos enviados por msn?
Não sei se entendi direito sua pergunta.
Até hoje não vi nada parecido, acredito que exista uma dificuladade nisso por que o arquivo utiliza o protocolo do msn pra ser enviado.

---

nao, cache da lista de contatos.

Bom pessoal

tenho 1 problema aki !!!

eu tinha antigamente a regra por dstnat pro proxy e modifiquei por essa proposta aki

e funfo 100%

porem precisei tirar o srcnat masquerade pra rolar e agora os outros servicos nao funfam !!!

oq pode ser??? alguma luz????

tks

Amigo tentei as três modelos de instalações postadas aqui no forum e com as duas mais populares funcionava mais ou menos, sempre dando problemas no youtube, com o seu modelo de configuração está funcionando 100%! Obrigado!! Tive que mudar algumas coisas no squid.conf pra ficar 100% aqui na minha rede!

Citação:

---

Postado originalmente por ZeXP

Amigo tentei as três modelos de instalações postadas aqui no forum e com as duas mais populares funcionava mais ou menos, sempre dando problemas no youtube, com o seu modelo de configuração está funcionando 100%! Obrigado!! Tive que mudar algumas coisas no squid.conf pra ficar 100% aqui na minha rede!

---

Excelente! Muitos aqui do forum tem dificuldade de construir esta solução, talvez pelo fato de eu nao ter colocado exatamente todos os passos, mas para alguém que ja manja de linux é possivel fazer tranquilamente.

Abs!
Sucesso!:dito:

Excelente! Isso foi de grande ajuda parceiro!

Citação:

---

Postado originalmente por darklinux3

Olá Pessoal,
Depois de muitas tentativas de fazer funcionar o squid3 em paralelo com mikrotik e ver os relatorios do Sarg de cada cliente da minha rede, fazendo cache full tanto com o thunder cache quanto com a directiva "X-Cache: HIT" do squid. A algum tempo consegui chegar a uma solução excelente. Acredito que muitos estão tentando buscar algo parecido e para contribuir com o forum onde sempre consegui muitas informações vou postar minha solução.

Primeiro vamos definir a topologia :

1)Mikrotik 3.15
ether1(clientes) = 172.25.1.100/24
ether2(proxy) = 192.168.2.1/30
ether3(Internet)= 200.200.xxx.xxx

2)Debian 5.0 Lenny
eth0 = 192.168.2.2/30

Considerando que o mikrotik esta com a internet a todo vapor, e está fazendo o masquerade para a rede dos clientes 172.25.0.0/16 e para a rede do Debian 192.168.2.0/30.

Referencia:
Linux: Proxy em paralelo com o mikrotik [Artigo]

No debian configure os endereços de IP 192.168.2.2/30, gateway e DNS 192.168.2.1.

Referencia:
How to Assign an IP Address on a Linux Computer - wikiHow

No mikrotik, menu ip firewall, marque a rota que vem dos clientes com destino a porta 80 de qualquer endereço:

ip firewall mangle chain=prerouting action=mark-routing new-routing-mark=proxy-flow dst-port=80 passthrough=no protocol=tcp src-address=172.25.0.0/16

No menu ip route crie uma rota redirecionando o fluxo marcado(proxy-flow) e mostrando que o gateway é o servidor debian :

ip route add routing-mark=proxy-flow gateway=192.168.2.2

Compartilhe a internet no debian também:

echo 1 > /proc/sys/net/ipv4/ip_forward
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

Até aqui, a navegacao deve ser testada atraves da interface dos clientes, e deve funcionar normalmente, pois o compartilhamento foi ativado no servidor debian.

Como o proximo passo é instalar o squid3 vamos adiantar a regra para o proxy na porta 3128 transparente.

iptables -t nat -A PREROUTING -i eth0 -s 172.25.0.0/16 -p tcp --dport 80 -j REDIRECT --to-ports 3128

Vamos instalar o squid3, para isso abra o arquivo do apt sources.list e acrescente um repositorio:

deb ftp://ftp.br.debian.org/debian stable main contrib non-free
deb-src ftp://ftp.br.debian.org/debian stable main contrib non-free

Atualizamos os repositorios do apt e instalamos o squid3. (aqui instalei também o bind9 pois estava tendo problemas de dns e o thunder nao estava funcionando direito):

apt-get update
apt-get install squid3 apache2 php5 php5-cli bind9 sarg

#vim /etc/resolv.conf

altere o arquivo para o endereço da sua interface neste caso 192.168.2.2.

Baixe o thunder versão 2.1

http://ecache.svn.sourceforge.net/vi...ar.gz?view=tar

Descompacte os arquivos no diretorio /etc/squid3 e siga as instrucoes do arquivo INSTALL_PTBR.

Seu squid.conf deve semelhante a este.

http_port 3128 transparent

hierarchy_stoplist cgi-bin ?

acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY

acl apache rep_header Server ^Apache

cache_mem 256 MB

cache_swap_low 90
cache_swap_high 95

maximum_object_size 20096 KB

minimum_object_size 0 KB

maximum_object_size_in_memory 10000 KB

cache_dir ufs /var/spool/squid3/cache1 2000 16 256

access_log /var/log/squid3/access.log squid
cache_log /var/log/squid3/cache.log
cache_store_log /var/log/squid3/store.log

hosts_file /etc/hosts

refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320

acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl purge method PURGE
acl CONNECT method CONNECT

http_access deny !Safe_ports
http_access deny purge
http_access allow purge localhost
http_access deny manager
http_access allow manager localhost

acl our_networks src 192.168.0.0/16

url_rewrite_children 20
acl store_rewrite_list dstdomain .avast.com .avg.com .windowsupdate.com .grisoft.com avgate.net .googlevideo.com .globo.com .mais.uol.com.br .terra.com .redtube.com .ytimg.com .pornhub.com .tube8.com .eset.com .4shared.com .xvideos.com .kaspersky-labs.com .geo.kaspersky.com .microsoft.com .youtube.com .orkut.com
url_rewrite_access allow store_rewrite_list
url_rewrite_access deny all
url_rewrite_program /etc/squid3/loader.php

acl localcache dstdomain 192.168.2.2
acl localcache2 dstdomain .orkut.com .avast.com .avg.com .windowsupdate.com .grisoft.com .avgate.net .googlevideo.com .globo.com .mais.uol.com.br .redtube.com .ytimg.com .pornhub.com .tube8.com .eset.com .4shared.com .xvideos.com .kaspersky-labs.com .geo.kaspersky.com .microsoft.com
cache deny localcache localcache2

http_access allow localhost
http_access deny all
http_reply_access allow all
icp_access allow all

cache_mgr [email protected]

cache_effective_user proxy
cache_effective_group proxy

visible_hostname myhost
error_directory /usr/share/squid3/errors/Portuguese
coredump_dir /var/spool/squid3

Depois de dadas todas as permissões para os arquivos e diretorios dos thunder conforme o arquivo INSTALL_PTBR. Reinicie o squid:

#invoke-rc.d squid3 restart

Para configurar o sarg:

crie um diretorio dentro de /var/www/ caso nao exista:

#mkdir /var/www/squid-reports

Depois abra o arquivo:

#vim /etc/squid/sarg.conf

Verifique as linhas e altere se necessario:

output_dir /var/www/squid-reports
access_log /var/log/squid3/access.log

Salve o arquivo e rode o sarg no console

Aqui deve estar tudo funcionando.

NOTA: As instancias do thunder alem de armazenarem os arquivos em um diretorio diferente do cache do proprio squid, nao compartilham os mesmos endereços de memoria alocados pelo squid definidos no squid.conf.

Espero ter ajudado
Abs!
:party:

---

Amigo começei a montar mas me pintou uma duvida referente ao comando
iptables -t nat -A PREROUTING -i eth0 -s 172.25.0.0/16 -p tcp --dport 80 -j REDIRECT --to-ports 3128 esse comando ira no debian em qual parte dentro do arquivo squid.conf ou em algum outro lugar!

Desde já agradeço sua atenção!

Obrigado.

Todos os comandos do iptables sao comando de firewall devem ser digitados no console, caso queira automatizar o processo é necessario criar um script.

Desculpe a ingorância mas me fiquei meio perdido, terei que digitar isso em algum scprits com gerar algum arquivo ou simplesmente digitar o comando na linha de comando do linux, desculpe to começando agora no mundo linux, se eu fizer isso quando reiniciar o computador vai perder essa configuracão ou é somente digitar dentro de arquivo para que ele carregue na inicialização!

Desde já agradeço atenção!

Obrigado!

Amigo, as configurações que passei são para que você configure uma vez. Para fazer a incializacao dos comandos no boot é necessario criar scripts que sejam executaveis e sejam chamados durante o processo de boot(rc.d2).
Veja : shell script [ame=http://pt.wikipedia.org/wiki/Shell_script]Shell script - Wikipédia, a enciclopédia livre[/ame]

Veja: Inicializacao https://lists.ubuntu.com/archives/ub...er/001406.html

Amigo muito obrigado pela força! vou checar aqui agora e volto a postar o resultado mas uma vez parabens pelo post, fico excelente!

Bom para os iniciantes vou disponibilizar um pequeno script feito aqui para ajudar os que estao tendo problemas.

As regras de iptables deve ser digitadas diretamente no terminal, nada de colocar elas em squid.conf como tem gente pensando..
no caso aqui o script ja faz tudo, basta ir digitando oq ele pede.

Favor nao apenas copiar e colar, mas entender as regras ok!

Crie um novo arquivo arquivo no linux com o vim ou outro editor de textos de sua preferencia e adicione o conteudo:



#!/bin/sh
# configurador.sh
# Configura o Servidor Debian para ser integrado junto ao MK
#
# =========================================
# Jackson E. Deus
# Torres & Torres
# Torres estaiadas e autoportantes
# [email protected]
# =========================================
#
# configurador.sh v1.0
# script simples para ajudar na configuração do debian, configura interface de rede, ip, rota, compartilhamento, porta do squid..
#
#
# Processamento
#
echo "Digite o nome da sua interface de rede, ex: eth0"
read INTERFACE
echo "Digite o endereço ip desejado, ex: 192.168.0.254"
read IP
echo "Digite o endereço ip do gateway, ex: 192.168.0.1"
read GW
echo "Digite o endereço ip do servidor DNS MIKROTIK, ex: 192.168.0.1"
read DNS
echo "Digite a rede dos clientes com máscara, ex: 172.25.0.0/16"
read REDE
echo "Digite a porta usada pelo seu squid, ex: 3128"
read PORTA

ifconfig $INTERFACE $IP # Configura o ip da interface
route add default gw $GW # Configura a rota
echo nameserver $DNS > /etc/resolv.conf # Configura DNS do MIKROTIK
echo 1 > /proc/sys/net/ipv4/ip_forward # Habilita roteamento

iptables -t nat -A POSTROUTING -o $INTERFACE -j MASQUERADE # Compartilhamento da conexão no Debian

iptables -t nat -A PREROUTING -i $INTERFACE -s $REDE -p tcp --dport 80 -j REDIRECT --to-ports $PORTA # Redireciona requisições da porta 80 para a porta 3128 do squid


-----------------------recorte aqui------------------------------

salve o arquivo, se for no vim use ESC ( sai do modo de edição e entra no modo de comando ) :wq ( w salva, q sai )
De permissao de execução para o script:
chmod +x configurador.sh

Agora soh executar ( como root )
./configurador.sh

Pronto galera, fiz esse script aqui nas pressas pq tenho q sair, qualquer duvida posta ai , com um tempo vou criar uma nova versao com algumas melhorias e melhor estrutura ok
xD

Olá galera, com um pouquinho mais de tempo bolei outro script aqui pra ajudar os que tem dificuldade pra configurar a rede do Linux e integrar ao mikrotik de acordo com a solução postada pelo nosso colega darklinux3, dessa vez o script eh feito em dialog, ele eh bem interativo e facil de usar.
melhorias virão, quem quiser editar fique a vontade, soh nao retire meus créditos por favor...
fiquem a vontade pra reclamar e elogiar!

descompacte o arquivo no windows msmo e envie para o linux, ou baixe do site direto no linux..
De permissao de execuçao para o script:

chmod +x configurador.sh

Execute:
./configurador.sh

t++

Citação:

---

Postado originalmente por jacksonezidio

Olá galera, com um pouquinho mais de tempo bolei outro script aqui pra ajudar os que tem dificuldade pra configurar a rede do Linux e integrar ao mikrotik de acordo com a solução postada pelo nosso colega darklinux3, dessa vez o script eh feito em dialog, ele eh bem interativo e facil de usar.
melhorias virão, quem quiser editar fique a vontade, soh nao retire meus créditos por favor...
fiquem a vontade pra reclamar e elogiar!

descompacte o arquivo no windows msmo e envie para o linux, ou baixe do site direto no linux..
De permissao de execuçao para o script:

chmod +x configurador.sh

Execute:
./configurador.sh

t++

---

Por isso que adoro o under, essa união faz a força, agradeço muito pela força, vou testar e volto a postar o resultado muito obrigado pela atenção!


Agradeço a todos!

Ola amigos, consegui fazer o cache por estes tutorias, mais bercebi algo com o Thunder Cache:

Com o Thunder Cache, vc clica no youtube em um video de 10 min por ex., assim que o video começar vc clica em outro. Reparem que o Thunder Cache mesmo vc tendo abondonado o vídeo de 10 min, ele continua fazendo o download do vídeo anterior ate o fim, se o usuario sair clicando em uns videos e nao assistilo completo o thunder ira fazer o donwload completo dos videos. Neste caso ele estara fazendo o inverso do seu papel, ele estara aumentando o consumo do link, rss.

Citação:

---

Postado originalmente por Delvalle

Ola amigos, consegui fazer o cache por estes tutorias, mais bercebi algo com o Thunder Cache:

Com o Thunder Cache, vc clica no youtube em um video de 10 min por ex., assim que o video começar vc clica em outro. Reparem que o Thunder Cache mesmo vc tendo abondonado o vídeo de 10 min, ele continua fazendo o download do vídeo anterior ate o fim, se o usuario sair clicando em uns videos e nao assistilo completo o thunder ira fazer o donwload completo dos videos. Neste caso ele estara fazendo o inverso do seu papel, ele estara aumentando o consumo do link, rss.

---

É Muito raro um cliente clicar em varios links e não assisti-los fechar eles depois ..Mas sua Observação é interessante e relevante

Citação:

---

Postado originalmente por Delvalle

Ola amigos, consegui fazer o cache por estes tutorias, mais bercebi algo com o Thunder Cache:

Com o Thunder Cache, vc clica no youtube em um video de 10 min por ex., assim que o video começar vc clica em outro. Reparem que o Thunder Cache mesmo vc tendo abondonado o vídeo de 10 min, ele continua fazendo o download do vídeo anterior ate o fim, se o usuario sair clicando em uns videos e nao assistilo completo o thunder ira fazer o donwload completo dos videos. Neste caso ele estara fazendo o inverso do seu papel, ele estara aumentando o consumo do link, rss.

---

Isso já foi discutindo antes... E se outro usuário for depois assistir ao mesmo vídeo?
E segundo: não há como descobrir se o usuário saiu do vídeo...

é um problema mesmo, tem muita gente q sai abrindo varios videos sim, especialmente da pagina do orkut que fica 10 la na mesma pagina, eles clicam em todos pensando que vao carregar tudo com a velocidade de 1. ai eles cansao de esperar, fecha a pagina, e sabesse la se vao voltar na mesma pagina da outra pessoa....

vejo muito isso aqui na lan house.

tava usando o squid 2.6 puro, resolvi instalar o thunder mas nao termindei a instalaçao, e to suspeitando que vai dar zebra nos meus 600Kbs de link que tenho na lanhouse....rs
ao invez de ficar rapido vai ficar mais lenta a navegaçao....

se desse pra fazer uma regra dentro do patche que limitasse o download do youtube em 50%, no meu caso 300kbs, daria pra deixar os outros 50% para o resto.

Citação:

---

Postado originalmente por lelyrock

é um problema mesmo, tem muita gente q sai abrindo varios videos sim, especialmente da pagina do orkut que fica 10 la na mesma pagina, eles clicam em todos pensando que vao carregar tudo com a velocidade de 1. ai eles cansao de esperar, fecha a pagina, e sabesse la se vao voltar na mesma pagina da outra pessoa....

vejo muito isso aqui na lan house.

tava usando o squid 2.6 puro, resolvi instalar o thunder mas nao termindei a instalaçao, e to suspeitando que vai dar zebra nos meus 600Kbs de link que tenho na lanhouse....rs
ao invez de ficar rapido vai ficar mais lenta a navegaçao....

se desse pra fazer uma regra dentro do patche que limitasse o download do youtube em 50%, no meu caso 300kbs, daria pra deixar os outros 50% para o resto.

---

Estou na mesma situação sua, até pela velocidade da internet! Eu coloquei só o youtube pensando nisto mesmo, mas em 5 dias eu tenho 5 GiB de vídeos, e 500 MiB de hit, mesmo assim não compensa.

Para limitar, acho que iniciando outro squid com a limitação de banda só para o thunder, dá certo. Ou até mesmo HTB...

Citação:

---

Postado originalmente por osmano807

Estou na mesma situação sua, até pela velocidade da internet! Eu coloquei só o youtube pensando nisto mesmo, mas em 5 dias eu tenho 5 GiB de vídeos, e 500 MiB de hit, mesmo assim não compensa.

Para limitar, acho que iniciando outro squid com a limitação de banda só para o thunder, dá certo. Ou até mesmo HTB...

---

é, eu acho que o thunder com todos esses patches so é indicado mesmo pra grandes provedores que tem mais de 100 clientes na rede e com um bom link

pra nois o ideal seria balancear um link extra de menos qualidade so pro youtube e globovideos
e outro link limpo pro resto.


mas como faria essa limitaçao ai no outro squid da forma q falou?
seriam 2 squid e 2 thunder rodando na mesma maquina???
eu uso ele paralelo ao mk pelo webproxy

Citação:

---

Postado originalmente por lelyrock

é, eu acho que o thunder com todos esses patches so é indicado mesmo pra grandes provedores que tem mais de 100 clientes na rede e com um bom link

pra nois o ideal seria balancear um link extra de menos qualidade so pro youtube e globovideos
e outro link limpo pro resto.


mas como faria essa limitaçao ai no outro squid da forma q falou?
seriam 2 squid e 2 thunder rodando na mesma maquina???
eu uso ele paralelo ao mk pelo webproxy

---

Seria 2 squid, um squid principal com o thunder, e outro com delay_pools limitando tudo.
No thunder, configurava as opções de proxy para esse squid limitado.
Aí no squid.conf, configurava a delay_pools certinho limitando tudo a uma velocidade, teria que bloquear acessos externos também.

Citação:

---

Postado originalmente por osmano807

Seria 2 squid, um squid principal com o thunder, e outro com delay_pools limitando tudo.
No thunder, configurava as opções de proxy para esse squid limitado.
Aí no squid.conf, configurava a delay_pools certinho limitando tudo a uma velocidade, teria que bloquear acessos externos também.

---

ok, mas seriam 2 squid.conf na mesma maquina em diretorios diferentes ou em maquinas separadas?


minha duvida é pq ja li em algum lugar de se colocar 4 instancias do squid em cada processo para ser usado por processadores de 4 nucleos, entao nao sei se vc ta se referindo 2 maquinas linus como "2 squid" ou 2 instancias do squid

2 squid.conf mesmo. Tenho rodando em um servidor W2K3 dois proxy, um principal com a opção cache_peer para se ligar ao outro, e um proxy para testes eventuais, como url_rewrite.

vlw, vou testar depois!!!

Amigo estou com duas dúvidas:

1)Porque vc deixou o debian como Gateway da rede e não o IP do MK? pergunto porque a internet vem do MK correto? então acho que o gw seria o IP do MK.
2)Não vi as regras no squid.conf para cache full do thundercache e do squid com zph e não vi as regras do mk marcando o pacote e queue tree para o thunder e para zph trabalhar a full com uma velocidade determinada, onde?

galera quando eu executo o sarg da o seguinte erro..

SARG: getword loop detected.
SARG: searching for 'x20'
SARG: Maybe you have a broken record or garbage in your access.log file.


o que pode ser ?? alguem poderia me ajuda para ele todo dia gerar um relatorio.?

obrigado a todos

Citação:

---

Postado originalmente por lfernandosg

Amigo estou com duas dúvidas:

1)Porque vc deixou o debian como Gateway da rede e não o IP do MK? pergunto porque a internet vem do MK correto? então acho que o gw seria o IP do MK.
2)Não vi as regras no squid.conf para cache full do thundercache e do squid com zph e não vi as regras do mk marcando o pacote e queue tree para o thunder e para zph trabalhar a full com uma velocidade determinada, onde?

---

Olá lfernando,

Deixei o debian como gateway somente da porta 80 (HTTP), justamente para não utilizar os recursos de firewall para redirecionar os pacotes, e sim utilizar ROTA ESTÁTICA. Desta maneira o firewall não remarca o cabecalio ip do pacote, deixando-o com o IP de origem do proprio cliente. A internet está full para o debian, os clientes ficarao como gateway o MK, porem pacotes com destino a porta 80 serão encaminhados para o debian que fará o cache dos arquivos.
Neste tutorial não tem ZPH e nem cache full pois este assunto é tratato em diversos outros topicos aqui no forum. Apenas ensino como utilizar o recurso de rotas estaticas com o thundercache o resto é por conta de vocês.

:)

ah blz...quando flei sobre o cache full é porque vc colocou ", fazendo cache full tanto com o thunder cache quanto com a directiva "X-Cache: HIT" do squid. " ai achei que iria postar como fez mas blz....uma última dúvida qual a vantagem de colocar o debian como gw ? só não usar as regras direcionando para ele no mangle?

Citação:

---

Postado originalmente por lfernandosg

ah blz...quando flei sobre o cache full é porque vc colocou ", fazendo cache full tanto com o thunder cache quanto com a directiva "X-Cache: HIT" do squid. " ai achei que iria postar como fez mas blz....uma última dúvida qual a vantagem de colocar o debian como gw ? só não usar as regras direcionando para ele no mangle?

---

Aqui tive problemas com o redirecionamento por dst-nat, incluia a regra e não dava certo. Então procurei uma maneira de não utilizar o NAT do firewall do MK para redirecionamento para o servidor proxy.

Utilizando o firewall muitos dizem que alguns pacotes passam batido pela regra, com o uso de rotas estaticas voce esta trabalhando em um nivel mais baixo do modelo osi, e pelo fato de deixar o cabecaio intacto voce não tem problema na identificacao pelo MK do TOS (no caso de uso de ZPH) ou directivas de remarcacao de cabecalios de pacotes como "X-Cache: HIT" ou como muito ensinam por ai do thunder cache "Thunder: Thunder" para casos de cache full.

A grande vantagem é utilizar uma maquina dedicada para cache efetivo (thundercache), e ter relatorios de acessos de todos os clientes atraves do sarg, o que é muito importante para um ISP.

Espero ter ajudado
Abs!

darklinux3 https://under-linux.org/forums/image...er_offline.gif

vc pode me ajuda a fazer um relatorio diario agendamento no cron?? ate agora nao conseguir de jeito nenhum fazelo... obrigado

Citação:

---

Postado originalmente por mktguaruja

darklinux3 https://under-linux.org/forums/image...er_offline.gif

vc pode me ajuda a fazer um relatorio diario agendamento no cron?? ate agora nao conseguir de jeito nenhum fazelo... obrigado

---

Ultima postagem ;)
SARG Relatório Diário

ola pessoal, aqui nos relatorios do sarg só mostra o ip do mikrotik e nao o ip de cada cliente, porque sera isso ?
a

Citação:

---

Postado originalmente por Marcs

ola pessoal, aqui nos relatorios do sarg só mostra o ip do mikrotik e nao o ip de cada cliente, porque sera isso ?
a

---

No meu caso, uso hotspot e so encontrei uma solução para esse problema dos ips:

regra do firewall nat:
chain=pre-hotspot action=netmap to-addresses=(ip serv. proxy) protocol=tcp src-address=192.168.0.0/16(rede dos clientes) dst-address=!192.168.0.0/16(rede dos clientes) hotspot=auth dst-port=80

e no arquivo squid.conf eu tive que colocar a linha deste modo:
http_port 3128 transparent vhost vport
always_direct allow all

se vc usar hotspot pode colocar assim que vc tera o relatorio com o ip dos seus clientes

valeu pela resposta mais ainda nao consigui faze gerar os reletorios com os ips dos clientes, aki uso arp+queues para controle. mais alguma sugestao?

Aqui, veja isto:

Código :

---

http://www.vivaolinux.com.br/artigo/MikroTik-+-Squid-2.6-com-cache-full/

---

Alguem me ajuda faço tudo que esta tutorial mais na hora de fazer ip web proxy no mk se eu por ip do serve ele para a navegacao dos clientes eu tiro ele volta a funcionar
https://under-linux.org/C:\Documents...umentos\23.bmp