Mikrotik + Squid 3.0-Stable8 Paralelo(rota estática) + Thunder Cache + Sarg

**jacksonezidio** · 24-06-2009, 17:53

Bom para os iniciantes vou disponibilizar um pequeno script feito aqui para ajudar os que estao tendo problemas.

As regras de iptables deve ser digitadas diretamente no terminal, nada de colocar elas em squid.conf como tem gente pensando..
no caso aqui o script ja faz tudo, basta ir digitando oq ele pede.

Favor nao apenas copiar e colar, mas entender as regras ok!

Crie um novo arquivo arquivo no linux com o vim ou outro editor de textos de sua preferencia e adicione o conteudo:

#!/bin/sh
# configurador.sh
# Configura o Servidor Debian para ser integrado junto ao MK
#
# =========================================
# Jackson E. Deus
# Torres & Torres
# Torres estaiadas e autoportantes
# [email protected]
# =========================================
#
# configurador.sh v1.0
# script simples para ajudar na configuração do debian, configura interface de rede, ip, rota, compartilhamento, porta do squid..
#
#
# Processamento
#
echo "Digite o nome da sua interface de rede, ex: eth0"
read INTERFACE
echo "Digite o endereço ip desejado, ex: 192.168.0.254"
read IP
echo "Digite o endereço ip do gateway, ex: 192.168.0.1"
read GW
echo "Digite o endereço ip do servidor DNS MIKROTIK, ex: 192.168.0.1"
read DNS
echo "Digite a rede dos clientes com máscara, ex: 172.25.0.0/16"
read REDE
echo "Digite a porta usada pelo seu squid, ex: 3128"
read PORTA

ifconfig $INTERFACE $IP # Configura o ip da interface
route add default gw $GW # Configura a rota
echo nameserver $DNS > /etc/resolv.conf # Configura DNS do MIKROTIK
echo 1 > /proc/sys/net/ipv4/ip_forward # Habilita roteamento

iptables -t nat -A POSTROUTING -o $INTERFACE -j MASQUERADE # Compartilhamento da conexão no Debian

iptables -t nat -A PREROUTING -i $INTERFACE -s $REDE -p tcp --dport 80 -j REDIRECT --to-ports $PORTA # Redireciona requisições da porta 80 para a porta 3128 do squid

-----------------------recorte aqui------------------------------

salve o arquivo, se for no vim use ESC ( sai do modo de edição e entra no modo de comando ) :wq ( w salva, q sai )
De permissao de execução para o script:
chmod +x configurador.sh

Agora soh executar ( como root )
./configurador.sh

Pronto galera, fiz esse script aqui nas pressas pq tenho q sair, qualquer duvida posta ai , com um tempo vou criar uma nova versao com algumas melhorias e melhor estrutura ok
xD

**jacksonezidio** · 25-06-2009, 08:28

Olá galera, com um pouquinho mais de tempo bolei outro script aqui pra ajudar os que tem dificuldade pra configurar a rede do Linux e integrar ao mikrotik de acordo com a solução postada pelo nosso colega darklinux3, dessa vez o script eh feito em dialog, ele eh bem interativo e facil de usar.
melhorias virão, quem quiser editar fique a vontade, soh nao retire meus créditos por favor...
fiquem a vontade pra reclamar e elogiar!

descompacte o arquivo no windows msmo e envie para o linux, ou baixe do site direto no linux..
De permissao de execuçao para o script:

chmod +x configurador.sh

Execute:
./configurador.sh

t++

**adepad** · 25-06-2009, 21:11

Postado originalmente por jacksonezidio

Olá galera, com um pouquinho mais de tempo bolei outro script aqui pra ajudar os que tem dificuldade pra configurar a rede do Linux e integrar ao mikrotik de acordo com a solução postada pelo nosso colega darklinux3, dessa vez o script eh feito em dialog, ele eh bem interativo e facil de usar.
melhorias virão, quem quiser editar fique a vontade, soh nao retire meus créditos por favor...
fiquem a vontade pra reclamar e elogiar!

descompacte o arquivo no windows msmo e envie para o linux, ou baixe do site direto no linux..
De permissao de execuçao para o script:

chmod +x configurador.sh

Execute:
./configurador.sh

t++

Por isso que adoro o under, essa união faz a força, agradeço muito pela força, vou testar e volto a postar o resultado muito obrigado pela atenção!

Agradeço a todos!

**Delvalle** · 11-07-2009, 15:19

Ola amigos, consegui fazer o cache por estes tutorias, mais bercebi algo com o Thunder Cache:

Com o Thunder Cache, vc clica no youtube em um video de 10 min por ex., assim que o video começar vc clica em outro. Reparem que o Thunder Cache mesmo vc tendo abondonado o vídeo de 10 min, ele continua fazendo o download do vídeo anterior ate o fim, se o usuario sair clicando em uns videos e nao assistilo completo o thunder ira fazer o donwload completo dos videos. Neste caso ele estara fazendo o inverso do seu papel, ele estara aumentando o consumo do link, rss.

**WWANInternet** · 11-07-2009, 20:42

Postado originalmente por Delvalle

Ola amigos, consegui fazer o cache por estes tutorias, mais bercebi algo com o Thunder Cache:

Com o Thunder Cache, vc clica no youtube em um video de 10 min por ex., assim que o video começar vc clica em outro. Reparem que o Thunder Cache mesmo vc tendo abondonado o vídeo de 10 min, ele continua fazendo o download do vídeo anterior ate o fim, se o usuario sair clicando em uns videos e nao assistilo completo o thunder ira fazer o donwload completo dos videos. Neste caso ele estara fazendo o inverso do seu papel, ele estara aumentando o consumo do link, rss.

É Muito raro um cliente clicar em varios links e não assisti-los fechar eles depois ..Mas sua Observação é interessante e relevante

**osmano807** · 12-07-2009, 19:14

Postado originalmente por Delvalle

Ola amigos, consegui fazer o cache por estes tutorias, mais bercebi algo com o Thunder Cache:

Com o Thunder Cache, vc clica no youtube em um video de 10 min por ex., assim que o video começar vc clica em outro. Reparem que o Thunder Cache mesmo vc tendo abondonado o vídeo de 10 min, ele continua fazendo o download do vídeo anterior ate o fim, se o usuario sair clicando em uns videos e nao assistilo completo o thunder ira fazer o donwload completo dos videos. Neste caso ele estara fazendo o inverso do seu papel, ele estara aumentando o consumo do link, rss.

Isso já foi discutindo antes... E se outro usuário for depois assistir ao mesmo vídeo?
E segundo: não há como descobrir se o usuário saiu do vídeo...

**lelyrock** · 13-07-2009, 11:59

é um problema mesmo, tem muita gente q sai abrindo varios videos sim, especialmente da pagina do orkut que fica 10 la na mesma pagina, eles clicam em todos pensando que vao carregar tudo com a velocidade de 1. ai eles cansao de esperar, fecha a pagina, e sabesse la se vao voltar na mesma pagina da outra pessoa....

vejo muito isso aqui na lan house.

tava usando o squid 2.6 puro, resolvi instalar o thunder mas nao termindei a instalaçao, e to suspeitando que vai dar zebra nos meus 600Kbs de link que tenho na lanhouse....rs
ao invez de ficar rapido vai ficar mais lenta a navegaçao....

se desse pra fazer uma regra dentro do patche que limitasse o download do youtube em 50%, no meu caso 300kbs, daria pra deixar os outros 50% para o resto.

**osmano807** · 14-07-2009, 09:20

Postado originalmente por lelyrock

é um problema mesmo, tem muita gente q sai abrindo varios videos sim, especialmente da pagina do orkut que fica 10 la na mesma pagina, eles clicam em todos pensando que vao carregar tudo com a velocidade de 1. ai eles cansao de esperar, fecha a pagina, e sabesse la se vao voltar na mesma pagina da outra pessoa....

vejo muito isso aqui na lan house.

tava usando o squid 2.6 puro, resolvi instalar o thunder mas nao termindei a instalaçao, e to suspeitando que vai dar zebra nos meus 600Kbs de link que tenho na lanhouse....rs
ao invez de ficar rapido vai ficar mais lenta a navegaçao....

se desse pra fazer uma regra dentro do patche que limitasse o download do youtube em 50%, no meu caso 300kbs, daria pra deixar os outros 50% para o resto.

Estou na mesma situação sua, até pela velocidade da internet! Eu coloquei só o youtube pensando nisto mesmo, mas em 5 dias eu tenho 5 GiB de vídeos, e 500 MiB de hit, mesmo assim não compensa.

Para limitar, acho que iniciando outro squid com a limitação de banda só para o thunder, dá certo. Ou até mesmo HTB...

**lelyrock** · 14-07-2009, 19:05

Postado originalmente por osmano807

Estou na mesma situação sua, até pela velocidade da internet! Eu coloquei só o youtube pensando nisto mesmo, mas em 5 dias eu tenho 5 GiB de vídeos, e 500 MiB de hit, mesmo assim não compensa.

Para limitar, acho que iniciando outro squid com a limitação de banda só para o thunder, dá certo. Ou até mesmo HTB...

é, eu acho que o thunder com todos esses patches so é indicado mesmo pra grandes provedores que tem mais de 100 clientes na rede e com um bom link

pra nois o ideal seria balancear um link extra de menos qualidade so pro youtube e globovideos
e outro link limpo pro resto.

mas como faria essa limitaçao ai no outro squid da forma q falou?
seriam 2 squid e 2 thunder rodando na mesma maquina???
eu uso ele paralelo ao mk pelo webproxy

**osmano807** · 15-07-2009, 09:08

Postado originalmente por lelyrock

é, eu acho que o thunder com todos esses patches so é indicado mesmo pra grandes provedores que tem mais de 100 clientes na rede e com um bom link

pra nois o ideal seria balancear um link extra de menos qualidade so pro youtube e globovideos
e outro link limpo pro resto.

mas como faria essa limitaçao ai no outro squid da forma q falou?
seriam 2 squid e 2 thunder rodando na mesma maquina???
eu uso ele paralelo ao mk pelo webproxy

Seria 2 squid, um squid principal com o thunder, e outro com delay_pools limitando tudo.
No thunder, configurava as opções de proxy para esse squid limitado.
Aí no squid.conf, configurava a delay_pools certinho limitando tudo a uma velocidade, teria que bloquear acessos externos também.

**lelyrock** · 15-07-2009, 20:42

Postado originalmente por osmano807

Seria 2 squid, um squid principal com o thunder, e outro com delay_pools limitando tudo.
No thunder, configurava as opções de proxy para esse squid limitado.
Aí no squid.conf, configurava a delay_pools certinho limitando tudo a uma velocidade, teria que bloquear acessos externos também.

ok, mas seriam 2 squid.conf na mesma maquina em diretorios diferentes ou em maquinas separadas?

minha duvida é pq ja li em algum lugar de se colocar 4 instancias do squid em cada processo para ser usado por processadores de 4 nucleos, entao nao sei se vc ta se referindo 2 maquinas linus como "2 squid" ou 2 instancias do squid

**osmano807** · 16-07-2009, 12:19

2 squid.conf mesmo. Tenho rodando em um servidor W2K3 dois proxy, um principal com a opção cache_peer para se ligar ao outro, e um proxy para testes eventuais, como url_rewrite.

**lelyrock** · 17-07-2009, 14:55

vlw, vou testar depois!!!

**lfernandosg** · 19-07-2009, 11:04

Amigo estou com duas dúvidas:

1)Porque vc deixou o debian como Gateway da rede e não o IP do MK? pergunto porque a internet vem do MK correto? então acho que o gw seria o IP do MK.
2)Não vi as regras no squid.conf para cache full do thundercache e do squid com zph e não vi as regras do mk marcando o pacote e queue tree para o thunder e para zph trabalhar a full com uma velocidade determinada, onde?

**mktguaruja** · 19-07-2009, 11:27

galera quando eu executo o sarg da o seguinte erro..

SARG: getword loop detected.
SARG: searching for 'x20'
SARG: Maybe you have a broken record or garbage in your access.log file.

o que pode ser ?? alguem poderia me ajuda para ele todo dia gerar um relatorio.?

obrigado a todos

**darklinux3** · 19-07-2009, 12:03

Postado originalmente por lfernandosg

Amigo estou com duas dúvidas:

1)Porque vc deixou o debian como Gateway da rede e não o IP do MK? pergunto porque a internet vem do MK correto? então acho que o gw seria o IP do MK.
2)Não vi as regras no squid.conf para cache full do thundercache e do squid com zph e não vi as regras do mk marcando o pacote e queue tree para o thunder e para zph trabalhar a full com uma velocidade determinada, onde?

Olá lfernando,

Deixei o debian como gateway somente da porta 80 (HTTP), justamente para não utilizar os recursos de firewall para redirecionar os pacotes, e sim utilizar ROTA ESTÁTICA. Desta maneira o firewall não remarca o cabecalio ip do pacote, deixando-o com o IP de origem do proprio cliente. A internet está full para o debian, os clientes ficarao como gateway o MK, porem pacotes com destino a porta 80 serão encaminhados para o debian que fará o cache dos arquivos.
Neste tutorial não tem ZPH e nem cache full pois este assunto é tratato em diversos outros topicos aqui no forum. Apenas ensino como utilizar o recurso de rotas estaticas com o thundercache o resto é por conta de vocês.

**lfernandosg** · 19-07-2009, 17:25

ah blz...quando flei sobre o cache full é porque vc colocou ", fazendo cache full tanto com o thunder cache quanto com a directiva "X-Cache: HIT" do squid. " ai achei que iria postar como fez mas blz....uma última dúvida qual a vantagem de colocar o debian como gw ? só não usar as regras direcionando para ele no mangle?

**darklinux3** · 19-07-2009, 18:37

Postado originalmente por lfernandosg

ah blz...quando flei sobre o cache full é porque vc colocou ", fazendo cache full tanto com o thunder cache quanto com a directiva "X-Cache: HIT" do squid. " ai achei que iria postar como fez mas blz....uma última dúvida qual a vantagem de colocar o debian como gw ? só não usar as regras direcionando para ele no mangle?

Aqui tive problemas com o redirecionamento por dst-nat, incluia a regra e não dava certo. Então procurei uma maneira de não utilizar o NAT do firewall do MK para redirecionamento para o servidor proxy.

Utilizando o firewall muitos dizem que alguns pacotes passam batido pela regra, com o uso de rotas estaticas voce esta trabalhando em um nivel mais baixo do modelo osi, e pelo fato de deixar o cabecaio intacto voce não tem problema na identificacao pelo MK do TOS (no caso de uso de ZPH) ou directivas de remarcacao de cabecalios de pacotes como "X-Cache: HIT" ou como muito ensinam por ai do thunder cache "Thunder: Thunder" para casos de cache full.

A grande vantagem é utilizar uma maquina dedicada para cache efetivo (thundercache), e ter relatorios de acessos de todos os clientes atraves do sarg, o que é muito importante para um ISP.

Espero ter ajudado
Abs!

**mktguaruja** · 20-07-2009, 23:42

darklinux3 https://under-linux.org/forums/image...er_offline.gif

vc pode me ajuda a fazer um relatorio diario agendamento no cron?? ate agora nao conseguir de jeito nenhum fazelo... obrigado

**darklinux3** · 21-07-2009, 14:21

Postado originalmente por mktguaruja

darklinux3 https://under-linux.org/forums/image...er_offline.gif

vc pode me ajuda a fazer um relatorio diario agendamento no cron?? ate agora nao conseguir de jeito nenhum fazelo... obrigado

Ultima postagem

SARG Relatório Diário

Mikrotik + Squid 3.0-Stable8 Paralelo(rota estática) + Thunder Cache + Sarg

Ferramentas de Tópicos

modelo de script

nova versão do script