LoadBalance com cache-full Mikrotik e Debian

Irei explicar detalhadamente como fazer 2 servidores robusto, seguro e confiável para rodar LoadBalance com cachê-full usando Debian e Mikrotik

O cenário será o seguinte...
2 link's sendo (um de 1MB full dedicado) e (um ADSL de 10MB)
Versão Mikrotik: 2.9.xx com 3placas de rede.
Modo de autenticação: hotspot/pppoee mac+ip
Linux Debian 5.0 com 2placas de rede
Pode ser baixado em.
Anexo 4992
Mão na massa:
Já com o mikrotik instalado e as 3 placas de rede, resta fazer as configurações das placas.
1ª passo
Renomeando cada uma delas para suas respectivas configurações:
Primeira placa=Link-dedicado Segunda placa=Debian e Terceira placa=Cliente.
Configurações do Mikrotik abaixo:
Anexo 4988
Explicação:
HD de 80GB, então em max-cache-size setei ele por inteiro.
Memória de 884MB então setei 750mb pra o cachê e o resto pra o MK.
Porta 8080 que o mikrotik vai trabalhar e joga pra 3128 que o Debian trabalha.
2ª passo
Agora as configurações do Linux/GNU Debian
Modem com o IP 10.1.1.1/24 ligado na eth0 do debian com o IP 10.1.1.2/24
Não irei abordar nesse texto a instalação do sistema operacional, vou partir do ponto onde você já tem um
Debian 5.0 instalado e funcionando.
Essa maquina também deverá ter 2 placas de Rede, eth0 e eth1.
A placa eth0 será sua rede externa e eth1 a interna
A rede externa será configurada da seguinte forma:
Abra o arquivo vim /etc/network/interfaces
coloque isso
Anexo 4991
3ª passo
Coloque o MODEM em Bridge.
Ficando em modo bridge o Debian vai disca a conexão ficando o usuário e senha da operadora configurado dentro dele, pode ser com o modem em Router também, más aconselho usar em bridger porque é mais estável e nem trava muito o modem.
Para isso precisamos de alguns pacotes ( ppp e pppconfig).
Rode os comandos
Anexo 4987
4ª passo
Vamos levantar e configurar nossa outra placa de rede eth1. Por default o Debian reconhece só que não levanta e nem atribui IP p/ ela.
Abra o arquivo vim /etc/init.d/bootmisc.sh
Coloque isso na primeira linha
ifconfig eth1 180.33.1.1 netmask 255.255.255.0 up
reinicie o sistema e quando ele voltar rode o comando ifconfig e verás que aparece eth0 e eth1 com os ip’s.
5ª passo
Instalar o squid e o ssh.
apt-get install ssh
apt-get install squid
Pronto, com o ssh instalado, pode acessar o mesmo de uma outra maquina WINDOWS, pra quem já conhece e muito fácil.
6ª passo
O arquivo de configuração do squid é o squid.conf, normalmente ele se encontra em /etc/squid/squid.conf.
Pode parecer fútil, mas uma limpeza inicial no arquivo squid.conf pode ser bem útil. O arquivo de configuração original tem, em média, 2000 linhas.
cd /etc/squid
cp squid.conf squid.conf.original
grep -v ^# squid.conf.original|grep -v ^$ > squid.conf
agora abra o arquivo
vim /etc/squid/squid.conf
coloque isso
Anexo 4993
Explicação:
Anexo 4989
7ª passo
Criando os arquivos de bloqueios.
touch /etc/squid/sites
touch /etc/squid/extensoes
abra o arquivo vim /etc/squid/sites
coloque isso
.sexo.
abra o arquivo vim /etc/squid/extensoes
coloque isso
.mp3
Por enquanto acabamos com as configurações, então, vamos reiniciar o squid:
/etc/init.d/squid restart
8ª passo
Vamos cria o diretório firewall onde nosso script do IPTABLES ficará.
mkdir /etc/firewall
touch /etc/firewall/firewall
Agora sim, vamos ao script
vim /etc/firewall/firewall
O script ficará assim:
Anexo 4990
Sair e salvar o script.
9ª passo
De permissão de execução para o script:
chmod +x /etc/firewall/firewall
Adicione o firewall na inicialização do sistema:
ln -s /etc/firewall/firewall /etc/init.d/
update-rc.d firewall defaults
Execute o script:
/etc/firewall/firewall
e restart no mesmo
/etc/init.d/firewall restart
Pronto, agora você tem a divisão da rede e o proxy transparente, teste fazer uma pesquisa no google com a palavra “sexo” se tudo ocorreu bem vai ser bloqueada, e também com a extensão “.mp3”.
Se caso não queira mais bloquear o mesmo, é só comentar cada linha nos arquivos sites e extensoes ficando assim:
#.sexo.
#.mp3
Assim você acaba de fazer um LoadBalance junto com Cache-full, o Mikrotik vai pega todo o trafego da porta 80 e joga para 8080 dele e redirecionar para o Debian na porta 3128. As demais portas, ex: p2p, voip, ssh, ftp, telnet... Vai sair tudo pelo link dedicado porque tem mais estabilidade e melhor upload; assim não travando muito os Modems e só alegria para os clientes. Boa sorte para todos!!!

Thiago

O forum precisa de pessoas como vc thiago, gostei bastante das explicações e espero que ajude a mais pessoas aqui do forum.

É isso ai, toda contribuição é sempre bem vinda...

Vlws!

show de bola fiz aqui e ta bombando

Pow Thiagão !!!
Show de bola
Fiz aqui no meu provedor e ficou muito bom.
O cache full tá bombando e os clientes voando na porta 80 pelo adsl.
rsrs
Vlw ae cara

Amigo... quero fazer o seguinte... trafego na porta 80, 443, 21 etc no link dedicado.. e o restante (sujeira) no adsl... como faria?
Abraço

Citação:

---

Postado originalmente por froyer

Amigo... quero fazer o seguinte... trafego na porta 80, 443, 21 etc no link dedicado.. e o restante (sujeira) no adsl... como faria?
Abraço

---

Então froyer com aí em cima ele ja está jogando o serviço da porta 80 para o adsl, e so você fazer mais 2/4 marcações no mangle e no seu caso aí vc inverte (adsl=rota default e Link-dedicado=passando o que está marcado no mangle e a porta 80).

Olá Thiago, boa noite!

Estava avaliando seu tópico e por sinal muito bom, meus parabéns pela contribuição, mas me diga uma coisa:

No Mk você está usando o parent proxy, o que é necessário deixar o webproxy ligado correto? E se for dessa forma o debian só enchergará o ip do MK correto?

No debian o link entra em uma interface e os clientes na outra, até ai tudo bem, o que não se configura um load balance, por que existe um redirecionamento do Mk para o debian ( onde o debian está em paralelo) e o outro link entra no debian, onde ele estaria em '''serie'''', mas funcionando bem é o que importa não é verdade.

Uma pessoa conhecida minha já tinha feito algo parecido mas desfez por relatar um alto processamento do thunder, ele fez de uma forma diferente, foi assim:


Ele colocou três placas no debian, e baixou uma bridge e o iptables, fez o NAT adicinou duas interfaces na bridge e mandou ver nos servidores, no inicio se saiu bem, mas depois desistiu como relatado acima..

Vamos ver o seu como se sai aqui...Parabéns novamente pela contribuição.

Então Roberto21
Se você rever as configurações vai ver que o Debian não só está em paralelo más também fazendo a função de roteador de retaguarda e firewall, que só o proxy paralelo não faz, só apenas faz a função de obedecer o Mikrotik nas diretrizes de cachear. Isso pode se considerar um LB sim, vai reparar que tem balanceamento de serviços... Foi bom você ter lembrado do thundercache, o mesmo pode ser implementado aí também néh!
E minha idéia de colocar o Link dedicado na “rota defaul” por ter melhor performance e upload, que usando muito o upload do ADSL o modem trava correto?
E assim vai só usar o download do ADSL e o cachê do Debian.
Desde já agradeço pelos parabéns e estou tentando mais e mais me envolver com o pessoal do under-linux em aprender e ensinar também!!!

Amigo muito bom este tutorial vou tentar fazer hoje e post os resultados obg isto vai ser muito bom para mim load + cache full que maravilha obg .

Citação:

---

Postado originalmente por andrelns

Amigo muito bom este tutorial vou tentar fazer hoje e post os resultados obg isto vai ser muito bom para mim load + cache full que maravilha obg .

---

Boa sorte! Qualquer dúvida, estamos aí t+++++++:ciao:

Olá amigo, esse tópico quebrou um grande galho meu esta funcionando blza, só que percebi que meu Linux ta usando muita memoria e com um certro tempo fica lento ai preciso reiniciar, detalhe uso duas ADSL de 1mb

Meu cenário:

Debian Linux

4.0 / estou usando modo gráfico

ele 1gb de ram
hd de 80gb

Mikrotik

Ver 2.9.2.7

1gb de ram
hd de 80gb


Vc poderia dá uma luz?

dedes já agradeço!

Citação:

---

Postado originalmente por gleitao

Olá amigo, esse tópico quebrou um grande galho meu esta funcionando blza, só que percebi que meu Linux ta usando muita memoria e com um certro tempo fica lento ai preciso reiniciar, detalhe uso duas ADSL de 1mb

Meu cenário:

Debian Linux

4.0 / estou usando modo gráfico

ele 1gb de ram
hd de 80gb

Mikrotik

Ver 2.9.2.7

1gb de ram
hd de 80gb


Vc poderia dá uma luz?

dedes já agradeço!

---

Poxa amigo más so 1gb de rammmmmm, ahauhauuaha aí não vai pra frente mesmo.
Coloca mais memória que tudo vai sair vuaaaaaaaando amigo.
aHHHHHHHHHHh e outra usa so modo texto mesmo tem mais performance.
Bom é so isso t++++ qualquer coisa tamos aí

Valeu, Thiago... vou providenciar mais 1gb para o linux!

Que configuração vc recomenda para o debian em termos de hardware?

Citação:

---

Postado originalmente por thiagogenesis

Poxa amigo más so 1gb de rammmmmm, ahauhauuaha aí não vai pra frente mesmo.
Coloca mais memória que tudo vai sair vuaaaaaaaando amigo.
aHHHHHHHHHHh e outra usa so modo texto mesmo tem mais performance.
Bom é so isso t++++ qualquer coisa tamos aí

---

Que configuração de Hardware q vc recomenda?

BOm vamos lá!

Processador: AMD Athlon II X2 240 AM3/2.8Ghz/2Mb
Placa mãe: MB Asus M3N-HD HDMI
Memoria: Memória 2Gb DDR2 800Mhz Kingston "Qnt: 4" para interar 8GB
Placa de rede: 3com sem sombra de dúvidas neh.
Bom é isso aí, ta com um server robusto e confiável...

Rapaz eu fiz tudo q pediu o tutorial - a parte do modem bridge pq são 4 modems aqui no provedor, e a internet ta funcionado blz.

O que poderia ser?

raaaaaaapaz, não entendi bem o que tu quis dizer não amigo.

Thiago, tb é feito cache no Mikrotik ou só no Debian?
caso nos dois seria sempre bom limpar o cache do Mk?

Não amigo!
O Mikrotik só faz a parte de controle de banda e apenas joga tudo para o Debian que só apenas faz a função de obedecer o Mikrotik nas diretrizes de cachear...
t++++

Muito boa sua contribuição Thiago,

Eu atualmente estou usando o proxy do mikrotik mesmo, porq uso pc ap, porém estou precisando urgente montar um proxy em pararelo, estou pensando em testar a sua contribuição, porém pretendo também colocar um servidor web na maquina linux com ispconfig, gostaria de saber se é possivel isso ??

Estou mais aconstumado com o linux CentOS, será que muda muito a config se fosse pra fazer esse proxy pararelo com CentOS ??

Amigo não muito, ja que é so pra proxy paralelo vc não precisa fazer firewall, se faz no Mikrotik.
Basta adaptar as regras aí para o teu OS e tudo vai dar certo.
ahhhh lembrando a questão do server de web, eu não acho uma boa idéia não amigo, é mais interessante tu fazer em paralelo aos SERVERS aí.
:)

Citação:

---

Postado originalmente por gleitao

Thiago, tb é feito cache no Mikrotik ou só no Debian?
caso nos dois seria sempre bom limpar o cache do Mk?

---

Caso eu desabilite o web-proxy do MK e deixe apenas no Debian, tem algum problema?

eu percebi que o MK está consumindo memoria!

não amigo, más no squid do Debian tem que ta abilitado o tranparente proxy e criar uma rota no MK e fazer marcação da porta 80 para ela. E outra esquece de cache full...

Ei pow Thiagão, tu vai endoidar o povão aqui heim!!!!

Caro Tiago estou com uma dúvida???

Montei como vc ensinou no tutorial que por sinal funcionou perfeitamente.

Segui ao pé da letra e foi 10.

Mas minha dúvida é a seguinte:

Se eu der uma tracert em um endereço ele me mostra a rota do link, mas se eu entrar em um site para me mostrar como o www.meuip.com.br ele me mostra a rota da adsl no caso utilizando a porta 80 do redirecionamento do servidor de cache que sai pela adsl.

Como fazer alguns domínios ou destinos sairem pelo link mesmo utilizando o redirecionamento da porta 80 para o cache.

:egg:

Ivan Galves

Não tem como redirecionar amigo, por conta do tracert ser um comando que permite descobrir o caminho feito pelos pacotes desde a sua origem até o seu destino que usa a porta 33434UDP, e não um "serviço".
Sempre vai disparar para a rota default ja que o comando parte do cliente.
t++++++++++++++

Thiago, na configuração vc colocou um modem em bridge... só que no meu caso vou ter que add outro velox... e tenho um load balance da d-link para isso, como faço para usar o debian com esse roteador no lugar do modem em bridge?

desde já agradeço a força... e sei que to te enchendo o saco! rsrsrs:boxing:

Simples, la no script do firewall tu deleta as duas ultimas linhas, que serve para deletar uma rota e add uma nova, trocando por essa (route add default gw ip-do-d-link-LB). E não instala o pacote ppp e pppoeconf. t++++++++++

Thiago fiz como vc colocou ai, quando rodo o script

ele apresenta SIOCADDRT A rede está fora de alcance

o meu lb604 esta com o servidor dhcp ativo.


tem uma varivél que vc criou no inicio do script = WAN_NIC=ppp0


cara, to enrrolado.

Então amigo!
Em WAN_NIC=ppp0 a sigla ppp0 significa a interface do link que no teu caso seria: eth0/eth1 ou eth2...
Bom troque só isso aí e manda bala.

Citação:

---

Postado originalmente por thiagogenesis

Então amigo!
Em WAN_NIC=ppp0 a sigla ppp0 significa a interface do link que no teu caso seria: eth0/eth1 ou eth2...
Bom troque só isso aí e manda bala.

---

Valeu Thiago, ta funcionando legal.

Muito obg.:elefant:

thiagogenesis

Blz Amigo

Meu provedor tenho um AP-PC funcionando com um controle P2P, Limite de Conexões e Hotspot com uma adsl de 1MB e 30 clientes ate ai esta otimo.

Mais estou pensando em melhor e se post é muito interessante.
Tenho um Debian instalado Numa intel Dg31+ core2duo 7400 com 2ram

Gostaria apenas de uma orientação na substituição do link dedicado por adsl de preferencia em bridge se preciso fazer alguma alteração nesta linhas da nat na configuração do adsl:
/ip firewall nat

add action=accept chain=dstnat comment="passa fora do proxy CONECTIVA" disabled=no dst-address=200.201.160.0/24
add action=accept chain=dstnat comment="" disabled=no dst-address=200.201.173.0/24
add action=accept chain=dstnat comment="" disabled=no dst-address=200.201.166.0/24
add action=accept chain=dstnat comment="" disabled=no dst-address=200.201.174.0/24
add action=accept chain=dstnat comment="passa fora do proxy RADIO-UOL" disabled=no dst-address=200.221.8.0/24
add action=masquerade chain=srcnat comment="Nat Full" disabled=no
add action=redirect chain=dstnat comment="redirecionamento para o proxy" disabled=no dst-port=80 protocol=tcp src-address=\
192.168.0.0/24 to-ports=8080

e no DNS do eth0 do Debian

dns-nameservers 200.175.182.139
dns-search 200.175.5.139

estas linhas tenho que colocor as da operadora daqui de neste caso seria 200.165.132.154/200.165.132.148

desde ja obrigado.

Não amigo no máximo você vai trocar apenas o dns e cria um discador pppoe para o modem.
É muito interessante você seta o DNS de tua operadora.
Bom é isso aí, boa sorte...

Tiago

Fiz como você orientou mais não funfou

eu acredito que o erro foi no Debian
eu add o comando

mcedit /etc/init.d/bootmisc.sh
e coloquei na primeira linha
ifconfig eth1 180.33.1.1 netmask 255.255.255.0 up

mais quando digitei no terminal ifconfig não tem o endereço atribuido no eth1

tentei editar manualmente, mais o MK não conversou com o debian

se poder dar uma luz, agradeço... meu msn é [email protected]

é amigo pelo que você ta me dizendo, pode ser a placa de rede que não foi reconhecida pelo Debian.
Rode o comando lsmod, os módulos de placas rede ethernet comuns são 8139too, via-rhine, sis900 e rtl8139. Se não aparecerem na saída do lsmod aí em cima, podem ter sido carregados como drivers <*> junto com o kernel, ou podem não estar disponíveis os módulos corretos.
Rode os comandos lspci, lsmod e ifconfig, e tenha certeza que a placa foi reconhecida.
t+++++++

Homem não sei o que pode estar acontecendo

lspci
01:00.0 Ethernet controller: Attansic Technology Corp. L2 100 Mbit Ethernet Adapter (rev a0)
02:01.0 Ethernet controller: Winbond Electronics Corp W89C840

Comando executado:

mcedit /etc/init.d/bootmisc.sh

na primeira linha
ifconfig eth1 180.33.1.1 netmask 255.255.255.0 up

mais ainda não atribuiu. help

fui via terminal e add direto implantei as regras no mk, mais não funcionou.
naveguei mais apenas pelo link do MK

Thiago oi

Eu preciso que o servidor debian com squid, também instalado o Thundercache3.
É possível fazer isso, você deve alterar as linhas no tutorial que você escreveu?
O Thundercache foi configurado com um script desenhado por Luciano Rapanelli.

Espero a vossa ajuda, obrigado

OSVALDO
ARGENTINA
* Traduzido com o google tradutor

caro amigo insanet,
apenas muda as config do teu arquivo "squid.conf"...
Aqui vai um exemplo:

http_port 177.1.1.2:5128 transparent
cache_mem 400 MB
cache_swap_low 80
cache_swap_high 85
maximum_object_size 80 MB
maximum_object_size_in_memory 256 KB
cache_dir ufs /var/spool/squid 30000 16 256
access_log /var/log/squid/access.log squid
acl all src all
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl localnet src 10.0.0.0/8 # RFC1918 possible internal network
acl localnet src 172.16.0.0/12 # RFC1918 possible internal network
acl localnet src 177.1.1.0/24 # RFC1918 possible internal network
acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localnet
http_access deny all
icp_access allow localnet
icp_access deny all
#hierarchy_stoplist cgi-bin ?
access_log /var/log/squid/access.log squid
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
refresh_pattern (Release|Package(.gz)*)$ 0 20% 2880
refresh_pattern . 0 20% 4320
acl shoutcast rep_header X-HTTP09-First-Line ^ICY\s[0-9]
upgrade_http0.9 deny shoutcast
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
extension_methods REPORT MERGE MKACTIVITY CHECKOUT
hosts_file /etc/hosts
coredump_dir /var/spool/squid

# regras para redirecionar para o thunder
acl thunder_lst url_regex -i "/etc/thunder/thunder.lst"
cache deny thunder_lst
cache_peer 177.1.1.2 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 177.1.1.2 allow thunder_lst
cache_peer_access 177.1.1.2 deny all

## Bloquear o cache local
acl servercache dstdomain 177.1.1.2
acl sites_sem_cache dstdomain -i "/etc/thunder/thunder.lst"
always_direct allow sites_sem_cache
cache deny sites_sem_cache
cache deny servercache
server_persistent_connections off


Pronto agora so mudar as faixa de redes, e seta para trabalhar com as tuas aí.
Lembrando eu uso o squid não o squid3 por questão de configurações mesmo e não por estabilidade...
GoooooooooooooD Luuuuuuuuuuck

Muito bem explicado Parabens Amigo!!

Obrigado Marlon, e o máximo que eu pude fazer, qualquer dúvida tamos aí.

Vlwww Brother!!! me add msn ai [email protected]

e Thiago o trabalhão que deve ter dado pra você fazer isso aqui e ajudar muita gente, veio um cara por trás e postou em outro forum com autoria dele mesmo. Rsss
http://mk-auth.com.br/forum/topics/l...om-debian-50-e

Show de bola esse topico :D Parabéns

Ola amigos

Tem alguem que usa e metodo de balanceamento.
Qual ficou melhor usando o debian ou pcc pelo mk?

Pra mim o Debian ficou melhor.

Citação:

---

Postado originalmente por thiagogenesis

Pra mim o Debian ficou melhor.

---

,

Ola Tiago

poderia tirar uma duvida, como ficaria a regra para 5 links adsl