migrar servidor debian internet para mikrotik

[lfernandosg]

boa tarde pessoal vou explicar como está meu servidor de internet hoje para depois vcs me ajudarem no preciso para migrar para o mikrotik:


Servidor Atual:
hardware:
P4 2.66/1GB/80GB sata
Dist.: debian 4.0 stable + squid 2.7 autenticado + iptables

hoje meu squid é autenticado por usuário(cada usuário tem sua ACL) exemplo de um usuário:

autenticacao:
#USER:inspetor
acl u_inspetor proxy_auth inspetor

permissões:
#USER: inspetor
acl u_inspetor_url_allow url_regex -i "/etc/squid/u_inspetor_allow"
http_access allow u_inspetor u_inspetor_url_allow
acl u_inspetor_url_deny url_regex -i "/etc/squid/u_inspetor_deny"
http_access deny u_inspetor u_inspetor_url_deny

explicando: o que está dentro de u_inspetor_allow pode ser acessado e o que está dentro de u_inspetor_deny está bloqueado para acesso e se eu quiser bloquear tudo para ele e ir liberando aos poucos dentro de u_inspetor_deny coloco ".*" pronto tudo bloqueado e só acessa o que quero.

deu para entender? tenho uma acl que é de bloqueio geral /etc/squid/bloqueados que tem orkut,msn e etc... e fica antes dessa acima pois qualquer um fica bloqueado ao msn e etc...


mas maquinas como a minha e da diretoria libero do proxy via iptables e os usuários que podem acessar o msn na empresa tem outra acl antes da de bloqueio acima que libera só para esses usuários.

personalizo páginas de aviso de bloqueio, página que não existem e etc...lembrando que cada usuário tem sua acl que só autentica com usuário e senha para ela.



O que preciso:

migrar todas essas funcionalidades acima para o mokrotik e aplicar o cache full então para começar com calma primeiro preciso saber quais ferramentas preciso configurar + hardware para isso??tenho hoje dentro da empresa 30 máquinas clientes + 7 servidores.

Aguardo a ajuda de vcs.

[Raniel]

Se for usar um mikrotik versão 2.9.x use um hd ide, caso use o mikrotik 3.x use sata ou ide, o mikrotik não irá fazer autenticação por usuário usando o squid, mas pode suprir tal falta usando o hotspot. O resto aqui no forum você acha.

[lfernandosg]

então tenho como fazer esse tipo de autenticacao(com as permissões que faço por usuário(acl por usuário))no hotspot?

[amaia]

Bem, nao minha opniao, vc nao precisa de mikrotik para fazer cache full, coisa que o squid jah faz. Entao se vc jah tem um linux, com regras de iptables, squid rodando redondo, vc nao precisa trocar de sistema. Agora tem uns passos interessantes na configuracao do squid.
1) quantidade de cache feito em memoria. Ex: alocar 512mb para cache em memoria ( com isto as paginas mais visitadas ficarao residentes em memoria, melhorando o acesso ao cache )
2) tamanho do objeto em cache de memoria. Ex: 100kbytes ( neste caso, a regra eh simples, jpgs, htmls e outros arquivos pequenos eh que serao cacheados em memoria, arquivos maiores vao para o cache em disco )
3) tamanho maximo do objeto em cache de disco. Ex: 700mbytes ( aqui um detalhe interessante, se estivesse usando um proxy transparente, as atualizacoes do windows, antivirus e afins seriam armazenadas no cache e quando requisitadas nao seriam baixadas da internet, economizando link com atualizacoes automaticas, mas no seu caso serve para os arquivos grandes que nao fazem cache em memoria ).

Obs: Uso algo semelhante no meu provedor de acesso, o trafego diario eh de aproximadamente 2gb-3gb. O uso do meu cache em disco eh de aproximadamente 3gb, o consumo de memoria com o squid gira em torno de 500mb.
Computador usado: P4 3.0 ghz 1Gb ram 40Gb hd ide. Squid configurado para usar 20Gb de cache. Tenho aproximadamente 30 usuarios simultaneos.

[lfernandosg]

muito obg pela resposta..então como faço para habilitar o cache full no debian com squid 2.7?

[amaia]

Segue os parametros.

Parametros do squid para usar o recurso do cache em memoria:
1) cache_mem 512 MB
2) maximum_object_size_in_memory 300 KB

Parametro do maior objeto em disco
1) maximum_object_size 700000 KB

Aconselho tambem instalar o sarg para ver quais arquivos foram baixados atraves do squid.

[lfernandosg]

certo isso já tenho configurado quero saber como ativar o cache full que não são esses parametros...como?

[sergio]

certo isso já tenho configurado quero saber como ativar o cache full que não são esses parametros...como?

Procure por zph. Tem uns posts do tinguapontocom que ensina como... tem um artigo dele no Viva o Linux - A maior comunidade Linux do Brasil!

[lfernandosg]

certo mas até onde vi o zph não roda no squid 2.7 só no 2.6 correto?

[sergio]

certo mas até onde vi o zph não roda no squid 2.7 só no 2.6 correto?

No 2.7 nem precisa do patch.. já está pronto.

http://www.squid-cache.org/Versions/v2/2.7/cfgman/

[amaia]

Cache Full = fazer cache de conteudo dinamico ???? Se sim, link para a solucao: Linux.com :: Speed up your Internet access using Squid's refresh patterns.

[lfernandosg]

blz..então quais parâmetros devo habilitar para ativar o cache full?quero deixar pelo menos os usuários baixando a 10Mpbs.

OBS.: acho que tem que ter umas regras no iptables ou no htb tb mas não sei quais

[sergio]

blz..então quais parâmetros devo habilitar para ativar o cache full?quero deixar pelo menos os usuários baixando a 10Mpbs.

OBS.: acho que tem que ter umas regras no iptables ou no htb tb mas não sei quais

Procurou o artigo que mencionei? Nele mostra como realizar as configurações.

[amaia]

no Squid 3:

refresh_pattern ^ftp: 144000 20% 1008000
refresh_pattern -i \.(gif|png|jpg|jpeg|ico|bmp)$ 260000 90% 260009 override-expire
refresh_pattern -i \.(iso|avi|wav|mp3|mp4|mpeg|swf|flv|x-flv|mpg|wma|ogg|wmv|asx|asf)$ 260000 90% 260009 override-expire
refresh_pattern -i \.(deb|rpm|exe|zip|tar|tgz|ram|rar|bin|ppt|doc|tiff|pdf|uxx)$ 260000 90% 260009 override-expire
refresh_pattern -i \.index.(html|htm)$ 1440 90% 40320
refresh_pattern -i \.(html|htm|css|js)$ 1440 90% 40320
refresh_pattern (/cgi-bin/|\?) 0 0% 0
refresh_pattern . 0 20% 4

Regras para youtube e afins:

logo apos a definicao do refresh_patern

acl youtube dstdomain .youtube.com
cache allow youtube


no squid 2.7 e anteriores:

remover:
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY

adicionar:
refresh_pattern (/cgi-bin/|\?) 0 0% 0
refresh_pattern . 0 20% 4

A respeito do htb, como nao sei como anda sua configuracao, segue uma dica, eh preciso colocar uma regra para o trafego entre a estacao e o servidor seja feito em 10mbps.

[lfernandosg]

obg por responder amaia...não tenho ne huma regra no htb...quer dizer antes tinha dividindo meu link embratelde 1mb para 512k para internet e 512 para o voip asterisk...então se puder ajudar como faço para colocar no htb que tudo que for baixado na rede, fique no cache do squid e possa ser baixado pelas outras maquinas a 10Mbps pois não entendo muito de htb.amanhã mesmo vou habilitar essas regras no squid para ficar faltando só o htb.


meu servidor debian esta assim:

eth0 -> ip valido da embratel
eth1-> 10.0.1.254 placa de rede que vai para rede interna e é o gateway da rede claro!!

minha range da rede é 10.0.1.0/24.

[amaia]

Vc tem duas opcoes:
1) Fazer da seguinte forma:
asterisk
roteador linux
squid

no roteador linux define uma regra para o squid usar somente 512k

2) Opcao:
No caso do roteador linux se a mesma maquina em que roda o squid, colocar uma regra no htb para que o asterisk tenha prioridade de trafego, isto o eh, o que vir do asterisk vai ter preferencia independente da velocidade requisitada.

[lfernandosg]

isso eu já fiz...o asterisk tem 512k e o linux+restante da rede 512k no HTB ajudado por um amigo o que preciso que me ajude é na regra de cache full no HTB que não sei como colocar para ativar os downloads pelo menos a 10Mbps e que páginas já visitadas para tb que tem a opção de habilitar cache full no HTB.

[amaia]

Vc usa filtro U32 ou fwmark ????
No caso do U32 vc pode especificar em match ip src e match ip dst o endereco da sua rede, criando uma regra para que o trafego local seja em 10Mbps

[lfernandosg]

está assim meu HTB:


placa de rede externa:

#!/bin/bash

tc qdisc del dev eth0 root

tc qdisc add dev eth0 root handle 1:0 htb default 50
tc class add dev eth0 parent 1:0 classid 1:1 htb rate 1024kbit

tc class add dev eth0 parent 1:1 classid 1:10 htb rate 512kbit ceil 512kbit prio 1 # voip
tc class add dev eth0 parent 1:1 classid 1:20 htb rate 100kbit ceil 200kbit prio 2 # DNS / ACK / SYN / FIN
tc class add dev eth0 parent 1:1 classid 1:30 htb rate 250kbit ceil 512kbit prio 3 # Terminal service
tc class add dev eth0 parent 1:1 classid 1:40 htb rate 128kbit ceil 300kbit prio 4 # HTTP
tc class add dev eth0 parent 1:1 classid 1:50 htb rate 128kbit ceil 400kbit prio 5 # Geral


tc qdisc add dev eth0 parent 1:10 handle 10: pfifo limit 10
tc qdisc add dev eth0 parent 1:20 handle 20: sfq perturb 10
tc qdisc add dev eth0 parent 1:30 handle 30: sfq perturb 10
tc qdisc add dev eth0 parent 1:40 handle 40: sfq perturb 10
tc qdisc add dev eth0 parent 1:50 handle 50: sfq perturb 10


tc filter add dev eth0 parent 1:0 protocol ip prio 1 u32 match ip dport 5060 0xffff flowid 1:10
tc filter add dev eth0 parent 1:0 protocol ip prio 1 u32 match ip dport 5061 0xffff flowid 1:10
tc filter add dev eth0 parent 1:0 protocol ip prio 1 u32 match ip dport 10000 0xffff flowid 1:10
tc filter add dev eth0 parent 1:0 protocol ip prio 1 u32 match ip dport 20000 0xffff flowid 1:10
tc filter add dev eth0 parent 1:0 protocol ip prio 2 u32 match ip dport 53 0xffff flowid 1:20
tc filter add dev eth0 parent 1:0 protocol ip prio 3 u32 match ip dport 3389 0xffff flowid 1:30
tc filter add dev eth0 parent 1:0 protocol ip prio 4 u32 match ip dport 80 0xffff flowid 1:40


placa de rede interna:

#!/bin/bash

tc qdisc del dev eth1 root

tc qdisc add dev eth1 root handle 1:0 htb default 50
tc class add dev eth1 parent 1:0 classid 1:1 htb rate 1024kbit

tc class add dev eth1 parent 1:1 classid 1:10 htb rate 512kbit ceil 512kbit prio 1 # voip
tc class add dev eth1 parent 1:1 classid 1:20 htb rate 100kbit ceil 200kbit prio 2 # DNS / ACK / SYN / FIN
tc class add dev eth1 parent 1:1 classid 1:30 htb rate 250kbit ceil 512kbit prio 3 # Terminal service
tc class add dev eth1 parent 1:1 classid 1:40 htb rate 128kbit ceil 300kbit prio 4 # HTTP
tc class add dev eth1 parent 1:1 classid 1:50 htb rate 128kbit ceil 400kbit prio 5 # Geral


tc qdisc add dev eth1 parent 1:10 handle 10: sfq perturb 10
tc qdisc add dev eth1 parent 1:20 handle 20: sfq perturb 10
tc qdisc add dev eth1 parent 1:30 handle 30: sfq perturb 10
tc qdisc add dev eth1 parent 1:40 handle 40: sfq perturb 10
tc qdisc add dev eth1 parent 1:50 handle 50: sfq perturb 10


tc filter add dev eth1 parent 1:0 protocol ip prio 1 u32 match ip sport 5060 0xffff flowid 1:10
tc filter add dev eth1 parent 1:0 protocol ip prio 1 u32 match ip sport 5061 0xffff flowid 1:10
tc filter add dev eth1 parent 1:0 protocol ip prio 1 u32 match ip sport 10000 0xffff flowid 1:10
tc filter add dev eth1 parent 1:0 protocol ip prio 1 u32 match ip sport 20000 0xffff flowid 1:10
tc filter add dev eth1 parent 1:0 protocol ip prio 2 u32 match ip sport 53 0xffff flowid 1:20
tc filter add dev eth1 parent 1:0 protocol ip prio 3 u32 match ip sport 3389 0xffff flowid 1:30
tc filter add dev eth1 parent 1:0 protocol ip prio 4 u32 match ip sport 80 0xffff flowid 1:40



que linhas acrescento em cada placa para ativar o cache full como te passei acima?

[amaia]

Na eth1 fazer o seguinte:

remover:
tc class add dev eth1 parent 1:0 classid 1:1 htb rate 1024kbit

adicionar:
tc class add dev eth1 parent 1:0 classid 1:1 htb rate 100mbit

Criar regras para o squid:
tc class add dev eth1 parent 1:1 classid 1:60 htb rate 100mbit prio 1
tc qdisc add dev eth1 parent 1:60 handle 60: sfq perturb 10
tc filter add dev eth1 parent 1:0 protocol ip prio 1 u32 match ip dst-address 10.0.1.254 flowid 1:60

obs: quem determina o filtro eh dst-address