Limitando o tamanho de download (dropando ou aceitando) - CATVBRASIL

[renatocostas]

beleza renato, caso funcione, poste os scripts que voce usou pra ajudar a gente.

e uma duvida!!! caso funcione, tambem funciona para quem nao usa o pcq ?

O PCQ é interessante porque vc coloca um limite de banda e conforme vai entrando usuarios ele vai dividindo a banda igualmente entre os usuarios. Estou tentando achar so uma solução para gerenciadores de download, porque eles conseguem quebrar o arquivos em varias partes, burlando assim o controle, o pcq resolve parcialmente este problema, porque divide a banda igualmente entre os usuários, mas por exemplo se tiver apenas um usuario baixando por um gerenciador de downloads, vai baixar a full, estou trabalhando na regra para ver o q da para fazer.

Att,

Renato Costa.

[1929]

O PCQ é interessante porque vc coloca um limite de banda e conforme vai entrando usuarios ele vai dividindo a banda igualmente entre os usuarios. Estou tentando achar so uma solução para gerenciadores de download, porque eles conseguem quebrar o arquivos em varias partes, burlando assim o controle, o pcq resolve parcialmente este problema, porque divide a banda igualmente entre os usuários, mas por exemplo se tiver apenas um usuario baixando por um gerenciador de downloads, vai baixar a full, estou trabalhando na regra para ver o q da para fazer.

Att,

Renato Costa.

Renato, esta opção de liberar a banda disponível, acima do que está no controle de banda, pode ser uma faca de dois gumes. Se por um lado, agrada nos momentos de pouco tráfego, cria vícios que vão se manifestar nos períodos de alto tráfego.
Pois se em momentos de pouco tráfego libera o que estiver disponível, cria uma certa expectativa nos assinantes mais "fominhas" e daí quando não dá aquela velocidade mais alta, ficam logo reclamando.
Agora, se voce conseguir resolver a questão dos gerenciadores, ísto sim vai ser um verdadeiro achado.

[gulinhaster]

olha amigo vc teria que criar um script para que a queues sempre fique no topo da lista o script é esse



e fazer ele ser executadado de tempo em tempo

Obs.: substitua o Nome_da QUEUE pelo nome que vc deu a ela

Amigo fiz como vc falou mas a script não esta funcinando aqui, uso a versão 3.30.
Tem que mudar alguma coisa?

[renatocostas]

Amigo fiz como vc falou mas a script não esta funcinando aqui, uso a versão 3.30.
Tem que mudar alguma coisa?

Para sua versão 3.30 tem como vc fazer utilizando o layer7, agora como o amigo 1929 disse, nao tenho muito problema em fazer esta liberação, motivos vou te explicar.:
Eu sempre tenho o dobro de banda do consumo total de meus clientes, faço balance de links ADSL e dedicado, outra usando o PCQ pego uma parte do trafego de sobra e crio as marcações de forma que o queue tree utilize o PCQ. Ex.: se eu coloco 6 mb para esta queue de limite e tenho 6 usuários, o PCQ divide igualmente a banda entre eles, ou seja 1mb para cada, se tem 12, 512k para cada e assim por diante, e mesmo se o cliente utilizar o gerenciador de downloads e o mesmo divida o arquivo em 14 partes, no final ele so consome 8 mb, porem obedecendo o controle do PCQ.

Obs.: Ja tenho 3 dias de teste sem problemas, e tive um aumento de 10% do consumo do meu link apenas.

Att,

Renato Costa.

[Não Registrado]

Para sua versão 3.30 tem como vc fazer utilizando o layer7, agora como o amigo 1929 disse, nao tenho muito problema em fazer esta liberação, motivos vou te explicar.:
Eu sempre tenho o dobro de banda do consumo total de meus clientes, faço balance de links ADSL e dedicado, outra usando o PCQ pego uma parte do trafego de sobra e crio as marcações de forma que o queue tree utilize o PCQ. Ex.: se eu coloco 6 mb para esta queue de limite e tenho 6 usuários, o PCQ divide igualmente a banda entre eles, ou seja 1mb para cada, se tem 12, 512k para cada e assim por diante, e mesmo se o cliente utilizar o gerenciador de downloads e o mesmo divida o arquivo em 14 partes, no final ele so consome 8 mb, porem obedecendo o controle do PCQ.

Obs.: Ja tenho 3 dias de teste sem problemas, e tive um aumento de 10% do consumo do meu link apenas.

Att,

Renato Costa.

Fala ae Renato beleza.... voce disse que conseguiu fazer funcionar....beleza...
agora será que dá pra implantar o cache full (catvbrasil) e limitar com essa regra a velocidade do que nao esta no cache.

ex: cliente acessa baixaki e faz um download do emule 3Mb (obs emule ja esta no cache)
ele acessa a pagina igual um foguete e faz o download a 4Mbps aproximadamente.

esse mesmo acessa o baixaki (que esta no cache) e faz o download do winzip 12Mb (que nao esta no cache.
a pagina continua abrindo igual um foguete pois ela esta no cache, mas o download ainda nao esta, por isso ele vem a 150kpps, pois é essa velocidade que esta configurada.

existe essa possibilidade ? implantando as duas regras CACHE FULL E LIMITANDO O DOWNLOAD

PROXYFULL

/ queue simple
add name="proxyfull" dst-address=0.0.0.0/0 interface=all parent=none \
packet-marks=proxyfull direction=both priority=3 queue=default/default \
limit-at=0/0 max-limit=0/0 total-queue=default-small disabled=no
/ queue tree
add name="QoS" parent=global-total packet-mark=\"\" limit-at=0 queue=default \
priority=8 max-limit=20000000 burst-limit=0 burst-threshold=0 \
burst-time=0s disabled=no

add name="P2P" parent=QoS packet-mark=p2p limit-at=0 queue=default priority=8 \
max-limit=256000 burst-limit=0 burst-threshold=0 burst-time=0s disabled=no

add name="MSN" parent=QoS packet-mark=msn limit-at=20000 queue=default \
priority=2 max-limit=256000 burst-limit=0 burst-threshold=0 burst-time=0s \
disabled=no

add name="DOWNLOAD" parent=QoS packet-mark=outros limit-at=50000 queue=default \
priority=3 max-limit=2000000 burst-limit=0 burst-threshold=0 burst-time=0s \
disabled=no

LIMITANDO O DOWNLOAD

/ip firewall mangle
add action=mark-connection chain=prerouting comment="Pack full" connection-bytes=0-500000 disabled=no dst-port=80 new-connection-mark=PackFull passthrough=\
yes protocol=tcp
add action=mark-connection chain=prerouting comment="" connection-bytes=0-500000 disabled=no new-connection-mark=PackFull passthrough=yes protocol=tcp \
src-port=80
add action=mark-connection chain=prerouting comment="" connection-bytes=0-500000 disabled=no new-connection-mark=PackFull passthrough=yes protocol=tcp \
src-port=53
add action=mark-connection chain=prerouting comment="" connection-bytes=0-500000 disabled=no new-connection-mark=PackFull passthrough=yes protocol=udp \
src-port=53
add action=mark-connection chain=prerouting comment="" connection-bytes=0-500000 disabled=no dst-port=53 new-connection-mark=PackFull passthrough=yes \
protocol=udp
add action=mark-connection chain=prerouting comment="" connection-bytes=0-500000 disabled=no dst-port=53 new-connection-mark=PackFull passthrough=yes \
protocol=tcp
add action=mark-packet chain=prerouting comment="" connection-mark=PackFull disabled=no new-packet-mark=PackFullMARK passthrough=yes


/queue simple


general

Name= PACKFULL

Max limit= 10M

Advanced

Packet mark= PackFullMARK

Interface= ether2 Local


ou usando o PCQ

Agradeço desde já.

[LuizPaulo]

Para sua versão 3.30 tem como vc fazer utilizando o layer7, agora como o amigo 1929 disse, nao tenho muito problema em fazer esta liberação, motivos vou te explicar.:
Eu sempre tenho o dobro de banda do consumo total de meus clientes, faço balance de links ADSL e dedicado, outra usando o PCQ pego uma parte do trafego de sobra e crio as marcações de forma que o queue tree utilize o PCQ. Ex.: se eu coloco 6 mb para esta queue de limite e tenho 6 usuários, o PCQ divide igualmente a banda entre eles, ou seja 1mb para cada, se tem 12, 512k para cada e assim por diante, e mesmo se o cliente utilizar o gerenciador de downloads e o mesmo divida o arquivo em 14 partes, no final ele so consome 8 mb, porem obedecendo o controle do PCQ.

Obs.: Ja tenho 3 dias de teste sem problemas, e tive um aumento de 10% do consumo do meu link apenas.

Att,

Renato Costa.

Fala ae Renato beleza.... voce disse que conseguiu fazer funcionar....beleza...
agora será que dá pra implantar o cache full (catvbrasil) e limitar com essa regra a velocidade do que nao esta no cache.
ex: cliente acessa baixaki e faz um download do emule 3Mb (obs a pagina e o emule ja esta no cache)
ele acessa a pagina igual um foguete e faz o download a 4Mbps aproximadamente.
esse mesmo cliente acessa o baixaki (que esta no cache) e faz o download do winzip 12Mb (que nao esta no cache)
.
a pagina continua abrindo igual um foguete pois ela esta no cache, mas o download ainda nao esta, por isso ele vem a 150kpps, pois é essa velocidade que esta configurada.
existe essa possibilidade ? implantando as duas regras CACHE FULL E LIMITANDO O DOWNLOAD pelo tamanho.
obs: arquivos até 500k continua vindo com banda total, a proposta é limitar os arquivos que nao estao no cache maior que 500k.
PROXYFULL
/ queue simple
add name="proxyfull" dst-address=0.0.0.0/0 interface=all parent=none \
packet-marks=proxyfull direction=both priority=3 queue=default/default \
limit-at=0/0 max-limit=0/0 total-queue=default-small disabled=no
/ queue tree
add name="QoS" parent=global-total packet-mark=\"\" limit-at=0 queue=default \
priority=8 max-limit=20000000 burst-limit=0 burst-threshold=0 \
burst-time=0s disabled=no
add name="P2P" parent=QoS packet-mark=p2p limit-at=0 queue=default priority=8 \
max-limit=256000 burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
add name="MSN" parent=QoS packet-mark=msn limit-at=20000 queue=default \
priority=2 max-limit=256000 burst-limit=0 burst-threshold=0 burst-time=0s \
disabled=no
add name="DOWNLOAD" parent=QoS packet-mark=outros limit-at=50000 queue=default \
priority=3 max-limit=2000000 burst-limit=0 burst-threshold=0 burst-time=0s \
disabled=no
LIMITANDO O DOWNLOAD
/ip firewall mangle
add action=mark-connection chain=prerouting comment="Pack full" connection-bytes=0-500000 disabled=no dst-port=80 new-connection-mark=PackFull passthrough=\
yes protocol=tcp
add action=mark-connection chain=prerouting comment="" connection-bytes=0-500000 disabled=no new-connection-mark=PackFull passthrough=yes protocol=tcp \
src-port=80
add action=mark-connection chain=prerouting comment="" connection-bytes=0-500000 disabled=no new-connection-mark=PackFull passthrough=yes protocol=tcp \
src-port=53
add action=mark-connection chain=prerouting comment="" connection-bytes=0-500000 disabled=no new-connection-mark=PackFull passthrough=yes protocol=udp \
src-port=53
add action=mark-connection chain=prerouting comment="" connection-bytes=0-500000 disabled=no dst-port=53 new-connection-mark=PackFull passthrough=yes \
protocol=udp
add action=mark-connection chain=prerouting comment="" connection-bytes=0-500000 disabled=no dst-port=53 new-connection-mark=PackFull passthrough=yes \
protocol=tcp
add action=mark-packet chain=prerouting comment="" connection-mark=PackFull disabled=no new-packet-mark=PackFullMARK passthrough=yes

/queue simple

general
Name= PACKFULL
Max limit= 10M
Advanced
Packet mark= PackFullMARK
Interface= ether2 Local

ou usando o PCQ
Agradeço desde já.

[renatocostas]

Configure o webproxy para armazenar arquivos de no máximo 3m, eu constumo fazer assim nos clientes, de modo que tudo que tiver até 3mb va para o cache e quando solicitado vai a full, e tudo que for superior a 3mb sai pelo controle setado por vc.

Obs.: minha rede continua a funcionar normalmente com as regras de controle de download e naveção.

Att,

Renato Costa.

[gulinhaster]

Para sua versão 3.30 tem como vc fazer utilizando o layer7, agora como o amigo 1929 disse, nao tenho muito problema em fazer esta liberação, motivos vou te explicar.:
Eu sempre tenho o dobro de banda do consumo total de meus clientes, faço balance de links ADSL e dedicado, outra usando o PCQ pego uma parte do trafego de sobra e crio as marcações de forma que o queue tree utilize o PCQ. Ex.: se eu coloco 6 mb para esta queue de limite e tenho 6 usuários, o PCQ divide igualmente a banda entre eles, ou seja 1mb para cada, se tem 12, 512k para cada e assim por diante, e mesmo se o cliente utilizar o gerenciador de downloads e o mesmo divida o arquivo em 14 partes, no final ele so consome 8 mb, porem obedecendo o controle do PCQ.

Obs.: Ja tenho 3 dias de teste sem problemas, e tive um aumento de 10% do consumo do meu link apenas.

Att,

Renato Costa.

Amigo tem como me da uma luz de como fazer isso ultilizando layer7 ?
Procurei a respeito e não encontrei nada.

[alexandrecorrea]

uhahuahua tu eh o MAD !!

[mtrojahn]

Uma dúvida:

Vamos ver se eu entendi.
O controle de banda seria todo feito com base no tamanho de arquivos.? Algum tempo atrás eu já havia postado indagando desta possibilidade. Veja o link abaixo.

https://under-linux.org/f106102-cont...anda-diferente

Mas logo surgiu um impedimento. A partição do arquivo original.

Nesta regra que o Luiz Paulo postou, pode acontecer que um gerenciador de download venha a burlar a regra, dividindo o arquivo em vários pedaços. O Igetter por exemplo pode partir em 14 pedaços, assim, uma arquivo de 14 MB não teria o controle da banda.
E acho que os mais experientes podem achar um jeito de dividir em mais pedaços.

Mas vamos debatendo o assunto, pois de repente aparece uma solução.

Na realidade nao tamanho dos arquivos, mas bytes trafegados dentro de uma conexao... O que eh pior ainda... Eh bem o que voce disse, se torna falho e, na minha opiniao, inviavel...

Li este post do inicio ao fim e acredito que esta havendo um certo equivoco pela maioria dos que estao lendo e postando...

Veja bem, na camada do firewall, nao ha como se saber o tamanho final do arquivo... Sabe-se apenas que X bytes passaram por aquela conexao... Dropar esta conexao depois de X bytes vai apenas fazer com que o cliente (browser, etc) abra a conexao novamente e reinicie o download... Nao ha economia de banda nisto na minha opiniao...

Para um gerenciador de download entao... Nao haveria problema nenhum... Caiu a conexao, ele abre outra e da resume...

A estrategia de marcar a conexao depois de X bytes e colocar em um controle de banda diferente me parece mais inteligente e viavel...

[Hayttle]

Olá pessoal, como sempre esse forúm faz sucesso, por ter gente boa e disposta a ajudar como vcs.

De que maneira posso implementar um firewall com o MK bloqueando por completo os downloads, liberando a navegacao normal?

Sds,
Hayttle

[Infotec]

então amigo eu fiz diferente, os arquivos pequenos de até 500k liberei velocidade extra, porem os maiores deixei cair na queues do cliente, assim a nevegação fica muito rapida, e os cliente que estão fazendo download fica na velocidade contratada.

assim dou privilegio a porta 80 e resolução de dns

marca os pacote no queues, OBS deixei encima das outras queues

e pronto fica show de bola, cliente fica feliz e não aumenta em muito o consumo de link, vou marcar mais tarde os https tb

agora como o amigo disse é só trocar onde esta connection-bytes=0-500000 por connection-bytes=1024000-0, ai vc vai liberar os pacotes para os pacotes maiores que 1mega

Bem o brigado a todos os amigo que nos ajudaram, 1929 espero que o meu post tenho lhe ajudado t+

Olá j34nsch,

Muito interesante seu tópico, se puder me ajude em uma dúvida, utilizo proxy e cache full, sendo assim redireciono todo o tráfego da porta 80 para a 3128, gostaria de testar suas regras, minha dúvida seria a seguinte para ativar as regras eu precisaria alterar a porta de suas regras para a 3128 pois ai eu teria uma melhora na navegação de páginas ainda não armazenadas em cache.

[Prime]

Bom dia a todos os colegas do fórum under linux, desde já agradeço se os colegas puderem me ajudar !
Bem uso o MK versão 3.30, não uso hotspot, uso DHCP ativado e arp list, tenho planos de 150Kbps e 300kbps e gostaria de fazer a seguinte configuração:
Qualquer cliente que iniciar qualquer tipo de donwload que for maior que 3 megas ele inicialmente baixe na velocidade contratada e se o donwload ultrapassar o tamanho de 3 megas ele tenha a velocidade deste donwload reduzida a 100kbps .
Explicando: Não quero impedir ou bloquear donwloads ou P2P só quero que os clientes que deixam suas máquinas ligadas baixando, baixando, baixando, pirateando coisas desanimem desta pratica e com isso liberem meu link !
Hoje tenho clientes que deixam suas máquinas ligadas 12:00 Hs por dia baixando.
PERGUNTA: Porque eles não querem usar a tecnologia 3G ???
RESPOSTA: Não atenderia suas necessidades baixar, baixar, baixar, pois as operadoras cansaram de perder, peder, perder e criaram limitações de dados trafegados.
Desde já agradeço aos colegas, se puderem me ajudar fico grato e tenho certerza que muitas pessoas iram agradecer também pois muitos iram usar também estas regras.
DESDE JÁ AGRADEÇO MUITO OBRIGADO.

[leoneoliveira]

Versão 2.9.xx:

add chain=forward protocol=tcp dst-port=80 connection-bytes=500000-4294967295 \
action=drop comment="" disabled=no

Apliquei essa regra ao meu mikrotik e funcionou perfeitamente.. porém queria fazer o seguinte:
(eu uso a faixa de IP 172.16.0.0/16

Gostaria de aplicar essa regra a todos os IP's, exceto aos que terminem com o final 172.16.123.x

como faço?

[wireless&cia]

Bom, sei que estou meio sumido, devido problemas particulares, mas como sempre estou por ae, prestando aquele excelente suporte, treinamentos e etc...

Segue uma dica para aqueles usuários que desejam controlar ou dropar arquivos de acordo com o tamanho.

função: CONNECTION BYTES

Funciona assim:

0 (zero no início) = apartir de (0-500000 = apartir de 0k até 500k)
0 (zero no final) = infinito (500000-0 = apartir de 500k para cima)

Vamos supor que desejamos aceitar conexões com no máximo 500k, ficaria assim:

/ip firewall filter
add chain=forward protocol=tcp dst-port=80 connection-bytes=0-500000 \
action=accept comment="" disabled=no

Vamos supor que desejamos rejeitar todas as outras conexões acima de 500k, ficaria assim:

Versão 2.9.xx:

add chain=forward protocol=tcp dst-port=80 connection-bytes=500000-4294967295 \
action=drop comment="" disabled=no

Versão 3.xx

add chain=forward protocol=tcp dst-port=80 connection-bytes=500000-0 \
action=drop comment="" disabled=no


Vamos supor agora que desejamos rejeitar apenas conexões acima de 500k para um usuário ou um grupo de usuários, ficaria assim:

Versão 2.9.xx:

/ip firewall filter
add chain=forward protocol=tcp dst-port=80 content="" \
connection-bytes=50000-4294967295 src-address-list=no_download \
action=drop comment="" disabled=no

/ip firewall address-list
add list=no_download address=10.0.0.1 comment="" disabled=no


Versão 3.xx:

/ip firewall filter
add chain=forward protocol=tcp dst-port=80 content="" \
connection-bytes=50000-0 src-address-list=no_download \
action=drop comment="" disabled=no

/ip firewall address-list
add list=no_download address=10.0.0.1 comment="" disabled=no

Lembrando que essa mesma dica, você pode fazer outras coisas interessantes, como, marcar conexões de acordo com o tamanho e colocar em uma QOS com prioridades e bandas e disciplinas diferentes, entre outras coisas que a imaginação mandar!!


Fica essa dica simples, porém que parece muito complexa para muitos aqui (tenho acompanhado os tópicos!!). Qualquer dúvida estamos por ae...

Amigo, tentei fazer para versão 4x mas não conssegui dropar. Poderia por a regra para versão 4x, fico agradecido

[leoneoliveira]

se vc usa web-proxy, tenta usar o output ao invés de forward

[wireless&cia]

se vc usa web-proxy, tenta usar o output ao invés de forward

Tenta colocar essa regra no mk 4.x, quando coloco essa regra, nem chega adicionar, da algum parametro errado. tentei fazer manual pelo winbox com os mesmos dados la, mas não passa por causa do campo (content)... Ahh não uso proxy

[leoneoliveira]

Tenta colocar essa regra no mk 4.x, quando coloco essa regra, nem chega adicionar, da algum parametro errado. tentei fazer manual pelo winbox com os mesmos dados la, mas não passa por causa do campo (content)... Ahh não uso proxy

Content?
Mas na regra acima nao usa a propriedade content.

[wireless&cia]

tentei essas duas regras:

Versão 3.xx
add chain=forward protocol=tcp dst-port=80 connection-bytes=500000-0 \
action=drop comment="" disabled=no

---------------------------------------------------------------------------
Versão 3.xx:
/ip firewall filter
add chain=forward protocol=tcp dst-port=80 content="" \
connection-bytes=50000-0 src-address-list=no_download \
action=drop comment="" disabled=no
/ip firewall address-list
add list=no_download address=10.0.0.1 comment="" disabled=no

[shinobim]

ola tenho uma duvida estou tentando dropar arquivos de 100mb acima ,mas queria saber se ele vai dropar
apartir que atingir o limite ou dropa no inicio do download...
tambem se preciso adicionar a porta do web proxy ou porta 80

obrigado

www.atalhos.tk