Controle de Download

[AndrioPJ]

Os Clientes de diversas Operadoras, mesmo tendo 2, 3, 5 ou 10 Megas... algumas vezes não conseguem fazer download na velocidade máxima dele.
Sendo necessário abrir 2, 3 ou mais downloads e somar a taxa de transferência para se ter a velocidade máxima.

Hoje vou ensinar como implementar um controle de Download igual a esses que as Operadoras fazem.

### CENÁRIO:
Esse controle de banda avançado é um QoS, sendo assim, não podemos aplica-lo no mesmo servidor que faz controle de banda dos clientes.
Logo, essa regra somente irá funcionar na rede daqueles que tem um servidor central, mas fazem a autenticação (e controle de banda) dos clientes na RB mais próxima.


### REGRAS (Firewall, Queue):
Essa Regra deve ser adicionada no ROUTER 1

/ip firewall mangle
add action=mark-packet chain=forward comment=ControleDownloadAPJ connection-bytes=3000000-0 disabled=no new-packet-mark=3mb-0-conn passthrough=yes protocol=tcp
add action=mark-packet chain=forward connection-bytes=3000000-0 disabled=no new-packet-mark=3mb-0-conn passthrough=yes protocol=udp

/queue type
add kind=pcq name=ControleDownloadAPJ pcq-burst-rate=0 pcq-burst-threshold=0 pcq-burst-time=10s pcq-classifier=src-address,dst-address pcq-dst-address-mask=32 pcq-dst-address6-mask=64 pcq-limit=50 pcq-rate=512k pcq-src-address-mask=32 pcq-src-address6-mask=64 pcq-total-limit=5000

/queue simple
add burst-limit=0/0 burst-threshold=0/0 burst-time=0s/0s direction=both disabled=yes interface=all limit-at=0/0 max-limit=0/0 name=ControleDownloadAPJ packet-marks=3mb-0-conn parent=none priority=8 queue=default-small/ControleDownloadAPJ target-addresses=1xx.xx.xxx.0/24 time=17h-23h59m59s,sun,mon,tue,wed,thu,fri,sat total-queue=default-small

### COMO FUNCIONA:
Com as regras acima, um cliente que possua 3 Mega de velocidade, se fizer um teste de velocidade, irá ter a velocidade máxima dele (3 Mega).

Mas, quando esse cliente fizer um ou mais download, após ter baixado 3mb (connection-bytes). Cada download dele irá entrar no controle de banda avançado do ROUTER1 e sua velocidade de download vai baixar para 512k (pcq-rate).
Sendo o limite máximo da banda dele o que estiver no Router2, que no caso desse cliente seria de 3 Mega.

Em outras palavras.
Um cliente que possua 3 megas de Velocidade, sem essas regras, precisaria fazer 1 ÚNICO download para usar 100% de sua banda.
Já com essas Regras, o cliente precisaria fazer 6 downloads para usar 100% de sua banda.

Exemplo:
Download SEM a Regra - 1 Único download é suficiente para o cliente utilizar 100% de sua banda.


Download COM a Regra - Mesmo realizando 2 download, não foi o suficiente para o cliente utilizar 100% de sua banda.


### ADAPTAÇÃO
- Podemos fazer com que apenas alguns Clientes passem por essa regra.
- Podemos fazer com que somente o download de alguns sites específicos passe por essa regra.
- Podemos fazer com que esse controle funcione em determinado dia da semana ou hora.
- Podemos fazer com que Diferentes tipos de Planos seja necessário fazer quantidades diferentes de download para atingir 100% da velocidade.

connection-bytes - Tamanho do download que o Cliente poderá fazer antes de entrar no Controle (default da regra 3mb).
pcq-rate - velocidade máxima (default da regra 512k) atingida após o cliente ter feito download acima.
target-addresses - Faixa de IP que será controlada.
time - Horário de funcionamento da regra

Enfim, podemos adaptar essas regras para os mais variados tipos.

[megabyte]

Essas regras se consegue aplicar ao P2P com sucesso ?

[demattos]

Essas regras se consegue aplicar ao P2P com sucesso ?

As regras se aplicam para qualquer conteudo que seja marcado e tratado no firewall ( voce pode inclusive tratar outras portas e protolos se assim preferir ), se vc usar para marcar o condeudo p2p e aplicar as regras era funcionar.


abraco

[JonasMT]

No meu cenaria eu teria que add mais uma rb correto?

1° RB
750gl c/ 2x adsl + 2mb dedicado = LoadBalance

2° RB
rb1200 controle de cliente e cache = Concentrador

3° RB
Controle avançado de qos

Seria esse o cenario correto?

[AndrioPJ]

No meu cenaria eu teria que add mais uma rb correto?

1° RB
750gl c/ 2x adsl + 2mb dedicado = LoadBalance

2° RB
rb1200 controle de cliente e cache = Concentrador

3° RB
Controle avançado de qos

Seria esse o cenario correto?

Acredito que de para adaptar essas regras em uma RB entre o cliente e o servidor central.


[ Post Editado: Fora do Tema ]

[JonasMT]

Pois é nao tenho rb nas repetidoras, enlaces e afins apenas load e concentrador.

Tenho uma 750 sobrando na madruga vou fazer uns teste acrecentando ela entre a rb 1200 e saida para os clientes

[AndrioPJ]

Gente
Essa regra que postei é diferente do Burst.
Como também é diferente das regras proposta por uma certa pessoa (no qual disseram que o mesmo coletou dados, mas nunca postou uma unica linha de código para ajudar a comunidade).
Com o Burst (ou com as regras propostas, mas nunca cedidas), o trafego total do cliente hora estará maior, hora menor... ou seja, durante o período em que estiver menor, o cliente não vai conseguir em hipótese alguma os 100% de sua velocidade


Já com essa regra que postei, o cliente poderá sempre atingir a velocidade máxima dele. Porem, ao invés de ser necessário fazer um único download, ele terá que fazer vários (igual a como as Operadoras fazem).
Isso acaba sendo benéfico aos clientes que ao fazerem um download ou atualização, reclamam da velocidade da internet.
E para nós, que acabamos economizando um pouco de banda com aqueles clientes que estão fazendo 1 único download.

PS: os créditos dessa ideia vão para as Operadoras, que já utilizam tal função a muito tempo.
Eu apenas peguei a ideia e adaptei ao mikrotik


-----------------------------------

A Regra no Firewall tambem é necessária caso queiram retirar desse controle algum Site especifico ou aumentar/diminuir o tamanho do arquivo que precisa ser baixado antes de entrar no controle.

- Caso desejem, também podem fazer um controle diferenciado para cada Plano.
Por exemplo:
-- Cliente com Plano 300k teria que fazer 2 download para atingir 100% de uso de banda... já os clientes 600k teriam que fazer 3 download.
Para fazer isso, será necessário fornecer uma faixa de IP para cada Plano de Acesso.
Depois crie 1 Queue Type pcq para cada plano.
E 1 Queue Simple, marcando a faixa de IP de cada Plano.
Pronto, você já tem controle diferenciado para cada Plano.

[dmknob]

Alguma gambiarra que me permita usar o Metarouter em uma só RB em vez de ter 2 RBs ?

Pergunto isso pois minha rede é pequena (mesmo, doméstica com 6 computadores e mais uns dispositivos móveis).
Uso uma RB 750GL (64MB de ram).
Teoricamente deve ser possível configurar um router dentro da RB e jogar nele a autenticação do ADSL e as regras de PCQ, e no routerOS 'fisico' o controle dos clientes (autenticação IPxMAC e controles de banda).

Acabo achando estranho ter tão pouca informação sobre o metarouter, sendo que há tantas RB com memória sobrando pra rodar ele.

Se só to falando besteira, desculpem o devaneio.

[agatangelos]

Boa tarde, tenho uma duvida quanto ao youtube, isso limitaria ele também pois se isso acontecer meus clientes vão reclamar ... Um abraço ... Rodrigo

[AndrioPJ]

Alguma gambiarra que me permita usar o Metarouter em uma só RB em vez de ter 2 RBs ?

Pergunto isso pois minha rede é pequena (mesmo, doméstica com 6 computadores e mais uns dispositivos móveis).
Uso uma RB 750GL (64MB de ram).
Teoricamente deve ser possível configurar um router dentro da RB e jogar nele a autenticação do ADSL e as regras de PCQ, e no routerOS 'fisico' o controle dos clientes (autenticação IPxMAC e controles de banda).

Acabo achando estranho ter tão pouca informação sobre o metarouter, sendo que há tantas RB com memória sobrando pra rodar ele.

Se só to falando besteira, desculpem o devaneio.

Nunca user o Metarouter, então não sei te dizer.
Mas de inicio te digo, não pode usar essas regras na mesma RB que faz o controle de banda do cliente.
pois essas regras iria sobrepor o controle de banda do cliente.

Boa tarde, tenho uma duvida quanto ao youtube, isso limitaria ele também pois se isso acontecer meus clientes vão reclamar ... Um abraço ... Rodrigo

sim, limita cada destino na velocidade que você escolher, no horário que você escolher
você pode retirar algum site (IP) do controle, assim deixando somente o controle normal do cliente.

essas regras que foi postada vai limitar cada site acessado por cada cliente.
Vamos supor que o cliente A acessou o youtube, e esse video venha do IP 200.200.200.200 (exemplo)... nesse caso, esse video será limitado a 512k
Se ele abrir um outro video simultaneamente, e esse vier de outro IP, então o cliente A terá mais uma limitação de 512k.
somando o trafego dos 2 videos (que vieram de lugares diferentes), o cliente já estara consumindo 1 mega.

OBS: mesmo que esse controle de download esteja limitando em 512k... se o controle de banda individual estiver limitando o cliente a 300k... então o cliente ter 300k.
Resumindo, cada download do cliente terá a menor velocidade configurada.

[agatangelos]

ok entendi, eu tenho a seguinte duvida aqui também atualmente tenho clientes até 1MB e hoje instalei meu primeiro cliente de 2MB e provavelmente vou precisar dar velocidades maiores que esta por causa da concorrência se eu der velocidades de 2MB, 3MB ou mais eu pretendo fazer este controle de download que explicou aqui para limitar o download e 1.5MB assim os clientes assistem os videos do youtube e etc sem ficar travando, e ainda terão navegação sobrado, e pelo que entendi os clientes acima de 1MB cairão no controle e os abaixo ficarão limitados no próprio plano e como faço com clientes com link dedicado tem como por alguns clientes fora do controle? ... Um abraço ... Rodrigo

[AndrioPJ]

ok entendi, eu tenho a seguinte duvida aqui também atualmente tenho clientes até 1MB e hoje instalei meu primeiro cliente de 2MB e provavelmente vou precisar dar velocidades maiores que esta por causa da concorrência se eu der velocidades de 2MB, 3MB ou mais eu pretendo fazer este controle de download que explicou aqui para limitar o download e 1.5MB assim os clientes assistem os videos do youtube e etc sem ficar travando, e ainda terão navegação sobrado, e pelo que entendi os clientes acima de 1MB cairão no controle e os abaixo ficarão limitados no próprio plano e como faço com clientes com link dedicado tem como por alguns clientes fora do controle? ... Um abraço ... Rodrigo

vc controla os IPs que irão fazer parte desse controle pelo Simple Queue.
Basta retirar dali os IPs que não quer no controle.

[AndrioPJ]

Desculpa aí colega mas sou novo aqui , observando suas regras e posts acho que meio se equivocou pois afirmou acima que é diferente de burst mas direciona a mesma regra para usa-lo veja :

/queue simple
add burst-limit=0/0 burst-threshold=0/0 burst-time=0s/0s direction=both disabled=yes interface=all limit-at=0/0 max-limit=0/0 name=ControleDownloadAPJ packet-marks=3mb-0-conn parent=none priority=8 queue=default-small/ControleDownloadAPJ target-addresses=1xx.xx.xxx.0/24 time=17h-23h59m59s,sun,mon,tue,wed,thu,fri,sat total-queue=default-small

E de fato o que suas regras fazem é não deixar que o cliente caia a velocidade devido a muitos downloads , realmente como seu título afirmou, mas minha dúvida é , qual o benefício destas regras ? bloquear os que fazem muitos downloads ? se for vc pode usar o próprio firewall .. siceramente não vejo aplicação .. desculpe minha ignorância mais é oq eu entendi . na boa .

Não, ele não usa o Burst
Essas regras utilizam o Firewall para fazer o redirecionamento do trafego desejado... e o PCQ para fazer com que CADA download do cliente tenha uma velocidade pré-estabelecida (podemos usar o pcq pelo Queue Tree ou Pelo Simple Queue, eu usei pelo Simple Queue).

O objetivo pode ser vários.
Pelo lado do Provedor, podemos dizer que existira uma probabilidade de economia de banda se o cliente estiver fazendo 1 (UM) único download.
Pelo lado do cliente, podemos dizer que o fato de ser limitado CADA download que ele realizar, dificilmente um vírus (ou torrent,ou atualização) irá consumir toda a banda e prejudicar sua navegação.

Vale salientar que com essas regras o cliente sempre poderá atingir a velocidade contratada, diferente do Burst (que hora a velocidade está menor, hora maior... e quando está menor, o cliente não tem a possibilidade de atingir a velocidade contratada)
Durante a navegação é fácil verificar, basta acessar algum medidor online..
Durante o download, ele continuara podendo atingir a velocidade contratada, mas terá que efetuar mais de um download e somar a taxa de transferência de todos.
Igual a como as Operadoras fazem...

[AndrioPJ]

cada um pensa de um jeito pois vejo que se vários clientes estiverem fazendo seus downloads dará no mesmo assim como também uma atualização do windows que são pacotes diferentes também serão prejudicados , trabalhar em cima de downloads já não é mais criteriosos e discordo de sua afirmação de ser igual as operadoras pois elas controlam tráfego geral e não apenas donwloads , muitas como 3 g afirmam falam sobre downloads mas isto só funciona para leigos pois sabemos que as páginas vem e vão fazem donw e up ... mas está valendo .. muitos podem achar sua ideia uma boa mas para mim não servem , deixo claro que não servem no bom sentino colega , digo que não servem para meu conceito de tráfego.

dará no mesmo? como assim? comparado a que?

o controle é feito em geral, não importando qual trafego seja, desde que ele seja constante.
Video, torrent, download, etc...
É dessa forma que as Operadoras trabalham.
Faça um teste em qualquer medidor e verá bater a velocidade contratada.
Depois faça download, verá que será preciso fazer varios downloads para bater a velocidade contratada.


Exatamente como essas regras... controle é feito em cima de CADA DOWNLOAD de CADA Cliente.
Ou seja, vamos supor que configuramos para cada download ser feito a no máximo 512k.
Se 2 clientes (ou mais) estiverem fazendo download de um mesmo arquivo, CADA um deles irá fazer o download a 512k.

OBS: podemos fazer diversos tipos de configuração, aumentar o diminuir a velocidade, Ou velocidades diferentes por dia/horario, Ou velocidades diferentes por Planos.

Um belo exemplo foi o que dei logo no inicio.
Um cliente com plano de 3 Mega sem essas regras precisaria realizar UM ÚNICO download para usar 100% de sua Banda.
Pelo lado do provedor, acaba sendo prejudicial, pois são 3 megas a menos para atender os demais clientes.
Já com essas Regras... se esse cliente for navegar, ele sempre terá 3 megas... mas se ele for fazer download, cada download dele será de no máximo 512k, ou seja, ele precisaria fazer 6 download para usar 100% de sua banda (3 megas)... logo, enquanto ele não coloca para fazer mais de um download, o provedor vai ter a economia.

[1929]

Não duvido da capacidade do Andrio, o mascaraajp, muitas dicas que ele me passou tenho usado até hoje. Inclusive sobre uma maneira prática de calcular o tempo de renovação do burst.

Mas neste caso eu fico também sem ver um valor prático para o caso de um cliente que faz um só down. Ele se tiver um plano de 3 mega conforme o exemplo, irá baixar a 512k. Ele não se sentiria frustrado por atingir só 512k? Se eu entendi o que o Andrio deseja é que fique banda liberada para que ele continue a navegar dentro dos 3 mega.

Mas no caso do burst, se for um só down, ele irá oscilar entre o ponto de corte do burst e o max burst. E o burst será renovado a cada tempo determinado. A sensação para o cliente é muito melhor, penso eu.
Se ele fizer mais de um down, ele logicamente não irá ter picos de 3 mega para cada down, mas sim para a soma deles. Daí que os picos sempre haverá seja para um ou para 6 down.

Com o uso do burst não tenho encontrado problemas de leitura nos reloginhos dos medidores. Todos eles fazem a leitura dentro do máximo que o plano permite, ou seja banda contratata+burst.

Mas afinal, são políticas de gerenciamento e pode ser útil para muitos. Pode não agradar a outros, asim como não me agradou, mas sempre que é uma nova maneira de encarar o gerenciamento do tráfego.
Se houvesse só uma maneira de configurar o mikrotik por ex. não haveria a necessidade de tantas opções.
Qualquer hora vou tentar esta forma proposta para fazer uma comparação.

[jailtonnetlink]

Colega quer saber da real , a única e básica coisa que suas regras fazem é dividir a banda do cliente x6 ou pela quantidade que estipular é apenas isto divisão de banda para que o cliente não estipule o download , não vejo muita diferença no burst que inclusive calcula uma média que por sinal acho mais viável.
Novamente vou dizer, não compare suas regras com a das grandes operadoras que controlam cada byte que entra e que sai .
Somente um recado a este rapaz chamado Jailton , se não tem capacidade para um debate técnico não fique dando reputação negativa somente pq discorda do que é postado , não sei como as coias funcionam por aqui , mas já percebi que não gostam de ser contrariados .
Esta é minha última opinião aqui ..fui

Primeiramente boa noite e seja bem vindo


Em seu primeiro comentário no tópico já deu uma bola fora ao afirmar que se utiliza burst
mas sou da paz,quando for hora ganhara estrelinha aprovando seu comentário ok


Agora temos saber auditar e saber em que tipo de cenário se enquadra ,e por ventura assim como demostrado em toda explanação pelo andrio fazer as devidas mudanças.

Já tenho um cenário e que estou estudando para utilização, aonde se tem dois períodos do dia em que aperta a questão da banda(gargalo)e mais banda com as operadoras esta complicado nesse interior de meu Deus, mas a topologia da rede e diferente do apresentado pelo Andrio.

[AndrioPJ]

Não duvido da capacidade do Andrio, o mascaraajp, muitas dicas que ele me passou tenho usado até hoje. Inclusive sobre uma maneira prática de calcular o tempo de renovação do burst.

Mas neste caso eu fico também sem ver um valor prático para o caso de um cliente que faz um só down. Ele se tiver um plano de 3 mega conforme o exemplo, irá baixar a 512k. Ele não se sentiria frustrado por atingir só 512k? Se eu entendi o que o Andrio deseja é que fique banda liberada para que ele continue a navegar dentro dos 3 mega.

Mas no caso do burst, se for um só down, ele irá oscilar entre o ponto de corte do burst e o max burst. E o burst será renovado a cada tempo determinado. A sensação para o cliente é muito melhor, penso eu.
Se ele fizer mais de um down, ele logicamente não irá ter picos de 3 mega para cada down, mas sim para a soma deles. Daí que os picos sempre haverá seja para um ou para 6 down.

Com o uso do burst não tenho encontrado problemas de leitura nos reloginhos dos medidores. Todos eles fazem a leitura dentro do máximo que o plano permite, ou seja banda contratata+burst.

Mas afinal, são políticas de gerenciamento e pode ser útil para muitos. Pode não agradar a outros, asim como não me agradou, mas sempre que é uma nova maneira de encarar o gerenciamento do tráfego.
Se houvesse só uma maneira de configurar o mikrotik por ex. não haveria a necessidade de tantas opções.
Qualquer hora vou tentar esta forma proposta para fazer uma comparação.

Carlos,
O Burst se bem configurado de fato pode oferecer uma velocidade maior para o Cliente de tempos em tempos.
Ou, podemos configura-lo para somente para oferecer a velocidade inicial e depois reduzir até que se termine o download.
O ruim do uso do Burst é que mesmo após ter terminado o download, o cliente não tem a banda dele renovada "imediatamente", sendo necessário aguardar um período de tempo.

Mas o problema maior no Burst é que muita gente o utiliza para economizar banda... como? entregando para o cliente velocidade menores (Max-Limit) podendo atingir velocidades maiores (Burst Limit).
No final, o cliente acaba sendo enganado.
(*Sem contar o BUG que o Burst possui quando usado em servidores com muitos clientes)

Como bem sabemos, com o uso do Burst ,quem somente navega sempre terá a velocidade maior.
O Burst somente será cortado se o Cliente estiver fazendo um download.
Logo, se o objetivo é controlar a banda do Cliente somente quando ele faz um download, então o Burst não é a melhor alternativa.
Nesse caso, na minha opinião devemos utilizar essa regra que postei e adapta-la a gosto (podemos fazer inúmeras configurações).


Vejamos um outro exemplo de adaptação...
podemos utilizar Firewall+PCQ "Burst"
E fazer com que todo trafego que tenha passado de 3mb baixado, entre na regra.
Ao entrar na regra, O cliente que tinha 1Mega passa a ter 400k com Burst de 1M.

Mas ai você questiona: há, mas isso o Burst já faz.
E eu respondo: Sim, o Burst já faz isso, mas a diferença esta no controle do Firewall. Que fará o controle somente após ele ter baixado uma certa quantidade e fará com que o cliente retorne ao 1Mega que ele tinha antes IMEDIATAMENTE após o termino do Download, sem precisar aguardar um período de tempo.
Sem contar algumas configurações adicionais que podemos fazer, como retirar alguns sites desejado desse controle, entre outras coisas.

[1929]

Andrio, vamos aprofundar esta questão e fazer um teste comparativo.

Atualmente deixo o perfil na banda contratada e dou um burst de determinado tempo. Assim o cliente não poderá dizer que não está navegando na velocidade contratada. Uso o burst como um "plus".

Um dos bugs seria aquele que você citou uma vêz, que ao associar novo usuário do simple queue o burst é renovado para todos, independente do tempo?

[AndrioPJ]

Andrio, vamos aprofundar esta questão e fazer um teste comparativo.

Atualmente deixo o perfil na banda contratada e dou um burst de determinado tempo. Assim o cliente não poderá dizer que não está navegando na velocidade contratada. Uso o burst como um "plus".

Um dos bugs seria aquele que você citou uma vêz, que ao associar novo usuário do simple queue o burst é renovado para todos, independente do tempo?

Na minha opinião, esse Plus é a real forma como deveríamos usar o Burst, pois estaremos sempre entregando o contratado para o cliente.

Porem, alguns configuram a Velocidade do Cliente com velocidade inferior e um Burst da velocidade contratado.
E como o Burst não faz distinção entre download ou navegação, a partir do momento que o Burst atingir o Ponto de Corte o cliente ficará por um certo período com velocidade inferior.
Exemplo:
Plano configurado com 500k e e Burst de 1M.
Durante a navegação, o cliente terá 1M.
A partir do momento que ele fizer um download, ou assistir um vídeo ou mesmo uma atualização (não importa o que seja, desde que seja trafego continuo), esse trafego irá atingir o Ponto de Corte do Burst e a velocidade do cliente será reduzido para 500k.
Com isso, o cliente terá 500k para dividir entre navegação e download.

Por outro lado, utilizando essas regras que citei, o Cliente SEMPRE vai poder atingir a velocidade contratada.
A regra somente irá controlar a velocidade do download (ou qualquer outro com trafego continuo).
Pois esse controle somente é ativado depois que o cliente tenha baixado 3Mega (ou outra quantidade configurada).

PS: sim, o bug do Burst na qual me referi é a renovação imediata do Burst para todos sempre que um cliente conecta/desconecta ou alguma regra (Queue) muda de lugar.
Em bem sabemos que quem tem autenticação centralizada, tem bastante conexão e desconexão.

[AndrioPJ]

Como vc faz para que estas regras só contem o que está fora do cache ?
Vc sabe quantos donwloads são feitos quando o facebook está aberto ? pois cada aplicativo do mesmo é reconhecido separadamente e então a meu entender serão somados vários downloads .

1 - Basta adicionar uma outra Regra acima dessas marcando o que vem do cache.
2 - Não faço ideia do tamanho dos aplicativos do Facebook, mas somente irá entrar no controle se ultrapassar 3mb de download.
Alem do mais, nunca vi um aplicativo depois de aberto consumir muita banda!!!