Idéia meio louca para liberar navegação

Amigos, estive lendo alguma coisa sobre o Queues Type e gostei da opçao SFQ.
Esta faz com que a banda disponível seja usada de forma distribuida por todos os usuários.
A idéia é deixar o controle de banda livre, e usar o SFQ. Assim, quando tiver banda sobrando, os usuários vão navegar livres. Quando entrar no gargalo, o SFQ vai distribuir o disponível por igual.

No entanto, não dá para deixar totalmente livre no caso dos downloads e então faria uma marcação para controlar P2P, e arquivos acima de um determinado tamanho, como tem alguns tópicos mostrando como fazer.

Sei que isto pode gerar uma certa acomodação dos usuários, pois alguns irão se acostumar com mais velocidades, e nas horas de pico vai cair e eles poderão reclamar.

Será que isto que estou pensando dá mesmo para fazer? Quais são os prós e contras?

1929, a idéia é funcional, mas não recomendaria, para provedor. Para redes empresariais, onde a banda deve ser compartilhada de forma justa entre o hosts, sim.

1 -SFQ é um algoritimo antigo, o qual, as aplicações atuais, principalmente os aceleradores de download e soft p2p, conseguem ser mais eficientes que ele.
2 - SFQ só funciona quando o link congestiona.

Com a mesma idéia, veja uma implementação com PCQ, mas controlando a banda por grupos. Acredito ficar mais eficiente, atender o usuário com uma banda maior do que a conratatada, mas sem liberar toda a banda disponível apenas para apenas um.

sergio
no dia a dia, qual algoritimo vc usa?

aqui, estou usando o simple queue, com o algoritimo sfq
devo dizer, q senti uma melhora muito grande qdo mudei o algoritimo de pfifo para sfq

antes, qualquer usuario, ao fazer um download, nao conseguia navegar mais
agora, com o algoritimo sfq... o usuario pode efetuar download e navegar ao mesmo tempo sem nenhum problema

ai é diferente da proposta do 1929... No seu caso, o link é a fila simples, e se esta fila congestiona o SFQ irá usar "sua justiça" (round robin) para que todas os pacotes tenham chances iguais de disputar a banda. Esse é um padrão válido, que uso com frequência.

Citação:

---

Postado originalmente por mascaraapj

sergio
no dia a dia, qual algoritimo vc usa?

aqui, estou usando o simple queue, com o algoritimo sfq
devo dizer, q senti uma melhora muito grande qdo mudei o algoritimo de pfifo para sfq

antes, qualquer usuario, ao fazer um download, nao conseguia navegar mais
agora, com o algoritimo sfq... o usuario pode efetuar download e navegar ao mesmo tempo sem nenhum problema

---

Citação:

---

Postado originalmente por sergio

ai é diferente da proposta do 1929... No seu caso, o link é a fila simples, e se esta fila congestiona o SFQ irá usar "sua justiça" (round robin) para que todas os pacotes tenham chances iguais de disputar a banda. Esse é um padrão válido, que uso com frequência.

---

Eu também estou com SFQ.
Mas há horários que sobra link. Por isso eu tinha pensado em liberar e deixar o SFQ fazer a "sua justiça" quando necessário.
Nós começamos a fazer uma análise de cada usuário para compreender o comportamento de cada um. Já notei que tem usuários que estão quase sempre navegando no talo da banda liberada para eles, e outros mesmo aumentando a banda nunca consomem muito.

Sim, e para isto você poderá usar a PCQ, conforme citei, que terá um aproveitamento melhor. Fazendo por grupos, poderá ter o grupo dos "fominhas", onde compartilharão uma banda X, e um grupo dos "normais" que serão beneficiados com a banda excedente, usufruindo de uma banda maior e menor latência.

Inclusive poderá gerar regras especificas, usando firewall address-list, onde, se um usuário por um determinado tempo consumir N em download/upload, será inscrito no grupo de "fominhas".

Ou seja, existem várias possibilidades.

Citação:

---

Postado originalmente por 1929

Eu também estou com SFQ.
Mas há horários que sobra link. Por isso eu tinha pensado em liberar e deixar o SFQ fazer a "sua justiça" quando necessário.
Nós começamos a fazer uma análise de cada usuário para compreender o comportamento de cada um. Já notei que tem usuários que estão quase sempre navegando no talo da banda liberada para eles, e outros mesmo aumentando a banda nunca consomem muito.

---

Lembrando que o pcq é similar ao sfq, mas com algumas algumas caracteristicas diferente.

Similar apenas no fato de ter a missão de otimizar e dar um tratamento ao pacote trafegado. Fora disso são algorítimos bem diferentes. Segue o link demonstrando o que é possível fazer com o pcq. https://under-linux.org/f226/mikrotik-pcq-122247/ ,

Citação:

---

Postado originalmente por sergio

Sim, e para isto você poderá usar a PCQ, conforme citei, que terá um aproveitamento melhor. Fazendo por grupos, poderá ter o grupo dos \"fominhas\", onde compartilharão uma banda X, e um grupo dos \"normais\" que serão beneficiados com a banda excedente, usufruindo de uma banda maior e menor latência.

Inclusive poderá gerar regras especificas, usando firewall address-list, onde, se um usuário por um determinado tempo consumir N em download/upload, será inscrito no grupo de \"fominhas\".

Ou seja, existem várias possibilidades.

---

Já estou no rastro do PCQ, Sérgio. Você entendeu bem o que eu queria. É isso mesmo. Obrigado.

Encontrei um tópico do Magal sobre isso. Também daqueles tópicos que explicam bem.

https://under-linux.org/f226/mikrotik-pcq-122247/

Citação:

---

Postado originalmente por Raniel

Lembrando que o pcq é similar ao sfq, mas com algumas algumas caracteristicas diferente.

---

Isto mesmo, pelo que entendi a diferença entre eles é bem sutil. Mas os dois dividem a banda disponível, só que o SQF só entra em ação quando a banda chegou no limite.

Isto aí, com o uso do round-robin facilita o processo.

Sim 1929, mas o pcq lhe permite definir igualdade de largura de banda para um determinado número de usuários, alguma largura de banda distribuída com igualdade entre os usuários ou largura de banda desconhecida distribuída com igualdade entre os usuários. Já o SFQ, como dito pelo Sérgio, é um algorítimo mais antigo e que não oferece tal facilidade.

Veja se esta imagem lhe ajuda, ela é sobre pcq.

Citação:

---

Postado originalmente por Raniel, imagem PCQ

http://wiki.mikrotik.com/images/a/aa/PCQ4.png

---

Aproveitando o assunto do tópico: PCQ e útil para que tem clientes por pppoe com freeradius?

Vou acrescentar mais uma dúvida para você.... Quem controla a banda?? é o PPPoE ou o Freeradius?

Citação:

---

Postado originalmente por bjaraujo

Aproveitando o assunto do tópico: PCQ e útil para que tem clientes por pppoe com freeradius?

---

Citação:

---

Postado originalmente por 1929

Eu também estou com SFQ.
Mas há horários que sobra link. Por isso eu tinha pensado em liberar e deixar o SFQ fazer a "sua justiça" quando necessário.
Nós começamos a fazer uma análise de cada usuário para compreender o comportamento de cada um. Já notei que tem usuários que estão quase sempre navegando no talo da banda liberada para eles, e outros mesmo aumentando a banda nunca consomem muito.

---

é sabido que qto mais banda o usuario tem, menos ela o usa (exeto qdo esse eh fominha e vive fazendo download).
ex: na abertura de uma pagina web, o usuario consome 200k de link.
um usuario com plano de 300k, ira consomir praticamente toda sua banda
um outro usuario com um plano maior, 800k, nao ira consumir toda a sua banda.

pq nao usa burst ai?
aqui, comecei a usar burst e tem me rendido elogios....
os usuarios fazem os testes em medidores (rjnet, vialink, speedtest), da sempre velocidades maiores (velocidade do burst).
PS: mas, ja deixei eles avisados, esse burst eh somente para navegacao web, se for para efetuar download o burst nao ira valer.

Sim, essa é a ideia por trás do burst... um adicional para usuários/hosts que tenham perfis de navegação. O grande problema é que hoje vejo vários vendendo burst... isso, vendendo burst. Cada um, cada um, mas não é esse o proposito do mesmo.

Citação:

---

Postado originalmente por mascaraapj

é sabido que qto mais banda o usuario tem, menos ela o usa (exeto qdo esse eh fominha e vive fazendo download).
ex: na abertura de uma pagina web, o usuario consome 200k de link.
um usuario com plano de 300k, ira consomir praticamente toda sua banda
um outro usuario com um plano maior, 800k, nao ira consumir toda a sua banda.

pq nao usa burst ai?
aqui, comecei a usar burst e tem me rendido elogios....
os usuarios fazem os testes em medidores (rjnet, vialink, speedtest), da sempre velocidades maiores (velocidade do burst).
PS: mas, ja deixei eles avisados, esse burst eh somente para navegacao web, se for para efetuar download o burst nao ira valer.

---

Citação:

---

Postado originalmente por sergio

Vou acrescentar mais uma dúvida para você.... Quem controla a banda?? é o PPPoE ou o Freeradius?

---

PPPoE (MK) mas os dados são obtidos no FreeRadius.

então... o que foi dito nos posts anteriores vale para qualquer limitação de banda que realiza, independente de quem passe os parâmetros, quem controla é o Mikrotik ROS.

Citação:

---

Postado originalmente por bjaraujo

PPPoE (MK) mas os dados são obtidos no FreeRadius.

---

Citação:

---

Postado originalmente por bjaraujo

PPPoE (MK) mas os dados são obtidos no FreeRadius.

---

Acho que não. Nem um nem outro.
PPPoE autentica e radius fornece chave de segurança.
Quem controla a banda é o Queues.

Ou então eu estou perdido.

Editando: Sérgio, não vi que voce já tinha respondido.

Citação:

---

Postado originalmente por sergio

então... o que foi dito nos posts anteriores vale para qualquer limitação de banda que realiza, independente de quem passe os parâmetros, quem controla é o Mikrotik ROS.

---

Valeu, Sérgio. Vou fazer uns experimiento em breve.

Citação:

---

Postado originalmente por 1929

Acho que não. Nem um nem outro.
PPPoE autentica e radius fornece chave de segurança.
Quem controla a banda é o Queues.

Ou então eu estou perdido.

Editando: Sérgio, não vi que voce já tinha respondido.

---

Foi por isso mesmo que surgiu a dúvida. Quando uma conexão e efetuada (túnel) uma fila também é criada para cada conexão. Por isso mesmo imaginei (tô leigo no assunto ainda) que uma fila pcq ficaria "ao lado" e não no "meio do caminho das outras". Entretando vou experimentar marcar os pacotes da WAN e no mínimo terei um QoS equilibrado.

Vamos lá... quando se usa pppoe no Mikrotik ROS, ele cria filas simples dinamicas com o tipo de fila default-small. Como td isso é dinâmico não tem como escolher na fila simples o tipo SFQ. Mas para isso basta darmos uma "tapeada" na fila simples... Configure em Tipo de Filas o default-small para SFQ e não pfifo, como lá está. Desta forma já estará usando SFQ na fila simples.

Agora quanto a QoS a história é outra e tem alguns posts aqui no forum mencionando como configurar.

Citação:

---

Postado originalmente por bjaraujo

Foi por isso mesmo que surgiu a dúvida. Quando uma conexão e efetuada (túnel) uma fila também é criada para cada conexão. Por isso mesmo imaginei (tô leigo no assunto ainda) que uma fila pcq ficaria "ao lado" e não no "meio do caminho das outras". Entretando vou experimentar marcar os pacotes da WAN e no mínimo terei um QoS equilibrado.

---

Citação:

---

Postado originalmente por sergio

Vamos lá... quando se usa pppoe no Mikrotik ROS, ele cria filas simples dinamicas com o tipo de fila default-small. Como td isso é dinâmico não tem como escolher na fila simples o tipo SFQ. Mas para isso basta darmos uma "tapeada" na fila simples... Configure em Tipo de Filas o default-small para SFQ e não pfifo, como lá está. Desta forma já estará usando SFQ na fila simples.

Agora quanto a QoS a história é outra e tem alguns posts aqui no forum mencionando como configurar.

---

Blz, já conferi aqui; é bem simples mesmo. Valeu.

Citação:

---

Postado originalmente por sergio

ai é diferente da proposta do 1929... No seu caso, o link é a fila simples, e se esta fila congestiona o SFQ irá usar "sua justiça" (round robin) para que todas os pacotes tenham chances iguais de disputar a banda. Esse é um padrão válido, que uso com frequência.

---

exatamente
qdo um cliente baixava um arquivo, acabava consumindo mais de 70% de sua conexao...
por isso o sfq melhorou a conexao dos clientes
pois, deu oportunidade para todos os pacotes serem enviados...

porem, temos outro caso em questao, q acho q o sfq pode ser aplicado
o gargalo de nosso proprio link
o sfq nao controla isso, pelo menos, ate dizermos a ele q ele deve controlar...

sou novato em mikrotik, mas pelo que andei lendo sobre mk e pelas experiencias que tenho com linux.
daria para fazer com q o sfq controle nosso link tbm

mas como?
na teoria, seria criado uma regra para a interface, com o valor real de nossa banda
logo depois, todos as regras de clientes criadas teria como parent a regra da interface
ficaria mais ou menos assim:

temos 4 megas...
iriamos criar uam regra para a interface, com 4 megas

criamos 5 regras depois, todas com parent a regra da interface, regras de clientes
cliente1= 1mb
cliente2=1mb
cliente3=1,500mb
cliente4=1mb

na pratica, a soma de banda de todos esses clientes ultrapassaria os 4mb...
porem, sabemos que nem todos os clientes estaram online...
logo, o sfq nao seria ativado, ja q o link nao estaria trabalhando no gargalho...

mas, vamos supor que todos estejam online, a soma de banda deles daria 4,500mb
logo, o sfq seria ativado... ja q estaria trabalhando no gargalho.

sergio, vc q eh mais experiente com mikrotik
saberia me dizer se essa teoria daria certo?

Sim, funciona, mas preferiria implementar algo em cima do PCQ, com grupos, conforme mencionei nos posts anteriores para o 1929.

Com a criação de grupos e ainda criando a hierarquia (parent) conforme citou dá para ter uma situação muito boa de aproveitamento do link o tempo todo. Junto a isso dá para aliar o burst para algumas situações.

Citação:

---

Postado originalmente por mascaraapj

exatamente
qdo um cliente baixava um arquivo, acabava consumindo mais de 70% de sua conexao...
por isso o sfq melhorou a conexao dos clientes
pois, deu oportunidade para todos os pacotes serem enviados...

porem, temos outro caso em questao, q acho q o sfq pode ser aplicado
o gargalo de nosso proprio link
o sfq nao controla isso, pelo menos, ate dizermos a ele q ele deve controlar...

sou novato em mikrotik, mas pelo que andei lendo sobre mk e pelas experiencias que tenho com linux.
daria para fazer com q o sfq controle nosso link tbm

mas como?
na teoria, seria criado uma regra para a interface, com o valor real de nossa banda
logo depois, todos as regras de clientes criadas teria como parent a regra da interface
ficaria mais ou menos assim:

temos 4 megas...
iriamos criar uam regra para a interface, com 4 megas

criamos 5 regras depois, todas com parent a regra da interface, regras de clientes
cliente1= 1mb
cliente2=1mb
cliente3=1,500mb
cliente4=1mb

na pratica, a soma de banda de todos esses clientes ultrapassaria os 4mb...
porem, sabemos que nem todos os clientes estaram online...
logo, o sfq nao seria ativado, ja q o link nao estaria trabalhando no gargalho...

mas, vamos supor que todos estejam online, a soma de banda deles daria 4,500mb
logo, o sfq seria ativado... ja q estaria trabalhando no gargalho.

sergio, vc q eh mais experiente com mikrotik
saberia me dizer se essa teoria daria certo?

---

Citação:

---

Postado originalmente por sergio

Sim, funciona, mas preferiria implementar algo em cima do PCQ, com grupos, conforme mencionei nos posts anteriores para o 1929.

Com a criação de grupos e ainda criando a hierarquia (parent) conforme citou dá para ter uma situação muito boa de aproveitamento do link o tempo todo. Junto a isso dá para aliar o burst para algumas situações.

---

vi que da para criar um controle de banda para a interface no queue tree... e assim criar parent
daria para criar isso no simple queue tbm?
se sim, como proceder? seria algo como, nao citar ip, colocar os valores da banda... e em advanced, escolher a interface correspondente?
ou, teria que criar uma marcacao para a interface?

Explicar como fazer é um lance complicado... primeiro, sou avesso à receitas, pois dependem de ambiente e topologia e cada um tem a sua. Segundo; seria interessante que você entendesse os conceitos envolvidos, pois esse é um gerenciamento que trará um diferencial enorme para sua rede e de nada adianta você fazer e não entender o conceito envolvido.

Abaixo deixo vários links, para estudo, e assim que começar a implementar, poste suas dúvidas, que eu e vários outros poderão ajudar.


Token bucket - Wikipedia, the free encyclopedia

Hierachical token bucket theory

classful-qdisc

HTB - MikroTik Wiki

Queue - MikroTik Wiki

Burst - MikroTik Wiki

Queue Size - MikroTik Wiki

PCQ - MikroTik Wiki

Citação:

---

Postado originalmente por mascaraapj

vi que da para criar um controle de banda para a interface no queue tree... e assim criar parent
daria para criar isso no simple queue tbm?
se sim, como proceder? seria algo como, nao citar ip, colocar os valores da banda... e em advanced, escolher a interface correspondente?
ou, teria que criar uma marcacao para a interface?

---

conheco varios desses conceitos... usei linux por muito tempo, controle de banda com htb.
em mikrotik sou novato, mas, teoria nao muda... o sistema sim
ainda no mikrotik, me deparei com o burst, na qual nunca havia usado... mas ja entendi o seu conceito
vi o pcq, entendi a teoria dele... mas nunca o implementei, entao nao tenho experiencia com o mesmo e por isso nao afirmo nada referente ao mesmo.

bom, de qualquer forma...
fiz as mudancas aqui no servidor de testes que tenho em casa... esse servidor controla os pc de casa, do escritorio da minha mae e de uns 4 vizinhos.
queue type: sfq

regras configuradas no simple queue.

1 regra, nomeada de "Teste"... sem "Target address", "Max Limit: 296k/2M" (velocidade configurada apenas para teste), "interface: REDE"
demais regras do controle de banda, logo abaixo... configuradas normalmente, porem, com parent a regra "Teste"

a principio, no primeiro teste.. me parece que esta funcionando como deveria

se estiver sobrando banda
o cliente com burst ou sem, recebe a velocidade certinho.
porem, se a regra "Teste" estiver no gargalo... os demais navegaram com velocidade abaixo.

bom, vou manter o teste, vamos ver como vai se sair

Andrio, eu ainda não entendi porque usar estas regras no seu caso. Pois o SFQ já faz isso quando o link entra no gargalo.

A proposta do Sérgio, de usar o PCQ é mais democrática, pois vai agir não só no gargalo mas todo o tempo, administrando melhor a banda.
Aqui só eu pelo que sei, uso burst. E depois que passei a incrementar com o SFQ já deu mais uma melhorada.
Mas vou implementar o PCQ para ver se crio mais um diferencial na rede.

Citação:

---

Postado originalmente por 1929

Andrio, eu ainda não entendi porque usar estas regras no seu caso. Pois o SFQ já faz isso quando o link entra no gargalo.

A proposta do Sérgio, de usar o PCQ é mais democrática, pois vai agir não só no gargalo mas todo o tempo, administrando melhor a banda.
Aqui só eu pelo que sei, uso burst. E depois que passei a incrementar com o SFQ já deu mais uma melhorada.
Mas vou implementar o PCQ para ver se crio mais um diferencial na rede.

---

bom, vamos la, vou tentar explicar o pq

sabemos que o sfq equaliza os fluxos de tráfego (sessões TCP ou streams UDP) quando o link estiver completamente cheio.
se vc verificar, quando um cliente esta navegando... a regra referente a ele pode ficar: verde, amarela ou vermelha... ou seja, o sfq so tem conhecimento do link do cliente... qdo esse estiver no gargalo, é ativado.

mas vejamos
alem do link dentro da rede, temos o link para fora da rede... na qual, o sfq desconhece.
se o sfq for ativado ai... podemos ter uma melhora... ja q todos os pacotes da rede terem uma chance de sair
fora que, no caso de quem usa ADSL, ja limitamos a quantidade de banda que ira sair (nao ultrapassando a contratada e assim evitando sobrecarregamento desnecessario no moden).

entendeu agora o pq de 2 regras com sfq?

Citação:

---

Postado originalmente por mascaraapj

mas vejamos
alem do link dentro da rede, temos o link para fora da rede... na qual, o sfq desconhece.
...
entendeu agora o pq de 2 regras com sfq?

---

Não tenho dúvidas quanto ao algorrítmo do sfq. Como disse antes eu tenho ele aqui ativado também. E quando tenho muitos online, meu link que é pequeno fica no gargalo. Daí não fica aquele fominha tomando a banda para seus downloads, pois a distribuição fica mais igualitária. Só que não acho que o SFQ não tenha conhecimento do link externo.
Apesar de nós não informarmos isso para ele, por algum mecanismo ele sente isso. Então ele acaba agindo como se fosse um sensor de banda com um gatilho a ser acionado quando necessário.
Só que a sugestão do Sérgio com o uso do PCQ vai mais longe um pouco, pois já começa com esta distribuição democrática mais cedo, muito antes da banda chegar no gargalo. Ainda não implementei o PCQ por total falta de tempo de fazer alterações e ficar algum tempo monitorando. Mas já está nos meus planos.
Outra coisa que tem me ajudado é a marção de pacotes com prioridades distintas.

se vc observar, nas regras, la na aba advanced... da para trocar o queue type q determinada regra vai trabalhar
o sfq nao faz calculo do seu link
ele apenas trabalha em cima da regra na qual esta configurado...

qdo um cliente navega, o trafego dele se passa somente em cima disso.
o problema acontece, qdo ele (cliente) faz download e navega ao mesmo tempo... com ao download (trafego constante) o link que é enviado para o cliente fica no gargalo (veja o status dele na regra do mesmo, devera aprensetar em vermelho)... devido a isso, a navegacao do mesmo fica prejudicada.

porem, se o tipo de algoritimo usado para o controle de banda do cliente, for o sfq.
ao se fazer download e navegar ao mesmo tempo.. o sfq tentara equalizar o fluxo de dados do mesmo.
dando oportunidade para que ele faca os 2 ao mesmo tempo.

mas, como disse...
o sfq nao tem conhecimento de qto de link que chega para vc... ele apenas controla o que lhe eh configurado para controlar...
logo, a minha ideia, seria que ele tenta-se equalizar a banda de cada cliente, porem, respeita-se a regra pai

Entendi.
Seria um sqf aplicado ao limite de banda do cliente.
Aqui, como eu já tinha trocado o type em queue type o default-small também já estava em sfq

Citação:

---

Postado originalmente por sergio

Sim, e para isto você poderá usar a PCQ, conforme citei, que terá um aproveitamento melhor. Fazendo por grupos, poderá ter o grupo dos "fominhas", onde compartilharão uma banda X, e um grupo dos "normais" que serão beneficiados com a banda excedente, usufruindo de uma banda maior e menor latência.

Inclusive poderá gerar regras especificas, usando firewall address-list, onde, se um usuário por um determinado tempo consumir N em download/upload, será inscrito no grupo de "fominhas".

Ou seja, existem várias possibilidades.

---

Olá Sergio muito obrigado em compartilhar o seu grande conhecimento conosco, porem o seu post me deixou com a pulga a traz da orelha, como seria feito essa configuração de monitorar o consumo de banda do cliente durante um determinado período e assim selecionar a qual grupo ele pertence?

valeu t+

Usando as opções que o firewall oferece como contagem de bytes. Além disso automatizar algo que for necessário com scripts.

Citação:

---

Postado originalmente por j34nsch

Olá Sergio muito obrigado em compartilhar o seu grande conhecimento conosco, porem o seu post me deixou com a pulga a traz da orelha, como seria feito essa configuração de monitorar o consumo de banda do cliente durante um determinado período e assim selecionar a qual grupo ele pertence?

valeu t+

---