SuperN!MOC Cache - MikroTik de a-Z por: M4D3

Documento: MikroTik de a–Z para todos os níveis
Série: SuperN!MOC Cache - v. 0.6.1
Escrito por: Luciano Rampanelli – M4D3

O documento é um pouco extenso vou tentar publicar aqui as principais partes relativas a aceleração individual do serviço de cache, o material é de fácil entendimento e qualquer usuário com conhecimentos medianos será capaz de implantar. Ao final colocarei um link com o download do material completo incluindo as imagens que não consegui exportar para cá.

Dedico este material a meus dois amigos quase irmãos que participam comigo dessa nova empreitada, em especial a minha esposa que espera nosso terceiro filho e nossos dois filhos João Paulo e Luciano Jr. principais motivadores desta publicação.

“Como bons administradores da multiforme graça de Deus, cada um coloque à disposição dos outros o dom que recebeu” (1 Pedro 4, 10)
Fonte: cancaonova

As práticas relatadas aqui estão em uso desde 2007 em diversos provedores comerciais, até então este era um segredo comercial que passo a dividir com todos na busca de dias melhores na "nossa internet". As configurações aqui propostas foram na maioria são baseadas em observações, experimentação e simulação e estão de acordo com as normas e leis que regem os acessos a internet, as informações aqui compartilhadas são parte de algo maior e não foram copiadas ou tomadas em assalto de qualquer outro usuário mas são fruto do esforço individual deste que vos escreve, portanto faço este documento de uso livre para aqueles que assim necessitarem.


Chegamos a um ponto importante, tanto se ouve falar em CacheFull que a definição propriamente dita se torna confusa, seria um cache cheio ?

CacheFull na definição dos usuários que o utilizam significa enviar o conteúdo web normalmente do tipo multimídia e armazenado em proxy cache local para os usuários/clientes da rede furando o controle de banda convencional da “Queue Simple” utilizando para isso a marcação de pacotes e a “Queue Three” que comumente é utilizada para controle em sistemas de QoS.

O mais comum encontrado em dezenas de paginas web é baseado na marcação de pacotes contendo o parâmetro o que pode ser feito pela tabela “Mangle” na “Chain” postrouting, em seguida na aba “Advanced” em “Content” digite ‘X-Cache: HIT’ e siga para aba “Action” em campo de mesmo nome selecione ‘mark packet’ e em “New Packet Mark” digite cachefull. Sequer darei um exemplo utilizando a “Queue Three” por considerar que este método possui uma série de erros graves.

No entanto existe outro método possível que pode ser aplicado o qual relaciono abaixo alguns dos tópicos que considero mais importantes.

1 – Marcar os pacotes pelo “DSCP/TOS” e não pela “Content”, isso porque este segundo método além de inseguro é ineficaz e exige maior processamento.

2 – Informar por onde o trafego adentra ao MikroTik e/ou para onde segue, isso ajuda a diminuir a carga e evita que a marcação seja utilizada para enviar algum outro conteúdo forjado com a mesma marcação.

3 – Criar uma “Queue Type” que vai fazer o controle individua de uso do conteúdo previamente marcado.

4 – Criar uma “Simple Queue” que será responsável por limitar o tráfego que será enviado para determinada classe de IP’s. E inserir nela o controle individual como veremos a seguir.


1.1 - Comecemos marcando os pacotes, para isso acesse IP / Firewall / Mangle e insira uma nova regra, na abra “General” selecione a “Chain” prerouting, “Protocol” tcp, “In. Interface” EthCache, na aba “Advanced” em “DSCP(TOS)” informe o valor 18 que corresponde a marcação 72 no exemplo. Ainda na mesma regra na aba “Action”, campo de mesmo nome selecione a opção ‘mark connection’ e logo abaixo no campo “New Connection Mark” digite ‘conn_nimoc’. Clique em OK e esta pronta esta primeira regra, o que ela faz é identificar as conexões oriundas do servidor de cache e que contém a marca desejável recebida via “DSCP/TOS”, ainda falta marcar os pacotes dessas conexões o que faremos na segunda regra.

Dica: para saber como funciona a relação entre valores basta saber que 0 = 0, 1 = 4, 2 = 8, 3 = 12 e finalmente 18 = 72, portanto multiplique a marcação informada no MikroTik por 4 e vai obter o valor a ser configurado no parâmetro DSCP/TOS quando suportado pelo sistema de cache. NiMOC Power tem suporte a DSCP/TOS em diversos níveis.

1.2 – Adicione uma nova regra e na abra “General” selecione a “Chain” prerouting, e logo abaixo no campo “Connection Mark” selecione a marcação criada na regra anterior chamada ‘conn_nimoc’, vá até a aba “Action” no campo de mesmo nome selecione ‘mark packet’ e logo abaixo em “New Packet Mark” vamos colocar a identificação dos pacotes como ‘pack_nimoc’, tomando o cuidado de desmarcar “Passthrough” pois não queremos que o mesmo pacote esteja sujeito a receber outra marca depois dessa o que faria com que a marca anterior fosse sobrescrita inutilizando nossa primeira marcação.

3.1 – Em “Queue Type” adicione uma nova a qual daremos o nome de ‘nimoc_conecta’ levando o nome do servidor de cache mais o plano de acesso onde será utilizada. No campo “kind” selecione o tipo ‘pcq’ se não sabe como funciona cada controle de filas recomendo que busque no manual, o pcq é um dos mais práticos e faz muito bem o trabalho neste caso. No campo “Rate” podemos definir duas formas distintas de se trabalhar no caso do pcq, deixando o campo com valor 0 significa sem limite ou seja, o que for definido no queue pai será o limite e os casos que se enquadrarem neste queue type dividirão o valor do limite entre si, pode ser desejável em muitos casos, no nosso exemplo vamos definir o valor de 256k pois queremos forçar este limite individual, logo abaixo nos campos “Limit” e “Total Limit” vamos manter os valores padrões que são adequados para o que já configuramos anteriormente neste exemplo, é interessante que busquem estas informações nos manuais pois elas podem fazer a diferença entre um serviço congestionado e uma internet navegando solta. Na seqüência temos quatro possíveis opções de classificadores ou “Classifier”, vamos marcar apenas uma delas que é a “Dst. Address” ou seja do ponto de vista do servidor “por” endereço de destino.

3.2 – O próximo passo é criar o controle que irá utilizar a “Queue Type” recém criada, acesse “Queue List” e na aba “Simple Queue” criemos uma nova a qual iremos chamar de NIMOC-Conecta, em “Target Address” identifique os IP’s que serão de certa forma favorecidos por ela, no nosso caso os do plano “PC.Conecta” representados pela classe 10.0.0.0/24, nos campos “Max Limit” devemos nos preocupar apenas com o “Target Download”, explicarei logo mais, para este campo vamos utilizar o valor de 2M ou seja 2 Megas.

Seguimos para a próxima aba “Advanced” e nela selecionamos a “Queue Type” de nome ‘nimoc_conecta’ criada no passo anterior.

Chegamos no pulo do gato, temos agora um controle que restringe o consumo em 2 Megas para toda a classe de IP’s 10.0.0.0/24 que atende os clientes do plano de 128k sendo que o controle individual quem faz é a “Queue Type” a qual chamamos de ‘nimoc_conecta’, neste estágio você deve estar se perguntando como identificar os pacotes oriundos do cache para que tal controle seja somente para o conteúdo vindo do cache com a marcação que fizemos, para tanto ali mesmo na aba “Advanced” selecione em “Packet Marks” a marcação criada sobre os pacotes vindos do cache que chamamos de ‘pack_nimoc’. O último passo é fazer com que este controle seja sempre o primeiro na lista “Queue Simple” e para isso basta arrastar para a primeira possição da lista, caso vc utilize HOTSPOT irá precisar de um script para que cada vez que alguém logue no sistema ele redefina a ordem da lista jogando este controle pra primeira posição, como não é o caso do nosso exemplo vou tomar a liberdade e pular esta etapa.

Naturalmente como não marcamos tráfego de upload mesmo que tivéssemos colocado valores nos controles de upload eles não seriam utilizados, por este motivo não temos com que se preocupar.

Com a solução proposta espero liquidar de vez o chamado CacheFull que só traz dores de cabeça e deteriora completamente as conexões wireless, não que o que propomos aqui se implementado erroneamente também não o faça mas a proporção é de 100/1 quando comparado.

continua abaixo...

O resultado dessa implementação é que o cliente ainda terá os 128k de download quando o tráfego for oriundo da internet porém ele terá mais 256k quando o conteúdo já estiver em cache totalizando uma banda de navegação de 384k fazendo o cliente muito mais satisfeito e o provedor muito mais econômico e competitivo com a banda disponível, como resultado temos uma melhora significativa em serviços com consumo de streaming, o cliente ainda consegue navegar pelos sites mais visitados e falar ao skype ou utilizar tecnologias similares gastando o mínimo de banda do seu link.

Se você não tinha isso na sua rede até hoje eu me pergunto se ainda acha que consultoria é tudo igual, o melhor esta sempre guardado a 7 chaves é assim que qualquer bom profissional trabalha, não quero ser polêmico apenas mostrar que pra qualificar um profissional da área não basta uma assinatura de quatro linhas no avatar dos fóruns.

Criamos soluções para acesso a internet desde 2000, tempo que foi suficiente para acumular alguma bagagem e também dar muitas cabeçadas, não é por isso que deixaremos de ajudar a quem precisa mas foi preciso e a duras penas aprender a priorizar quem merece. Hoje infelizmente passo a maior parte do tempo impossibilitado de digitar tamanha quantidade de informações devido a problemas de saúde relacionados a profissão. Espero que este e outros materiais que tenho disponibilizado em maior ou menor escala, abertamente ou a um grupo de seletos amigos tenha alcance e amplitude que o Pai me permitir.

Sobre nossas capacidades

Se você chegou até aqui parabéns, já consegui o que buscava ao escrever este material.

Os finalmentes:
E não esqueça de quando usar ou citar material de terceiro de incluir as fontes, isso não é vergonha pelo contrário é sinal de respeito e reconhecimento e também nos qualifica. Fórum é lugar de compartilhar, de ajudar, estou de volta após mais de 8 meses afastado dos fóruns e o que mais senti falta foi dos amigos do under-linux que é sem sombra de dúvida o melhor fórum da América Latina voltado ao público Geek.

Viva la revolución digital!
Viva La Revolución - Forfun - VAGALUME

Estou de volta e vim pra ficar.
Luciano Rampanelli / M4D3

Encontrou erros ? Quer fazer um comentário ? Dar sua sugestão ? Poste neste tópico e providenciarei a correção.

Se quiser continuar farei uma explanação sobre o N!MOC Power, um sistema de cache que foi desenvolvido com foco em alto desempenho (entenda-se por rapidez e alto ganho), guarde bem este nome pois de agora em diante irá ouvir falar muito dele.

Pela politica do fórum fazer isso neste mesmo post pode ser considerado propaganda e por este motivo vou deixar apenas um link (clique aqui) que levará ao anúncio em classificados.

Exelente trabalho amigo.

Muito útil, e cada vez mais enriquecendo o conteúdo do forum!

Faltou o link

Citação:

---

Postado originalmente por farias

Exelente trabalho amigo.

Muito útil, e cada vez mais enriquecendo o conteúdo do forum!

---

Grande abraço meu caro, espero que nos vejamos novamente este ano durante o MUM.

Citação:

---

Postado originalmente por andrelch

Faltou o link

---

Assim que estiver pronto, muito em breve.

No aguardo

no aguardo também,e um abraço no coração.

valeu muito enrriquecedor

Parabéns! Isso sim é um post de conteúdo.

No aguardo

Aguardem e verão ... realmente sensacional o N!MOC

A quem possa interessar, segue o link para o video da instalação, já podem ir preparando seus servidores que a revolução esta chegando.

Link para o video de instalação

Abraço a todos

Citação:

---

Postado originalmente por farias

Exelente trabalho amigo.

Muito útil, e cada vez mais enriquecendo o conteúdo do forum!

---

farias, adicionei o link no final do segundo post com o documento em pdf contendo as imagens e detalhes sobre o cache, espero que goste.

Citação:

---

Postado originalmente por m4d3

farias, adicionei o link no final do segundo post com o documento em pdf contendo as imagens e detalhes sobre o cache, espero que goste.

---

Já vou fazer testes, valeu Luciano!!!

ok Luciano,no aguardo para fazer testes...

Postei o cd do nimoc no anúncio que esta em classificados, lá tem um video tutorial e o cd de instalação.

Link do cd nao esta funcionando

Luciano Como Faço pra Testar o Cache
eh qual e o valor do mesmo posso divulgar aqui pra você brother

Citação:

---

Postado originalmente por m4d3

Postei o cd do nimoc no anúncio que esta em classificados, lá tem um video tutorial e o cd de instalação.

---

Caro tonflatland,

Me adiciona no MSN/Talk: [email protected]
Skype: vfeitozacg
Contatos: (83) 9637 - 9232 (TIM)
(83) 9144 - 2654 (Claro)

Caso tenham interesse em testar o N!MOC podem estar entrando em contato comigo também, estarei disponível para tirar duvidas e auxiliar na implantação do sistema
Skype: umtaladriano
Tel: (67) 8134-4006 (TIM)
Download ISO: N!MOC live cd
Video com tutorial de instalação: passo a passo

Gostaria de Expor aqui a minha experiência com o sistema nimoc,
Instalei e ativamos Junto com um dos Desenvolvedores Victor Feitosa em minha rede dia 30/10 Feito isso funcionou perfeitamente durante 24 Horas entrei em contato ele, me atendeu pediu pra que reiniciasse o servidor assim fiz e voltou a funcionar por mais 20 horas e novamente a mesma coisa tentei entrar em contato com ele através do Skype e celulares que me passou e sem sucesso e deixei recado algumas muitas horas depois ele entrou em contato e me pediu pra fazer a mesma coisa reiniciar... Fiz perguntei a ele se tinha algo de errado me dispus a procurarmos pelo problema formatar o sistema mais ele disse que estaria resolvido devido a uma atualização... porem de lá pra cá estaria sempre ocorrendo o mesmo problema e o que é pior não consigo falar com ele e tentando buscar solução com o Adriano Garcia que também é um dos desenvolvedores o mesmo não consegue ter acesso ao servidor e por isso disse que nada podia fazer, numa ultima tentativa de tentar colocar pra rodar o sistema jugado por eles com ótimo custo beneficio por sua "eficiência e SUPORTE" ao produto o Victor Feitosa entrou em contato comigo hj por volta das 10:00 e pediu que eu o aguardasse... [10:39:42] Victor Feitosa: aguarde um instante por favor. Até o presento horário estou fazendo o que me pediu.

seu problema é simples de resolve, tire o proxy ... e se te derem a solução volte a usar.. senão... tente outro ou nao use.. :)

Citação:

---

Postado originalmente por HGames

Gostaria de Expor aqui a minha experiência com o sistema nimoc,
Instalei e ativamos Junto com um dos Desenvolvedores Victor Feitosa em minha rede dia 30/10 Feito isso funcionou perfeitamente durante 24 Horas entrei em contato ele, me atendeu pediu pra que reiniciasse o servidor assim fiz e voltou a funcionar por mais 20 horas e novamente a mesma coisa tentei entrar em contato com ele através do Skype e celulares que me passou e sem sucesso e deixei recado algumas muitas horas depois ele entrou em contato e me pediu pra fazer a mesma coisa reiniciar... Fiz perguntei a ele se tinha algo de errado me dispus a procurarmos pelo problema formatar o sistema mais ele disse que estaria resolvido devido a uma atualização... porem de lá pra cá estaria sempre ocorrendo o mesmo problema e o que é pior não consigo falar com ele e tentando buscar solução com o Adriano Garcia que também é um dos desenvolvedores o mesmo não consegue ter acesso ao servidor e por isso disse que nada podia fazer, numa ultima tentativa de tentar colocar pra rodar o sistema jugado por eles com ótimo custo beneficio por sua "eficiência e SUPORTE" ao produto o Victor Feitosa entrou em contato comigo hj por volta das 10:00 e pediu que eu o aguardasse... [10:39:42] Victor Feitosa: aguarde um instante por favor. Até o presento horário estou fazendo o que me pediu.

---

Foi realmente simples, o Victor entrou com contato no mesmo dia que postei a minha EXPERIÊNCIA com o sistema e desde esse dia o sistema esta estável e funcionando corretamente, sobre o fato de ter insistido em deixar o sistema rodando na minha rede, primeiro, ele não parava minha rede... Independente de ele esta operacional ou não a minha rede nunca parava "+ 1 ponto" eu já tinha pensado em mudar para outro sistema sim porem comparando os relatos dos colegas vi que o nimoc é o sistema com o maior índice de satisfação "+ 1 ponto" por isso aguardei 7 dias antes de repensar a possibilidade de usar outra solução.

Citação:

---

Postado originalmente por alexandrecorrea

seu problema é simples de resolve, tire o proxy ... e se te derem a solução volte a usar.. senão... tente outro ou nao use.. :)

---

Bom dia a todos do N!MOC, quero fazer rodar na minha rede este sistema mais não consigo falar com nenhum responsavel para implantar ele ninguem nunca online ou não respondem, já montei a máquina já esta instalado o sistema a uns 2 a 3 meses, precisava q alguem enrasse em contato por favor, ou me respondesse, obrigado, aguardo um grende abraço.

[email protected]

Colega, tive problemas parecido com o seu, por varias vezes, então decidi fazer um teste com o Speedr e estou super satisfeito e ainda pagando menos, faça um teste e veja se lhe atende.

Citação:

---

Postado originalmente por viaradio

Bom dia a todos do N!MOC, quero fazer rodar na minha rede este sistema mais não consigo falar com nenhum responsavel para implantar ele ninguem nunca online ou não respondem, já montei a máquina já esta instalado o sistema a uns 2 a 3 meses, precisava q alguem enrasse em contato por favor, ou me respondesse, obrigado, aguardo um grende abraço.

[email protected]

---

Citação:

---

Postado originalmente por HGames

Colega, tive problemas parecido com o seu, por varias vezes, então decidi fazer um teste com o Speedr e estou super satisfeito e ainda pagando menos, faça um teste e veja se lhe atende.

---

Nunca recebi um pedido de contato seu, e meu celular sempre ligado!

Citação:

---

Postado originalmente por viaradio

Bom dia a todos do N!MOC, quero fazer rodar na minha rede este sistema mais não consigo falar com nenhum responsavel para implantar ele ninguem nunca online ou não respondem, já montei a máquina já esta instalado o sistema a uns 2 a 3 meses, precisava q alguem enrasse em contato por favor, ou me respondesse, obrigado, aguardo um grende abraço.

[email protected]

---

Olá estou com skype e msn on
Celular com bateria cheia... rsrsrs

Terei imenso prazer em atende-lo, já postei post aqui oferecendo meu serviço de implantação do nimoc, pode entrar em contato que estou aguardando!

Sr: Farias em um dos muitos posts aqui nesse mesmo forum e no forum MK-AUTH expus meu problema, assim como muitos outros colegas, e vou mostrar um dos posts relatando o meu problema.

Responder até David Hilario de Sousa em 5 novembro 2011 at 16:28 Excluir Gostaria de Expor aqui a minha experiência com o sistema nimoc,
Instalei e ativamos Junto com um dos Desenvolvedores Victor Feitosa em minha rede dia 30/10 Feito isso funcionou perfeitamente durante 24 Horas entrei em contato ele me atendeu pediu pra que reiniciasse o servidor assim fiz e voltou a funcionar por mais 20 horas e novamente a mesma coisa tentei entrar em contato com ele através do Skype e celulares que me passou e sem sucesso e deixei recado algumas muitas horas depois ele entrou em contato e me pediu pra fazer a mesma coisa reiniciar... Fiz perguntei a ele se tinha algo de errado me dispus a procurarmos pelo problema formatar o sistema mais ele disse que estaria resolvido devido a uma atualização... porem de lá pra cá estaria sempre ocorrendo o mesmo problema e o que é pior não consigo falar com ele e tentando buscar solução com o Adriano Garcia que também é um dos desenvolvedores o mesmo não consegue ter acesso ao servidor e por isso disse que nada podia fazer, numa ultima tentativa de tentar colocar pra rodar o sistema jugado por eles com ótimo custo beneficio por sua eficiência e suporte ao produto o Victor Feitosa entro em contato comigo hj por volta das 10:00 e pediu que eu o aguardasse... [10:39:42] Victor Feitosa: aguarde um instante por favor.

Até o presente horário estou fazendo o que me pediu...

Apresento N!MOC Power LYE - MK-AUTH

Citação:

---

Postado originalmente por farias

Nunca recebi um pedido de contato seu, e meu celular sempre ligado!

---

HGames, seu problema foi um pouco diferente do cyber, apenas respondi que comigo ninguem tinha entrado em contato ainda.

Agora o relato que você tem colocado aqui é muito importante, e deve ser verificado, infelizmente não posso responder pelos desenvolvedores, sou um simples parceiro. E tenho tentado ajudar todos meus clientes e inclusive clientes que fizeram implantaçãoes com outros parceiros ou diretamente com desenvolvedores.

É uma enorme pena que não tenho usado o sistema, digo como usuário, realmente o nimoc faz a diferença.

Precisando de qualquer coisa amigo, tem ai meu contato. Terei imenso prazer em atende-lo.

Até mais...

Luciano Rampanelli, isso é muito importante suas palavras e não é as palavras referente a configuração é a palavra que chega até nós como consolo para muitas atribulações física e profissional.
Queria pedir que compartilhasse a sua história quando diz que andou afastado por causa da debilidade da saúde por conta da profissão. Eu sou e tenho certeza muitos aqui são administradores de sistema e rede, precisamos ouvir algo depois deste pequeno "desabafo" creio eu, para que possamos vigiar mais em nossas profissões.

Quero aproveitar e perguntar agora quando você comenta sobre a questão das regras se utilizado em hotspot, funciona?

Que Deus o abençoe desde então e te cubra de benção.

bom dando uma passeada por aqui vi os comentarios, nao sei como é o atendimento dos parceiros e outros developers do nimoc, só sei de uma coisa se o luciano ta no meio a coisa é boa, atendimento como nunca vi o homi parace que nao dorme, sempre me tirou duvidas e me deu dicas, otimo profissional.

Boa tarde colega,

A gente 'se ajuda', uma hora respondendo e em outra é ajudado perguntando não é mesmo.

Abraço