Mikrotik + thunderCache= perfeito...

[Roberto21]

Vlw Roberto, ja tinha lido esse topico, porem o mesmo é para o mk 2.9.x, tentei atapitar para o mk 3.xx mas obtive exito... irei tenta novamente posso ter esquecido de alguma coisa...

Tenho outra solução muito simples para marcar o Thundercache, lembre-se do funcionamento do Thunder, é um servidor apache enviando os vídeos na porta 80, então fica fácil deduzir que se você marcar o ip do Thunder no caso 192.168.10.250 na porta 80 vc maracará todo tráfego do Thunder, agora o IP do Thunder tem que ser setado na regra para não marcar o trafego da porta 80 do link por exemplo, mas isso eu vou detalhar mais na frente.

[gu4rd1an]

Pra quem está com dificuldades para fazer a marcação no mangle dos arquivos do ThunderCache, como também do squid dê uma olhada nesse tópico aqui do forum do ThunderCache:

http://www.biazus.com/forum/viewtopic.php?f=6&t=134

Observe também nesse outro link, que é a página 5 do mesmo tópico do forum, as regras para a marcação tanto no squid como no MK:

http://www.biazus.com/forum/viewtopic.php?f=6&t=134&st=0&sk=t&sd=a&start=40

Para ter acesso ao forum é necessário fazer o cadastro, faça! vai valer a pena !

blzura.... ufa... agora ta tudo rodando redondim, so o filé...

vlw ai Roberto, depois de atapitar rodo certim agora...

[gu4rd1an]

Tenho outra solução muito simples para marcar o Thundercache, lembre-se do funcionamento do Thunder, é um servidor apache enviando os vídeos na porta 80, então fica fácil deduzir que se você marcar o ip do Thunder no caso 192.168.10.250 na porta 80 vc maracará todo tráfego do Thunder, agora o IP do Thunder tem que ser setado na regra para não marcar o trafego da porta 80 do link por exemplo, mas isso eu vou detalhar mais na frente.

hummm. blz, estamos aguardando....

[edcomrocha]

Mutio interessante...

Acompanhando o post

[eternal]

em relação as configurações citadas no inicio do topico..
Quantas interface lan tem que ter o MK e o servidor com Debian?
e como ficam as regras do nat para quem usa Hotspot "chain=pre-hotspot" ou "chain=dstnat"?

[Roberto21]

em relação as configurações citadas no inicio do topico..
Quantas interface lan tem que ter o MK e o servidor com Debian?
e como ficam as regras do nat para quem usa Hotspot "chain=pre-hotspot" ou "chain=dstnat"?

Bom, o Mk não precisa ser adicionado interface alguma, é só criar a faixa de ip na interface dos clientes, e o Debian só necessita uma interface mesmo,eth0.

dstnat.

[Roberto21]

Olá pessoal, boa noite!

Vamos dar seguimento abordando agora as configurações iniciais do Thundercache,Pré-suponho que o Thunder já esteja instalado e rodando com o debian, então vamos em frente.

A primeira configuração tem que ser feita no squid.conf, determinando qual a faixa de ip's que podem acessar o proxy, e é configurado da seguinte forma:

acl con_clients dst xxx.xxx.xxx.xxx/24 xxx.xxx.xxx.xxx/24

Onde xxx.xxx.xxx.xxx/24 é a faixa de ip's de sua rede interna (clientes) que vai acessar o servidor squid e o servidor Thunder, para adicionar várias faixas de ip só é necessário um espaço entre elas, no caso acima eu supostamente estaria usando duas.

Depois se você instalou via script de terceiros e não quer que as propagandas aparecam em sua rede comente essas três linhas colocando apenas um (((#))) na frente de cada linha, na configuração está assim:

acl ADSAdClient url_regex ADSAdClient31.dll
http_access deny ADSAdClient
deny_info http:xxxxxxxxxxxxxxxxxxxxxxxxx ADSAdClient

Faça assim:

#acl ADSAdClient url_regex ADSAdClient31.dll
#http_access deny ADSAdClient
#deny_info http: xxxxxxxxxxxxxxxxxxxxxxx ADSAdClient

Pronto a propaganda não existirá mais, se quizer deixe, para quem não instalou via script pule essa parte.

Em seguinda altere esse parametro aqui:url_rewrite_children 10 para:
url_rewrite_children 100

url_rewrite_children - A função desta instrução é definir quantas instâncias ficará residente na memória principal gerenciando requisições. Não existe um número mágico, isso depende de caso à caso, mas de 50 a 100 instâncias numa estrutura pequena a média é geralmente suficiente.

Nessa parte está abordada a configuração ''BÁSICA'' para o funcionamento da ferramenta, as configurações totais do squid.conf que uso e que estão 100% em minha rede colocarei mais adiante, por enquanto é a configuração básica para funcionamento.


Continua...Thunder.conf

[datalinenet]

Licença level6 mikrotik R$: 510,00 MD BRASIL
Um cafezinho na rodoviaria R$: 0,50

Um post desse nivel R$: NÂO TEM PREÇO!!!

Parabens amigo...

[Roberto21]

Olá Pessoal, boa noite!

Adiantando nosso tópico, vou fazer essa noite mesmo a configuração basica do thunder.conf, seguinte:

As configurações do thunder.conf são só essas, mas alguns detalhes e atenção fará toda a diferença:

$cache_dir = "/var/www/thunder"; ( aqui o diretório onde os arquivos são armazenados)
$disk_max = 98; // in percent ( aqui o total do HD usado pelo thunder no caso 98%)
$cache_scr = "/etc/squid";
$server_ip = "192.168.10.250"; ( aqui o endereço ip do thunder)
$cache_url = "http://$server_ip/thunder";
$download_speed = 512; // kbytes ( aqui a velocidade dos downloads )
$logadd_on = false;
$redir = "301:"; // keep empty if you need a internal rewriter (aqui foi mudado para 301 explicarei)
$proxy_host = ""; // keep it empty if you dont need proxy
$proxy_port = "5128"; (aqui a porta usada pelo thunder e pelo squid)
// advanced params - IF YOU DONT KNOW, DONT TOUCH!
$packet_size = 200; // in bytes
$packet_delay = 2000; // time in micro second
$download_timeout = 10;

Aconselho não mexer no resto a não ser que saiba o que está fazendo

Vamos comentar as mudanças:

#Acho que a maioria não precisará mexer no diretório do Thunder nem no tamanho de espaço usado pelo Hd, mas se precisar e souber o que está fazendo pode mexer.

# Se você for alterar a faixa de IP do squid e das interfaces terá que mudar aqui também.

#Aqui você define a velocidade de download do arquivos pelo Thunder, o meu está setado em 512, mas tenho 6M de link e esse valor é o suficiente para mim, originalmente vem com 256, altere de acordo com seu link, lembrando que ao começar a fazer um download de um vídeo o Thunder só para o download quando o vídeo for carregado totalmente, independente se o cliente fecha o vídeo no meio ou não, fazendo assim seu link ficar ocupado com esse download, então moderação com esse valor, a não ser que você tenha link suficiente.


DICA DO FORUM DO THUNDERCACHE ONDE FACILITOU MUITO A MARCAÇÃO NO MANGLE POSTADO POR '''ThunderBRZ'''

com a nova versao nao é necessario esse trampo todo !!!
é só colocar no thunder.conf a opcao 301 no redirect q ele repassa pro cliente a nova URL !!!
ae é so fazer um mangle marcando o dominio do seu apache !!!

A opção default é 302.

# se for mudar a porta do proxy squid terá que mudar aqui também

Essas são as configurações básicas do Thunder.conf, essas não devemos alterar muita coisa não até o final.


Continua ...resolv.conf

[Roberto21]

Olá pessoal..estou inspirado.... continuando essa noite ainda

Um dos detalhes mais importantes nas configurações basicas para o perfeito funcionamento do Thundercache é nessas configurações do resolv.conf

No resolv.conf determinamos os servidores de DNS em que o ThunderCache e o squid fará o processo de resolução de ip>>nomes, o servidor DNS primário setado errado nessas configurações fará o seu Thunder e seu squid travar em certas ocasiões por não conseguir resolver os nomes no protocolo de DNS, então para achar o DNS certo de sua rede em uma maquina dentro da rede com windows abra o menu iniciar e depois executar e digite:

nslookup

O retorno será o dominio e seu endereço de DNS primário, configurem esse ip que é mostrado no primeiro endereço do ''nameserver'' depois podem acrescentar os secundários. O seu DNS ''default'' é esse apresentado, e não o 192.168.10.253, então substitua no resolv.conf o primeiro ''nameserver'' pelo apresentado no DOS do windows.

isso é uma grande falha nas configurações do server e a maioria não atentou para isso.


Bom pessoal, três partes do tópico fiz agora a noite ( mais que eu esperava) espero que aproveitem e as dúvidas postem aqui para que todos nós possamos compartilhar das soluções.

Também aprendo todos os dias, se alguém tiver alguma sugestão ou um comentário a fazer sobre as configurações por favor, fique a vontade.


Continua... apache e php

[fitimacedo]

Parabéns Roberto

Pelo Tópico esta bem melhor que o do Luciano.
Bem mais explicado. Muito bem continui assim.

Mas tem algumas regras que eu já vi e vc disse que estava errada? rsrsrs.... so que estavão em formato de telinhas do Mk.

Parabéns agora este tópico esta com cara de forum.

[gu4rd1an]

Olá pessoal..estou inspirado.... continuando essa noite ainda

Um dos detalhes mais importantes nas configurações basicas para o perfeito funcionamento do Thundercache é nessas configurações do resolv.conf

No resolv.conf determinamos os servidores de DNS em que o ThunderCache e o squid fará o processo de resolução de ip>>nomes, o servidor DNS primário setado errado nessas configurações fará o seu Thunder e seu squid travar em certas ocasiões por não conseguir resolver os nomes no protocolo de DNS, então para achar o DNS certo de sua rede em uma maquina dentro da rede com windows abra o menu iniciar e depois executar e digite:

nslookup

O retorno será o dominio e seu endereço de DNS primário, configurem esse ip que é mostrado no primeiro endereço do ''nameserver'' depois podem acrescentar os secundários. O seu DNS ''default'' é esse apresentado, e não o 192.168.10.253, então substitua no resolv.conf o primeiro ''nameserver'' pelo apresentado no DOS do windows.

isso é uma grande falha nas configurações do server e a maioria não atentou para isso.


Bom pessoal, três partes do tópico fiz agora a noite ( mais que eu esperava) espero que aproveitem e as dúvidas postem aqui para que todos nós possamos compartilhar das soluções.

Também aprendo todos os dias, se alguém tiver alguma sugestão ou um comentário a fazer sobre as configurações por favor, fique a vontade.


Continua... apache e php

é isso Roberto, esta de parabens, continui assim....

[mgn5005]

Parabens...!!

Excelente contribuição,



Abraços


Marcelo

[Roberto21]

Olá pessoal!
Vamos ver mais na frente que precisamos evitar queos arquivos que vão para o Thunder, ao mesmo tempo vá também para o squid, por que teríamos a situação daquele tópico onde explico que o cache do MK + youtube seria desnecessário e teríamos que evitar que eles fossem para o cache do MK, temos que evitar também que todos os arquivos que vão para o Thunder não entrem no Squid.

Agora usaremos a '''cabeça'' para pensar:

Se o Thunder baixa os arquivos dele memo e não pega do squid, então pra que permitir que os arquivos do Thunder entrem no squid ?

SIMPLES ASSIM !!!!

É só pensar um pouquinho meu filho (Rsssssssssssss)

Isso é mais na fente (rsssss)

[Squire]

Olá pessoal!
Vamos ver mais na frente que precisamos evitar queos arquivos que vão para o Thunder, ao mesmo tempo vá também para o squid, por que teríamos a situaçã daquele tópico onde explico que o cache do MK + youtube seria desnecessário e teríamos que evitar que eles fossem para o cache do MK, temos que evitar também que todos os arquivos que vão para o Thunder não entrem no Squid.

Isso é mas na fente (rsssss)

acopanhando como sempre..
tinha desativado o thunder do meu squid, ate descobrir formas de deixa-lo mais estavel..
vamos ver se agora agente consegue
rs

Parabens e continue assim!!

[rodrigomanga]

sou burro ou não achei o passo a passo do thunder cache? ou isso aqui é o forum da matéria? sei lá, daqui a pouco e vejo.

Parabéns por ter feito um passo a passo, isso ajuda bastante e comunidade, e divulga ainda mais o Thunder Cche, q é um sistema open source sem fins lucrativos. Faço o sistema no meu tempo vago, com objetivo de melhorar o cache da minha lan house.

O legal é q o sistema é otimo pra provedores, e tem um desempenho excelente, quem não usou, teste!

Só não recomendo o plugin do orkut para usuários leigos, pois precisa de varias modificações no sistema, para que o desempenho seja bom, senão seu server vai travar!

[Roberto21]

Pô Rodrigo tu é burro pra C..... (kkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkk)

Você além de um profissional que é, parece ser um cara extremamente simples, onde se coloca como um simples dono de uma lan house, e que faz o Thunder no seu tempo vago...caramba cara...vocêe stá muito a frente de várias pessoas, e me incluo ai.

Muito obrigado por seu comentário em meu tópico isso só me reforça a tese que fiz a coisa certa, ( sem fins lucrativos).

Abração e sempre que seu tempo '''livre aparecer'' dá uma força aqui pra galera.

[clovisfernando]

Parabéns, acompanhando...

[Roberto21]

Todos os méritos do Thundercache deve ser dado ao Rodrigo Manga e seus colaboradores no projeto, olhem a simplicidade do camarada no post acima.

Bom, esse tópico ''todo'' não é só para copiar e colar, é para que possamos compartilhas os problemas e soluções para instalar uma ferramenta importante e que nos auxiliará muito em nossos provedores.

Derepente parece ser ''desnecessário'' que uma pessoa qualquer oriente outras para a aprendizagem de qualquer coisa que seja, então vamos fechar colégios e faculdades por que os professores não precisam estar lá, para te orientar e te ensinar os detalhes ''seja'' ele qual for..sem sentido não? Longe de mim me comparar a qualquer ''bom'' professor, estou longe disso, mas algumas idéias são diferentes das minhas...analizem e tirem as suas conclusões.

Vamos ao que interessa realmente, no caso agora o apache:

Bom, vamos pensar e analizar como o apache se comportaria em diversos cenários,redes de 0 a 100 clientes, de 100 a 500 clientes, e acima, muito acima disso, mas acho que acima de 500 clientes se pode ter um hardware mais eficiente para esse serviço.

Como já disse no tópico anterior o diagrama ''basico e simplificado'' do Thunder é o seguinte:

A conexão é redirecionada do Mk para o server debian ''no caso'' lá a conexão entrará no squid e no próprio squid há um redirecionamento para o Thunder, esse por sua vez reescreve as url's originais para outra em que possa ser lida e interpretada como um HIT, quer dizer, o Thunder faz uma cópia dentro do servidor de todos os arquivos que entram para ele, essa cópia é que vai ser enviada para o cliente quando ele solicitar algo que esteja no Thunder, e quem faz esse envio é o apache, o servidor web do seu Thunder.

Então é fácil perceber que sua maquina começa a trabalhar como um ''servidor'' de arquivos de internet mesmo, se você verificar de onde está vindo os arquivos com o snnifer por exemplo, ele mostrará que vão vir todos do ip do seu Thunder no caso 192.168.10.250, e não de um ip válido da internet, pensando assim, quanto mais cheio estiver o seu HD mais requisições o apache vai ter que responder, talvez chegando ao seu limite em um período que pode ser diferente, e que cada caso é um caso, percebe-se também que os valores das configurações do apache podem mudar de acordo com a quantidade de solicitações recebidas por ele, isso quer dizer que, pode acontecer que quando seu cache encher de verdade, pode haver lentidão, ou travamentos, mas o próprio apache dispõe de várias ferramentas para isso não acontecer.

Peço aos colegas que sabem mais sobre o apache que postem alguma coisa para nos ajudar por que não domino o conteúdo do apache e tudo que sei sobre foi pesquizando no google. Aqui vai um execelente link onde mostra uma ferramenta do apache, e como ela pode ser usada exatamente nesse caso, vocês darão uma lida no conteúdo e todo comentário é bem vindo, mas as configurações ''default'' do apache estão funcionando perfeitamente para mim a não ser um só parâmetro que alterei, o link é esse:
http://www.gdhpress.com.br/servidores/leia/index.php?p=cap6-29

( Não utilizo esse módulo, só estou mostrando que temos inúmeras opções de configurações.)

Nesse outro link aqui temos uma relação dos módulos suportados pelo apache, aos quais podem ser pesquizados e adicionados em cada situação.
http://www.criarweb.com/artigos/arquitetura-servidor-apache.html

As principais funções do apache2.conf que estão setadas quando você instalar o seu ThundeCache são essas:

<IfModule mpm_prefork_module>
StartServers 5
MinSpareServers 5
MaxSpareServers 10
MaxClients 150
MaxRequestsPerChild 0
</IfModule>

StartServers
A diretiva StartServers define o número de processos criados na inicialização do Apache. O Apache irá continuar abrir os processos até que alcance o número de MinSpareServers

MinSpareServers, MaxSpareServers
MaxSpareServers e MinSpareServers determina quantos processos filhos devem ser mantidos rodando. Se MinSpareServers for muito baixo e muitas requisições forem iniciadas, então o Apache terá que abrir processos adicionais para atender as requisições. Criar processos filhos é relativamente caro. Se o servidor estiver ocupado criando processos, ele não estará disponível para servir as requisições imediatamente. MaxSpareServers não deve ser muito alto, ele pode causar problemas de recursos desde que cada processo consome os recursos da máquina.

Maxclients
O MaxClients seta o número máximo de clientes simultâneos que pode ser suportada por cada servidor. Nenhum processo além do que está definido será aberto. Ele não deve conter um número muito baixo já que as requisições serão colacadas em fila, o que eventualmente irá dar time-out e os recursos do servidor continuarão não utilizados. Setar este valor muito alto irá causar o início de swap e o tempo de resposta irá cair drasticamente.

( A quantidade de clientes que você tem não é a quantidade que deve ser configurada em maxclients, até por que não estão todos conectados simultâneamente, esse número está de bom tamanho, a não ser que vc tenha uma rede superior a 500 clientes.)

MaxRequestsPerChild
A diretiva MaxRequestsPerChild definie o número de requisições que um processo do servidor irá gerenciar. Depois as requisições MaxRequestsPerChild irão morrer. É definido para 0 por padrão, o que significa que o processo não irá expirar nunca. É apropriado setar este valor para alguns milhares. Isto pode ajudar a previnir vazamento de memória desde que o processo morre depois de servir um número de requisições. Não sete este valor muito baixo, já que criar novos processos causa overhead.

Todos essas referências foram pesquizadas no google, e estão aqui para que possam ter uma referência no que pode ser mudado em seu server apache no caso de um execesso de requisições e travamento do mesmo.Vale citar que não mexi nas configurações default do apache2.conf, e até agora tudo está perfeito, veremos se algo acontecerá lá na frente, mas isso faz parte de uma nova ferramenta que está sendo desenvolvida, agora usuários que tenham realmente conhecimento com o apache podem citar aqui otimizações para todos, mas por enquanto tá bom demais.

Parâmetro alterado no meu apache2.conf: MaxKeepAliveRequests 100
Quanto maior esse número, mais requisições um mesmo usuário poderá fazer antes de liberar a conexão para outro. Valores típicos estão entre 100 e 500 (0 significa que não há limite).

Bom, finalizando hoje '''''aqui está o calcanhar de Aquiles''' do Thunder, prudência com esses valores, começe com as configurações default, observem que a maior parte desse conteúdo foi só referências para que todos consigam saber o que são as configurações.

Continua...PHP...

[ddllss]

preparando ''apache e php'' ...ainda hoje a noite...aguardem...

Olá Roberto,
Parabens cara, muito bom trabalho, eu estou sem tempo de testar aqui, mas estou acompanhado tudo, (e salvando pra vender no ML!!!)kkkkk
É nada cara, mais uma vez parabens, sei que isso é conhecimento adquirido com esforço e tempo.. e sei que seu salario e seu combustivel para continuar contribuindo é os agradecimentos que você ganha, (não só você mas todos que postam algo, querem apenas um "click" em agradecimento, o que parece tão dificil para muitos..).
Você é um dos caras que eu sempre pesquiso por nome, porque sei que aprenderei algo novo..
Como você disse no começo do post que ganhou uma assinatura de revista, e agora gostaria de uma Pagero, te desejo boa sorte, que Deus te de muita sabedoria e te capacite a cada dia para alcançar seus objetivos.

abraços,