Mikrotik + thunderCache= perfeito...

[edcomrocha]

Ainda não..esse ai é um caso clássico onde se tem que ''esquentar'' os miolos.

Roberto boa noite!!!!

No caso do nosso amigo FAIEEP sera que nao funcionaria se a gente colocasse o web-proxy do mk pra funcionar e colocasse a opçao parent proxy com ip do debian e a porta dele no web-proxy do mk, estou perguntando porque nao sei se funciona o thunder nessa configuraçao do web-proxy do mk, se puder ajudar a gente agradecemos, ja colocou uns 3 thunder pra rodar e ta todo mundo sastifeito

Falow abraços a todos

[Roberto21]

Roberto boa noite!!!!

No caso do nosso amigo FAIEEP sera que nao funcionaria se a gente colocasse o web-proxy do mk pra funcionar e colocasse a opçao parent proxy com ip do debian e a porta dele no web-proxy do mk, estou perguntando porque nao sei se funciona o thunder nessa configuraçao do web-proxy do mk, se puder ajudar a gente agradecemos, ja colocou uns 3 thunder pra rodar e ta todo mundo sastifeito

Falow abraços a todos

Já foram muito mais de 3 colega, a procura não para de aumentar...Seguinte, funciona sim em parent proxy, mas você não conseguirá fazer a marcação no mangle dos arquivos do Thunder, e outra coisa, perderá o relatório do sarg, por que o único ip que o debian vai enchergar é o do MK.

Agora qual é a finalidade de usar parent proxy ?

[Roberto21]

pessoal Flagrei agora a pouco o desempenho do Thunder em minha rede e fiz um print aqui para vocês analizarem o desempenho dessa fantástica ferramenta:

[edcomrocha]

Já foram muito mais de 3 colega, a procura não para de aumentar...Seguinte, funciona sim em parent proxy, mas você não conseguirá fazer a marcação no mangle dos arquivos do Thunder, e outra coisa, perderá o relatório do sarg, por que o único ip que o debian vai enchergar é o do MK.

Agora qual é a finalidade de usar parent proxy ?

Ola Roberto obrigado por responder, eu escrevi errado e só agora que você respondeu eu vi desculpe os erros....

1º eu disse que eu coloquei 3 thunder pra rodar para amigos meus que tem redes sem fio tambem estudando o que você postou e o Luciano tbm

2º só disse para usar o parent proxy pra ver se rolava no mk 3.x do nosso amigo FAIEEP ja que nao estamos conseguindo fazer pela regra normal de redirecionamento que esta postado no seu post, mais ai perderemos algumas funcionalidades importantes dele neh esa era minha duvida


mais uma vez agradeço

Abraços e obrigado pela atençao, vamos estudar aqui outra forma de faze-lo se ter alguma dica sera de grade ajuda

valewww

[Roberto21]

Camarada, já instalei em mais de um Mk versão 3.xx, qual é o problema? O que você não está conseguindo ?

[osmano807]

Gente, estou testando uma versão para Windows, e ela funciona com url_rewrite do squidguard + apache, então acho que poderia funcionar somente com o mikrotik modificando a url.

Aqui é uma lan house, mas já tem alguns vídeos aqui, olhem:
http://osmano807.no-ip.org:8080/relatorio.php

[edcomrocha]

Olá Roberto, muito bom o material, andei acompanhando o tópico e com ajuda do amigo EDCOMROCHA consegui fazer a intergração do sitema, conseguimos pingar do mk para o debian, acessar pelo ssh normalmente, porém qdo ativa a regra ñ navega, no meu caso diferente uso uma RB450 com MK 3.10 e faço balanceamento de 3 links adsl por grupo de clientes, clientes com o ip final 2 até 63 link1 final 65 até 127 link2 final 129 até 191 link3, se possivel, saberia informar se já fez algum etste nessas situações? Agradeço....

Nao é pra eu nao Roberto é para o FAIEPI, os que eu fiz estao todos blz, eu estava tentando ajudar ele, mais da o erro que ele disse como esta na citaçao acima, essa é a questao, pois vc disse que tem que esquentar a cabeça

[Roberto21]

Gente, estou testando uma versão para Windows, e ela funciona com url_rewrite do squidguard + apache, então acho que poderia funcionar somente com o mikrotik modificando a url.

Aqui é uma lan house, mas já tem alguns vídeos aqui, olhem:
http://osmano807.no-ip.org:8080/relatorio.php

Interessante, nos mostre mais detalhes de sua idéia, agora se for para usar o cache do próprio MK, '''esqueça'' nunca teremos a flexibilidade, nem o desempenho que uma SO separado fazendo cache.

[standart]

Olá a todos, ontem tive o prazer de encontrar esse topico que sinceramente me deixou muito feliz em ver o empenho dos participantes em formar um circulo de ajuda mutua.

Bom, no meu caso estou aqui por dois motivos, primeiro recorrer a ajuda de voces, apesar de usar a bastante tempo o squid e ter inumeras implementações das mais variadas formas. Mas em se tratando de implementações mk, sou ainda bastante amador e certamente isso tem me deixando em desvantagem frente aos meus inumeros problemas.

Em seguinda postarei um outro topico inumeras dicas relacionadas a performance do squid, que até então não as vi neste post. E que pode ajudar e muito as pessoas que as desconhecem.

Falando do problema, para meus primeiros testes com a solução mk + proxy paralelo, montei meu servidor de cache com a seguinte especificação:

Proxy
Core Quad
8GB RAM
1HD de 160
2HD de 500GB
1Placas 10/100/1000

MK
Core 2Duo
2GB RAM
1HD de 160GB
3Placas 10/100/1000

Na implementação ficaria:

Router <- MK <-> Proxy

Configurações do MK:

INTERNET = 200.xxx.xxx.xxx
LOCAL=10.4.0.1/30
PROXY=10.3.0.1/30

Bom, montei o MK com o minimo de regras possivel e meu proxy com thudercache funcionando redondinho.

chain=srcnat out-interface=INTERNET src-address-list=TESTE action=masquerade comment="" disabled=no
add chain=dstnat src-address=10.3.0.2 protocol=tcp dst-port=80 action=accept comment="" disabled=no
chain=dstnat protocol=tcp dst-port=80 action=dst-nat to-addresses=10.3.0.2 to-ports=3128 comment="" disabled=no

Na lista de acesso de nome TESTE, estão:

10.4.0.2 meu ip
10.3.0.2 ip do proxy

Bom, com apenas isso esta funcionando perfeito, mas na minha implementação uso hotspot com autenticação em radius, aqui não apresentei a maquina com tem o banco e o server radius rodando pra não fugir do foco.

Mas apartir daqui que meu problema acontece, quando configuro o server hotspot vai tudo de água a baixo, as requisições do cliente deixam de serem enviadas para o proxy e passa a sair diretamente. Daí que não tive ainda o entedimento de saber o que esta ocorrendo. Se alguem tiver uma implementação que use esse modelo favor ajudar.

Após passar por esse teste, estarei testando o cache full.


Grato a todos.

[osmano807]

Interessante, nos mostre mais detalhes de sua idéia, agora se for para usar o cache do próprio MK, '''esqueça'' nunca teremos a flexibilidade, nem o desempenho que uma SO separado fazendo cache.

Eu criei um url_rewrite com o squidGuard, para que essa url:

http://www.youtube.com/get_video?video_id=yCq7EncEbDw&t=vjVQa1PpcFP9-Wkh-nSL_fcN9zadGFNswF29JP99hW0%3D&hl=pt-br&plid=AARqHQ62wbhu84-N&keywords=box%252Ccat%252Cfail%252Cfunny%252Ckitty%252Clol%252Ccats%252Crandom&cr=BR

fosse redirecionada para essa

http://192.168.0.1/youtube_video.php?video_id=yCq7EncEbDw&t=vjVQa1PpcFP9-Wkh-nSL_fcN9zadGFNswF29JP99hW0%3D&hl=pt-br&plid=AARqHQ62wbhu84-N&keywords=box%252Ccat%252Cfail%252Cfunny%252Ckitty%252Clol%252Ccats%252Crandom&cr=BR

O que muda é http://www.youtube.com/get_video para http://192.168.0.1/youtube_video.php.

Aí, o script verifica se o arquivo existe no servidor, se não existir, ele chama um programa (em C++, estou testando) que faz o download do vídeo. Já consequi implementar mas o programa que faz download ainda não faz resume, e aí isto me está dando um trabalho para fazer funcionar.

O que precisaria é somente o youtube_video.php e o programa para o download.
Agora, tem jeito de compilar um programa para mikrotik? Se tiver, aí é só compilar o programa e ajustar o script para executálo.
O mikrotik executa shell script, ou php-cli ou outra linguagem? Se executar, aí o programa de download poderia ser feito nessa linguagem.

Meus scrips:
http://osmano807.no-ip.org:8080/youtube_video.phps
http://osmano807.no-ip.org:8080/functions_novo.phps

Depois posto o script do downloader (em C++), o atual está dando uns erros estranhos.
(Não estou testando com mikrotik porque toda vez que instalo no virtualbox fala que a licensa expirou)

[standart]

Bom , conforme mensionei o post anterior aqui vai minha contribuição aos amigos.

Primeira sugestão vai ao quantidade de regras no seu squid.conf, procure deixa-lo o mais enxuto possivel. Alguns insistem de deixa o access.log ativo, mas do meu ponto de vista é um desperdicio de recurso, porque o mesmo é util a um provedor apenas para debugar problemas. Sobre o comentario do colega que já esta preocupado com o projeto de lei do senador Eduardo Azeredo, lembre-se é apenas um projeto de lei ainda, e muitos destes passam anos ate serem aprovados, portanto concentre-se no problema que hoje temos.

Nesse ultimo servidor que montei usei a seguinte estrutura:

1 HD 160

/dev/sda1 2048 swap
/dev/sda2 300 /boot
/dev/sba3 todo restante para o /

2 HD 500GB em RAID0

Para estes e criei raid0, que me deu um tempo de resposta muito melhor, mesmo sendo via software, mas como não tenho cacife ainda pra meter SAS :-(.

Vai uma dica, mesmo que porventura não possa seguir este modelo, busque colocar o cache do squid e do thunder, em particões separadas, isto pode tornar seu sistema mais seguro e tem alguns truques que podem ser aplicados.
Tem alguns administradores que não tomam essas precauções, e todos sabemos, que em certas regiões o sistema eletrico simplesmente não se comporta, como nos grandes centros, onde tem uma maior estabilidade e com isso os desligamentos incorretos acontecem com menos frenquencia, mas em outros locais não, vez ou outra o sistema tem a necessidade de fazer reparos, ai cai naquele velho problema, de ficar horas verificando o disco na inicialização, isso quando não é solicitado uma intervenção manual, o que pode demorar ainda mais, considerando que alguns tem até mais de 30GB de cache do squid e como este praticamente o tempo todo em leitura e escrita, um desligamento incorrento certamente causara erro ai. Agora pense todo esses arquivos sendo checados um-a-um.


Se optar em colocar os caches em partições separadas podera usar o recurso de noatime option. O que isso significa?

O Linux salva em cada arquivo a informação de data e hora de ultimo acesso além de ultima modificação, e como o Squid utiliza seu timestamp próprio, é inutil contar com o timestamp do filesystem. Para melhorar o acesso aos arquivos de cache setamos então o diretório de cache com o parâmetro “noatime”.

Veja como fazer:

Coloque isso em seu fstab
/dev/sda4 /var/cache/squid ext3 defaults,noatime 0 0
/dev/sda5 /var/www/thunder ext3 defaults,noatime 0 0

Note que isso é apenas um exemplo, mas serve para todos os casos, mude de acordo sua necessidade.
Sempre deixe acima de 20% de espaço livre no filesystem contendo seu cache dir, geralmente a performance do filesystem degrada dramaticamente se o espaço usado excede 80%.

Desative o Store.log

cache_store_log none

Outro ponto que gera inumeros questionamentos e a respeito do sistema de arquivos, se é melhor usar ext3 ou reiserfs. Eu usei por muito tempo o reiserfs, mas nas ultimas soluções para estes casos, o ext3 se mostrou muito melhor do meu ponto de vista. Neste um ultimo server que estou a testar, criei as 2 partições na md0 para o squid e thunder, com sistema de arquivos ext4, lembrando que o kernel so oferece suporte nativo a este em modo stable apartir da versão 2.6.28. Mas o resultado até agora valeu muito a pena.

Uso de DISKD

Este também foi um recurso amplamente usado por mim, mas que hoje desaconselho. vejam o que diz no site do squid-cache.

Features/DiskDaemon - Squid Web Proxy Wiki

Orienta que o daemon DISKD é recomendado para variantes do BSD somente para os demais recomenda-se usar AUFS.

Portanto uma sugestão:

cache_dir aufs /var/cache/squid 40000 64 64

Bom, é isso, se encontrar mais alguma coisa aqui vou colocando. Espero ter ajudado e postem ai dicas, sugestões e correções.

Abraço a todos

Ah, antes que eu esqueça, vai as referencias.

FrontPage - Squid Web Proxy Wiki
Site do mano Wagner Assis, grande abraço a este cara que me ajudou muito sobre esse assunto.

[rpclanhouse]

Estou acompanhando o post desde o inicio, Em breve serei o próximo a implantar o sistema.

Boa semana a Todos.

Ricardo Sobrinho.

[Roberto21]

Muito boa a contribuição sobre o squid, já tinha visto essa matéria, mas é válido sim postar pois ajuda na implantação do Thunder.

Algumas dessas dicas já estão agregadas no squid.conf que postei aqui.

Vlw

[darklinux3]

Aqui eu não estava conseguindo fazer o cache full dos arquivos do thunder, por algum motivo nao consegui fazer o dst-nat para o servidor proxy em paralelo (fazia mas nao funcionava) e entao estava utilizando o proxy parent. Utilizo algumas vlans em meu mk depois de um tempo as vlans travavam junto com a navegacao e o mk só respondia se fosse reiniciado. Mudei o sistema, retirei o webproxy do mikrotik, fiz um redirecionamento através de rotas estaticas para o servidor squid com thunder cache, está perfeito e ainda utilizo o sarg já que os ips que aparecem no access.log são dos proprios clientes.

Mikrotik + Squid 3.0-STABLE8 Paralelo(Rota Estática) + Thunder Cache + Sarg

Ainda deixei 4mb compartilhado de cache full para os clientes. Está perfeito.

[]´s

[faieppi]

Ainda não..esse ai é um caso clássico onde se tem que ''esquentar'' os miolos.

É Roberto, sem balanceamento td blz, consegui fazer funcionar blz, mas com balanceamento estou esquentando os miolos mesmo, uso por grupo de clientes, vou fazer testes com outros tipos de balanceamento como por ex NTH e ver se funciona...

[darklinux3]

Qual é seu problema com o balanceamento? aqui utilizo balanceamento por serviços. E tudo funciona normalmente. Com rota estática sem dst-nat.

Abs!

[faieppi]

Qual é seu problema com o balanceamento? aqui utilizo balanceamento por serviços. E tudo funciona normalmente. Com rota estática sem dst-nat.

Abs!

Uso aquele balanceamento por grupo de clientes /25 q divide a range de ip em 2, aí direciono os clientes do ip final 1 até 127 para o link1 os clientes final 129 até 253 para o link 2, mas qdo ativo a regra q redireciona a porta 80 para a 3128 do debian para tudo, ñ abre nada....

[darklinux3]

Já exprimentou usar com rota estatica? Desta maneira vc diz aos pacotes com destino a porta 80 que o gateway é o debiam como ele esta com a internet compartilhada (MASQUERADE) vai responder normalmente as requisicoes.

[standart]

Olá amigos, e ai alguém tem ideia do pode estar causando meu problema quando ativo o hotspot?


Preciso muito encontrar esse problema hoje.


Grato a todos

[Roberto21]

Uso aquele balanceamento por grupo de clientes /25 q divide a range de ip em 2, aí direciono os clientes do ip final 1 até 127 para o link1 os clientes final 129 até 253 para o link 2, mas qdo ativo a regra q redireciona a porta 80 para a 3128 do debian para tudo, ñ abre nada....

Dê uma olhada nesse tópico do forum do ThunderCache:

http://www.biazus.com/forum/viewtopic.php?f=3&t=284


Se não tiver o cadastro no forum não conseguir´visualizar a mensagem, então faça!!!!