Tutorial Debian cache para integração com Mikrotik

**Binhos5** · 29-05-2009, 16:29

Postado originalmente por cordeirog3

Eu estava com este mesmo problema revir algumas configurações no squid.conf e no thunder.conf e pronto ficou blz, voce esta usando o thunder cache 2 ou 2.1?

Amigo o q vc fez pra ficar bom ? eu uso o thunder desde mesmo topico na primeira pagina, agora me diz o q vc fez pra ficar blz.............

**cordeirog3** · 29-05-2009, 16:55

Postado originalmente por Binhos5

Amigo o q vc fez pra ficar bom ? eu uso o thunder desde mesmo topico na primeira pagina, agora me diz o q vc fez pra ficar blz.............

Eu instalei a versão 2.1, agora eu estou com o seguinte problema, vez o outra o squid para de responder dar timeout e não abre as páginas. Alguém já passou por alguma problema desse de travamento?

**m4d3** · 03-06-2009, 00:37

Postado originalmente por cordeirog3

Eu instalei a versão 2.1, agora eu estou com o seguinte problema, vez o outra o squid para de responder dar timeout e não abre as páginas. Alguém já passou por alguma problema desse de travamento?

Na primeira página deste tópico tem vários links, não são só para enfeite, neles tem dicas que devem aplicar nas configurações do seu linux/squid/apache/thunder, estude e faça, logo o problema estará resolvido.

Abraço.

**mktguaruja** · 03-06-2009, 11:47

Bom pc ram..

eu estava vendo o exemplo de configuração no inicio do seu execente post... uma coisa vc ligo os 3 servers em paralelo correto ao mikrotik e caiu no gbit axo q eh esse no nome...
mais ali naum tem nenhuma saida da ele fika parada ali.. somente para vc ver da station os log´s ??

**m4d3** · 03-06-2009, 15:53

Postado originalmente por mktguaruja

Bom pc ram..

eu estava vendo o exemplo de configuração no inicio do seu execente post... uma coisa vc ligo os 3 servers em paralelo correto ao mikrotik e caiu no gbit axo q eh esse no nome...
mais ali naum tem nenhuma saida da ele fika parada ali.. somente para vc ver da station os log´s ??

Correto, o trafego entre servidores ocorre a 1GBit, e a station serve para monitorar os servidores bem como executar alguma alteração, apenas esta station tem acesso a todos os servidores simultaneamente, acesso este que pode ser a 100Mbits sem problema.

**baldim** · 03-06-2009, 16:23

Boa tarde, parabéns pelo tópico, acredito que foi de muita valia para muitos de nós. Implementei o sistema em meu laboratório. Tudo funcionando, com o passar dos dias, percebemos que o site do windows update está demorando muito para abrir... hora abre hora não abre, coisa de 5 a 10 min de demora. Qdo tiro o proxy abre normalmente! A diferença é que eu ñ fiz com mikrotik, eu simplesmente configurei o iptables para que ele fosse o gateway da rede, ficando transparente.

Alguém teria alguma dica ou alguma idéa para que eu possa resolver o meu problema??

Muito obrigado!

Abraços...

**m4d3** · 03-06-2009, 17:14

Postado originalmente por baldim

Boa tarde, parabéns pelo tópico, acredito que foi de muita valia para muitos de nós. Implementei o sistema em meu laboratório. Tudo funcionando, com o passar dos dias, percebemos que o site do windows update está demorando muito para abrir... hora abre hora não abre, coisa de 5 a 10 min de demora. Qdo tiro o proxy abre normalmente! A diferença é que eu ñ fiz com mikrotik, eu simplesmente configurei o iptables para que ele fosse o gateway da rede, ficando transparente.

Alguém teria alguma dica ou alguma idéa para que eu possa resolver o meu problema??

Muito obrigado!

Abraços...

Se você reinicia o servidor linux/cache, a velocidade a este site volta ao normal ?

**baldim** · 03-06-2009, 20:24

Não volta.... continua a mesma coisa!!! E o estranho que é apenas com o windows update, pelo menos até agora eu só percebi com ele!

Obrigado!

**m4d3** · 03-06-2009, 20:41

Postado originalmente por baldim

Não volta.... continua a mesma coisa!!! E o estranho que é apenas com o windows update, pelo menos até agora eu só percebi com ele!

Obrigado!

Existe a possíbilidade de ser problema de rota ou falta de negação do proxy para este site estar fazendo com que cacheie duas vezes o mesmo conteúdo e assim causando algum bug ?

**ThyagoComputer** · 03-06-2009, 22:50

acompanhando..

**baldim** · 04-06-2009, 08:30

Meu firewall está assim, é um exemplo que tirei de um tópico. Agora acredito que não seja problema de rota, uma unica coisa diferente q add no squid.conf foi uma linha para fazer o cache peer que é um outro cache que tenho em meu cpd. O que ainda não fiz foi testar sem essa linha do cache_peer.

cache_peer 189.43.xxx.xx parent 9090 4827 no-query round-robin

modprobe ip_tables
modprobe iptable_nat

#Limpa tudo
iptables -F
iptables -t nat -F

# Para nao fugirem do proxy
iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to 3128

# Encaminhamento de IP
echo 1 > /proc/sys/net/ipv4/ip_forward

# Abre algumas portas (ssh e http)
iptables -A INPUT -p tcp --destination-port 22 -j ACCEPT
iptables -A INPUT -p tcp --destination-port 80 -j ACCEPT

# Abre para a rede local
iptables -A INPUT -p tcp --syn -s 192.168.0.0/255.255.255.0 -j ACCEPT

# Proteção diversas contra portscanners, ping of death, ataques DoS, etc.
iptables -A FORWARD -p icmp --icmp-type echo-request -m limit --limit 1/s -j ACCEPT
iptables -A FORWARD -p tcp -m limit --limit 1/s -j ACCEPT
iptables -A FORWARD -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -A FORWARD -p tcp --tcp-flags SYN,ACK,FIN,RST RST -m limit --limit 1/s -j ACCEPT
iptables -A FORWARD --protocol tcp --tcp-flags ALL SYN,ACK -j DROP
iptables -A FORWARD -m unclean -j DROP

# Fecha o resto
iptables -A INPUT -p tcp --syn -j DROP

**m4d3** · 04-06-2009, 22:33

E derrepente, em um determinado circuito de IP DEDICADO DA EMBRATEL (O MESMO OCORRE COM A GVT) ocorre o seguinte:

1 - Videos do youtube não entram no cache
Monitorando os logs, observei que os videos vem do endereço:
v4.lscache1.googlevideo.com
logo
nslookup v4.lscache1.googlevideo.com
resultou em
189.73.192.217

Então eu pergunto, pagando R$ 17.000,00 reais por 10MB dedicados para a telecom e recebemos cache até do youtube, isso esta mesmo certo? Será que não existe um orgão de fiscalização ou uma norma que seja cumprida neste país ?
Pra ferrar os provedores que usam ADSL e não tem SCM existe a ANATEL!!!
Pra exigir que as OPERADORAS DE TELEFONIA E COMUNICAÇÃO DESTE PAÍS CUMPRAM A LEGISLAÇÃO NÃO EXISTE NEM UM ORGÃO, NEM NINGUÉM, AQUI QUEM PODE MAIS CHORA MENOS.

Indignado se eu pudesse eu matarra mil como diz o nosso amigo Jeremias.

Já fui contra, mas se me perguntar hoje, usem adsl mesmo, porque de dedicado estes circuitos não tem mais nada, 8 dias fora do ar por incompetência técnica, querem mesmo nos ferrar.

**Roberto21** · 04-06-2009, 22:48

Concordo, nessa estou com você !!!!

**pedrovigia** · 04-06-2009, 22:57

Postado originalmente por m4d3

E derrepente, em um determinado circuito de IP DEDICADO DA EMBRATEL (O MESMO OCORRE COM A GVT) ocorre o seguinte:

1 - Videos do youtube não entram no cache
Monitorando os logs, observei que os videos vem do endereço:
v4.lscache1.googlevideo.com
logo
nslookup v4.lscache1.googlevideo.com
resultou em
189.73.192.217

Então eu pergunto, pagando R$ 17.000,00 reais por 10MB dedicados para a telecom e recebemos cache até do youtube, isso esta mesmo certo? Será que não existe um orgão de fiscalização ou uma norma que seja cumprida neste país ?
Pra ferrar os provedores que usam ADSL e não tem SCM existe a ANATEL!!!
Pra exigir que as OPERADORAS DE TELEFONIA E COMUNICAÇÃO DESTE PAÍS CUMPRAM A LEGISLAÇÃO NÃO EXISTE NEM UM ORGÃO, NEM NINGUÉM, AQUI QUEM PODE MAIS CHORA MENOS.

Indignado se eu pudesse eu matarra mil como diz o nosso amigo Jeremias.

Já fui contra, mas se me perguntar hoje, usem adsl mesmo, porque de dedicado estes circuitos não tem mais nada, 8 dias fora do ar por incompetência técnica, querem mesmo nos ferrar.

isso não é algum servidor de cache do próprio google ou vc acha que é da embratel ?

**minelli** · 04-06-2009, 22:57

Relamente já tinha percebido isso mas nunca pensei por esse lado..... relamente vc está com a razão....
Nimguem fiscaliza eles pq geralmente são os bons ou pq tem muito pra pagar cafezinhos como já presencie na propria telefonica e embratel.... em reuniões de associações....

**m4d3** · 05-06-2009, 00:32

Postado originalmente por pedrovigia

isso não é algum servidor de cache do próprio google ou vc acha que é da embratel ?

Se eu to doido então me mostre (e posso estar mesmo, rss), pq o google faria CACHE dos próprios videos ?

Quando a operadora foi questionada respondeu: Nós temos uma parceria com o google e fazemos cache dos videos, acho que isso responde a sua pergunta.

Postei também esta dúvida no forum do thundercache, respondida quase que imediatamente pelo biazus dizendo:

mas já faz....
o que o thunder pega é o conteudo... nao importa da onde venha...
existem pontos de troca de trafego também que as grandes operadoras fazem direto..uma sede link a outra em determinados locais...
tudo dinamico... vc destina ips e link para fulano fulano destina ips e link para vc e assim vai...

Ae eu digo, não faz, pq não fez e continua não fazendo, rsss, e agora pergunto, algum dia fará ?

Segue logs:

Código :

1244172436.747 119952 XXX.XX.XX.XX TCP_MISS/200 818524 GET [URL]http://v22.lscache1.googlevideo.com/videoplayback?ip=0.0.0.0&begin=950&itag=34&ipbits=0&sparams=id%2Cexpire%2Cip%2Cipbits%2Citag&sver=3&expire=1244196000&key=yt1&signature=5DAC6EF80E72CB643F877BF454AA884A4C4DB36D.4C0E0C4C3BFF0754C2D60F928C53192867C4C3CE&id=3a2e0282cb454385[/URL] - DIRECT/74.125.1.97 video/x-flv
 
1244172271.769   9289 XXX.XX.XX.XX TCP_MISS/200 49805 GET [URL]http://v5.lscache8.googlevideo.com/videoplayback?ip=0.0.0.0&sparams=id%2Cexpire%2Cip%2Cipbits%2Citag&itag=5&ipbits=0&sver=3&expire=1244196000&key=yt1&signature=53C41CDC5AC63E17A936FD374DA50448C6A3A557.608E52468F2F340700A37A010206F555EB16F57E&id=b7e5654fc364a9ae[/URL] - DIRECT/74.125.165.220 video/x-flv

**pedrovigia** · 05-06-2009, 09:10

Postado originalmente por m4d3

Se eu to doido então me mostre (e posso estar mesmo, rss), pq o google faria CACHE dos próprios videos ?

Quando a operadora foi questionada respondeu: Nós temos uma parceria com o google e fazemos cache dos videos, acho que isso responde a sua pergunta.

Postei também esta dúvida no forum do thundercache, respondida quase que imediatamente pelo biazus dizendo:
Ae eu digo, não faz, pq não fez e continua não fazendo, rsss, e agora pergunto, algum dia fará ?

Segue logs:

Código :

1244172436.747 119952 XXX.XX.XX.XX TCP_MISS/200 818524 GET [URL]http://v22.lscache1.googlevideo.com/videoplayback?ip=0.0.0.0&begin=950&itag=34&ipbits=0&sparams=id%2Cexpire%2Cip%2Cipbits%2Citag&sver=3&expire=1244196000&key=yt1&signature=5DAC6EF80E72CB643F877BF454AA884A4C4DB36D.4C0E0C4C3BFF0754C2D60F928C53192867C4C3CE&id=3a2e0282cb454385[/URL] - DIRECT/74.125.1.97 video/x-flv
 
1244172271.769   9289 XXX.XX.XX.XX TCP_MISS/200 49805 GET [URL]http://v5.lscache8.googlevideo.com/videoplayback?ip=0.0.0.0&sparams=id%2Cexpire%2Cip%2Cipbits%2Citag&itag=5&ipbits=0&sver=3&expire=1244196000&key=yt1&signature=53C41CDC5AC63E17A936FD374DA50448C6A3A557.608E52468F2F340700A37A010206F555EB16F57E&id=b7e5654fc364a9ae[/URL] - DIRECT/74.125.165.220 video/x-flv

Pois é, eu já havia desconfiado disso, mais pensei que pode ser que exista um acordo entre o google e as teles para existi tipo espelhos deles aqui no Brasil e outra muitos servidores web de grande trafego utilizam caches reversos as vezes até em outros locais para ajudar no tráfego, a sourceforge é uma que tem espelhos no datacenter da globo por exemplo....
sobre o thunder sempre desconfiei dele mais como todo mundo estava pedindo comecei a estudar ele tb, mais ele é uma ferramenta que deve estar em constante mudança pq os sites que ele faz cache mudam muito tb o tempo todo...

**m4d3** · 09-06-2009, 01:44

http://img44.imageshack.us/img44/5407/newsz5.png
PREVIEW SCREEN Z5 - Abro uma votação, vale a pena publicar o próximo script?

ENQUETE - Você acredita que a publicação do novo script conlinuxZ5 vai ajudar muita gente a aprender a pensar e usar o linux + cache de videos para melhorar seus serviços ?
1 - SIM, AJUDA A PENSAR MOSTRANDO O CAMINHO DAS PEDRAS.
2 - NÃO, CRIA INCAPAZES DE PENSAR E DEPENDÊNCIA DE USAR TUDO PRONTO.

Opine, queremos ver a opinião dos admins também, é cada coisa que temos lido ultimamente que dá pena dos daemons.

E mais, você que já usou o script e precisou fazer ajustes manuais para obter o perfeito funcionamento, publique aqui e poderá ser um dos primeiros a testar o novo script.

Sem votação, o lançamento não irá ocorrer então participe, queremos saber a sua opinião.

**netover** · 09-06-2009, 01:56

1 - SIM, AJUDA A PENSAR MOSTRANDO O CAMINHO DAS PEDRAS.

a partir do resultado final aprende-se como utilizar os meios

**gu4rd1an** · 09-06-2009, 06:24

1 - SIM, AJUDA A PENSAR MOSTRANDO O CAMINHO DAS PEDRAS.

Tutorial Debian cache para integração com Mikrotik

Ferramentas de Tópicos

Thunder

Problemas com o windowsupdate

Multinacionais

espelho