Tutorial load balance (paralelo) + Debian + ThunderCache + servidor MK 3.13~3.22

**BillGates** · 07-08-2009, 15:58

Para não fugir do foco deste topico,estarei postando na area de Firewall ,regras básicas mas eficientes para bloquear o Cliente(Folgado) que esteja em débito com sua empresa!

Muitos não usam o hotspot e precisam colocar uma página para avisar os tais que eles estão em débito com sua empresa.

- Porque será que eles lembram de pagar quando os serviços de internet ficam suspensos???

Vamos fazer isso usando o próprio proxy para hospedar as páginas de "Aviso"

Terminando o topico volto aqui e posto o link!!!

(Clientes queridos)

Não Registrado · 07-08-2009, 16:39

Boa tarde pessoal tenho uma no meu mikrotik tenho Hotspot ( autenticação usuário e senha ) posso encontrar problemas com o squid nesta questão ? ou as regras do hotspot não vai influenciar em nada ? , por que eu montei o paralelo como o tutorial e até parece estar funcionando mas quando vou em /var/WWW/thunder não a arquivo nenhum ali

**BillGates** · 07-08-2009, 18:15

Postado originalmente por Não Registrado

Boa tarde pessoal tenho uma no meu mikrotik tenho Hotspot ( autenticação usuário e senha ) posso encontrar problemas com o squid nesta questão ? ou as regras do hotspot não vai influenciar em nada ? , por que eu montei o paralelo como o tutorial e até parece estar funcionando mas quando vou em /var/WWW/thunder não a arquivo nenhum ali

Não posso lhe dizer nada sobre isso,pois não trabalho com hotspot,mas aguarde que tem colegas que trabalham com esse modo de autenticação e poderão lhe dar uma opinião...

**BillGates** · 07-08-2009, 18:18

Ai vai o link para o bloqueio de clientes...

Clientes em Débito??? Veja aqui uma forma de Bloquea-los!!!

**BillGates** · 08-08-2009, 01:33

Depois de ler aqui no forum do Under-linux.org e no ThunderCache.org,vi muitas pessoas enfrentando problemas com a instalação feita através do script e também com a instalação feita desde o inicio do proxy+thunder.

Então dei inicio a um tutorial para ajudar a quem esteja enfrentando dificuldades...

Segue...

ThunderCache - Desde a Instalação até a Configuração Final! Por BillGates

Não Registrado · 08-08-2009, 13:10

Amigo Bill, boa tarde.
Primeiramente parabéns pelo tutorial. Muiito bom mesmo.

Gostaria de passar minha situação.
Estou com o seguinte cenário:
Link full --> Mikrotik + Thunder cache no debian 5.1(exatamente como no tuto) -- > Clientes.

Meu Mikrotik é a versão 3.27 L4 original e fiz o tuto conforme descrito nas primeiras páginas. Com medo de errar, pois sou muito cru no mikrotik, eu deixei até os ips padrões da instalação dada no tutorial.
No primeiro dia ficou 100%. Mas percebi no dia seguinte uma demora na abertura de páginas, seja elas quais forem. A net tipo fica pensando durante quase 1 MINUTO, antes de carregar a página. As vezes vai normal, mas na maioria das vezes roda assim.
Para não torrar a paciência de vocês eu revi o tutorial umas 3 vezes e esta tudo ok. Só não tenho certeza quanto ao squid . Ás vezes acontece outra coisa, o MSN fica ok (logado) e ás páginas simplesmente param de abrir.

Problema 2:
Quando a net funciona legal, percebo que a velocidade estipulada no queue não funciona. Por ex: Setei minha velocidade em 128k mas os downloads vem na velocidade do link. E não é cache pois indiferente dos arquivos e tamanhos a velocidade vem full. O que pode estar acontecendo?

Amigos, podem me dar uma ajuda? Desde já agradeço!

#############Meu SQUID.CONF###################

http_port 3128 transparent
visible_hostname conprove
icp_port 0

acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl con_clients dst 192.168.124.0/24
acl purge method PURGE
acl CONNECT method CONNECT
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports

http_access allow manager localhost con_clients
http_access deny manager all
icp_access allow purge localhost con_clients
icp_access deny purge all

cache_mem 400 MB
maximum_object_size 100 MB
minimum_object_size 0

cache_swap_low 80
cache_swap_high 95

cache_dir ufs /var/spool/squid 70000 16 256

cache_effective_user proxy
ftp_user [email protected]

hierarchy_stoplist cgi-bin ?
access_log /var/log/squid/access.log

refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
#refresh_pattern (Release|Package(.gz)*)$ 0 20% 2880
refresh_pattern . 0 20% 4320

acl shoutcast rep_header X-HTTP09-First-Line ^ICY\s[0-9]
upgrade_http0.9 deny shoutcast

acl apache rep_header Server ^Apache
broken_vary_encoding allow apache

extension_methods REPORT MERGE MKACTIVITY CHECKOUT
hosts_file /etc/hosts

coredump_dir /var/spool/squid

#acl ADSAdClient url_regex ADSAdClient31.dll
#http_access deny ADSAdClient
#deny_info http://www.conprove.com/banner_msn.html ADSAdClient

server_persistent_connections off
zph_mode tos
zph_local 0x30

url_rewrite_children 100
url_rewrite_program /etc/squid/loader.php
acl thundercache_allow_url url_regex -i \.youtube\.com\/get_video\?
acl thundercache_allow_url url_regex -i \.googlevideo\.com\/videoplayback \.googlevideo\.com\/videoplay \.googlevideo\.com\/get_video\?
acl thundercache_allow_url url_regex -i \.google\.com\/videoplayback \.google\.com\/videoplay \.google\.com\/get_video\?
acl thundercache_allow_url url_regex -i \.google\.[a-z][a-z]\/videoplayback \.google\.[a-z][a-z]\/videoplay \.google\.[a-z][a-z]\/get_video\?
acl thundercache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\/videoplayback\?
acl thundercache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\/videoplay\?
acl thundercache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\/get_video\?
acl thundercache_allow_url url_regex -i media[a-z0-9]?[a-z0-9]?[a-z0-9]?\.tube8\.com\/
acl thundercache_allow_url url_regex -i \.mais\.uol\.com\.br\/(.*)\.flv
acl thundercache_allow_dom dstdomain .terra.com.br dl.redtube.com .orkut.com .avast.com .avg.com .windowsupdate.com .grisoft.com .avgate.net .globo.com .terra.com .eset.com
acl thundercache_deny_url url_regex -i http:\/\/[a-z][a-z]\.youtube\.com http:\/\/www\.youtube\.com
url_rewrite_access allow thundercache_allow_url
url_rewrite_access allow thundercache_allow_dom
redirector_bypass on
url_rewrite_access deny all
acl servercache dstdomain 192.168.10.250
cache deny servercache

############MEU THUNDER.CONF###################

<?php
/**
* This program is free software; you can redistribute it and/or modify
* it under the terms of the GNU General Public License as published by
* the Free Software Foundation; either version 2 of the License, or
* (at your option) any later version.
*
* This program is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU Library General Public License for more details.
*
* You should have received a copy of the GNU General Public License
* along with this program; if not, write to the Free Software
* Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
*
* (C) Copyright 2008-2009 Thunder Cache
*
* For more information check THUNDERCACHE.ORG
*
* Configurations of system
*
* @author rodrigo manga <[email protected]>
*/

$cache_dir = "/var/www/thunder";
$disk_max = 98; // in percent
$disk_ok = 90; // in percent
$cache_scr = "/etc/squid";
$server_ip = "192.168.10.250";
$cache_url = "http://$server_ip/thunder";
$download_speed = 368; // kbytes
$logadd_on = false;
$redir = "301:"; // keep empty if you need a internal rewriter
$proxy_host = ""; // keep it empty if you dont need proxy
$proxy_port = "3128";
$max_downloaders = 3;

// advanced params - IF YOU DONT KNOW, DONT TOUCH!
$packet_size = 200; // in bytes
$packet_delay = 2000; // time in micro second
$download_timeout = 10;

?>

###########MEU RESOLV.CONF###############

nameserver 192.168.10.253

######################################

OBS: Quando dou o comando nslookup diferente do que aparece no tuto pra mim fica assim:

*** Não é possível encontrar o nome do servidor para o endereço 192.168.124.1: Non-existent domain
***Os servidores padrão não estão disponíveis
Servidor padrão: UnKnown
Adress: 192.168.124.1

Aguardo resposta e mais uma vez obrigado!

**angelino** · 09-08-2009, 23:38

O brother da uma olhada nesse topico pode te ajudar ai nessa caminhada. flow
ThunderCache - Desde a Instalação até a Configuração Final! Por BillGates - Página 2

Não Registrado · 10-08-2009, 00:58

E ai amigo, obrigado pela ajuda, mas este tuto é do ubuntu e eu instalei o debian.
O meu thunder ta funcionando agora o lance da demora na abertura de páginas... eu coloquei mais memória e acho q ta rolando... sendo que continuo sem nenhum controle de banda... e isso ta detonando minha rede... alguem sabe como resolver???

**BillGates** · 10-08-2009, 10:34

[QUOTE=Não Registrado;427278]Amigo Bill, boa tarde.
Primeiramente parabéns pelo tutorial. Muiito bom mesmo.

Gostaria de passar minha situação.
Estou com o seguinte cenário:
Link full --> Mikrotik + Thunder cache no debian 5.1(exatamente como no tuto) -- > Clientes.
...

Amigo,você comenta que no 1º dia ficou blz e depois teve problemas,correto???

Vi que vc setou 400MB para a cache_mem , essa memoria é o total que você tem ou 40%~50% do total???

Pois como comentado ja em vários posts,o minimo de memoria seria 4gb,ai você setaria em cache_mem de 40%~50% da sua memoria...

Va até seu proxy e no terminal digite:

free -m e veja quanto de memoria o sistema identifica,quanto ele esta usando e quanto esta livre... e post akee....

"Obviamente você deve estar logado no seu proxy"

Para quem estiver tendo problemas com o proxy postado nesse tópico,sugiro que siga o novo tutorial que explica detalhadamente como instalar o Proxy + ThunderCache desde o inicio...

Tutorial passo a passo: Clique aqui!

**brunobrandao** · 10-08-2009, 14:19

Olá amigo Bill, eu sou o cara "não registrado" acima. rsrs
Bem, resolvi o problema da demora, vc estava certo em relação a lentidão. Mas agora só tem 1 coisinha q ta matando a rede, ela esta mandando a net na sem controle de banda...
Os clientes estão navegando com a velocidade máxima do link e o queue não esta mais servindo para limitar. Se eu remover o seu script do thunder funciona. Não é cache pq é qualquer arquivo, até mesmo os arquivos de tamanhos diferentes do configurado no squid para cache.

O que pode ser??

Desculpa aew minha ignorancia mas sou novo no MK.
Estou estudando e assim que possível estarei retribuindo ajudando no fórum!!
Um abração!!

OBS: Eu to usando do Debian 5.1 + thunder cache deste post

**BillGates** · 10-08-2009, 23:33

Postado originalmente por brunobrandao

Olá amigo Bill, eu sou o cara "não registrado" acima. rsrs
Bem, resolvi o problema da demora, vc estava certo em relação a lentidão. Mas agora só tem 1 coisinha q ta matando a rede, ela esta mandando a net na sem controle de banda...
Os clientes estão navegando com a velocidade máxima do link e o queue não esta mais servindo para limitar. Se eu remover o seu script do thunder funciona. Não é cache pq é qualquer arquivo, até mesmo os arquivos de tamanhos diferentes do configurado no squid para cache.

O que pode ser??

Desculpa aew minha ignorancia mas sou novo no MK.
Estou estudando e assim que possível estarei retribuindo ajudando no fórum!!
Um abração!!

OBS: Eu to usando do Debian 5.1 + thunder cache deste post

O problema parece estar na configuação do seu mk...

Qual versão usa?
Forma de autenticação?
Como esta seu firewall?

De mais detalhes...

**Evilazio** · 11-08-2009, 03:29

olá amigos eu configurei o thundercache aki conforme o tuto e está rodando porem precebi que não estava senho feito as caches de arquivos, paginas e youtube. querendo resolver não sei se fix beteira mais eu fiz uma "atualização" baixei http://www.thundercache.org/repo/thundercachev21.tar descompactei os arquivos e copie para a pasta /etc/squid e mesmo assim não resolveu o prob da cache. limpo o navegador e as paginas abrem meio lentas ainda só a partir da segunda vez que abre mais rápido mais ai é a cache do navegador que está acelerando e não o thunder.
Gostaria de saber como posso saber se realmente está sendo feito as caches sei que existe uma pagina que abrimos pelo browserse não me engano thundercach.php mais tb não sei como pois tentei tb e não consegui.

segue a configuração dos arquivos:

squid.conf

http_port 3128 transparent
visible_hostname conprove
icp_port 0
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl con_clients dst 192.168.2.0/24 192.168.3.0/24
acl purge method PURGE
acl CONNECT method CONNECT
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow manager localhost con_clients
http_access deny manager all
icp_access allow purge localhost con_clients
icp_access deny purge all
cache_mem 2048 MB
maximum_object_size 40 MB
minimum_object_size 0
cache_dir ufs /var/spool/squid 650000 16 256
cache_effective_user proxy
ftp_user [email protected]
hierarchy_stoplist cgi-bin ?
access_log /var/log/squid/access.log
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
#refresh_pattern (Release|Package(.gz)*)$ 0 20% 2880
refresh_pattern . 0 20% 4320
acl shoutcast rep_header X-HTTP09-First-Line ^ICY\s[0-9]
upgrade_http0.9 deny shoutcast
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
extension_methods REPORT MERGE MKACTIVITY CHECKOUT
hosts_file /etc/hosts
coredump_dir /var/spool/squid
acl ADSAdClient url_regex ADSAdClient31.dll
http_access deny ADSAdClient
deny_info http://www.conprove.com/banner_msn.html ADSAdClient
server_persistent_connections off
zph_mode tos
zph_local 0x30
url_rewrite_children 100
url_rewrite_program /etc/squid/loader.php
acl thundercache_allow_url url_regex -i \.youtube\.com\/get_video\?
acl thundercache_allow_url url_regex -i \.googlevideo\.com\/videoplayback \.googlevideo\.com\/videoplay \.googlevideo\.com\/get_video\?
acl thundercache_allow_url url_regex -i \.google\.com\/videoplayback \.google\.com\/videoplay \.google\.com\/get_video\?
acl thundercache_allow_url url_regex -i \.google\.[a-z][a-z]\/videoplayback \.google\.[a-z][a-z]\/videoplay \.google\.[a-z][a-z]\/get_video\?
acl thundercache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\/videoplayback\?
acl thundercache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\/videoplay\?
acl thundercache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\/get_video\?
acl thundercache_allow_url url_regex -i media[a-z0-9]?[a-z0-9]?[a-z0-9]?\.tube8\.com\/
acl thundercache_allow_url url_regex -i \.mais\.uol\.com\.br\/(.*)\.flv
acl thundercache_allow_dom dstdomain .terra.com.br dl.redtube.com .orkut.com .avast.com .avg.com .windowsupdate.com .grisoft.com .avgate.net .globo.com .terra.com .eset.com
acl thundercache_deny_url url_regex -i http:\/\/[a-z][a-z]\.youtube\.com http:\/\/www\.youtube\.com
url_rewrite_access allow thundercache_allow_url
url_rewrite_access allow thundercache_allow_dom
redirector_bypass on
url_rewrite_access deny all
acl servercache dstdomain 192.168.10.250
cache deny servercache

thunder.conf

<?php
/**
* This program is free software; you can redistribute it and/or modify
* it under the terms of the GNU General Public License as published by
* the Free Software Foundation; either version 2 of the License, or
* (at your option) any later version.
*
* This program is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU Library General Public License for more details.
*
* You should have received a copy of the GNU General Public License
* along with this program; if not, write to the Free Software
* Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
*
* (C) Copyright 2008-2009 Thunder Cache
*
* For more information check THUNDERCACHE.ORG
*
* Configurations of system
*
* @author rodrigo manga <[email protected]>
*/
$cache_dir = "/var/www/thunder";
$disk_max = 95; // in percent
$cache_scr = "/etc/squid";
$server_ip = "000.000.000.000";
$cache_url = "http://$server_ip/thunder";
$download_speed = 512; // kbytes
$logadd_on = false;
$redir = ""; // keep empty if you need a internal rewriter
$proxy_host = ""; // keep it empty if you dont need proxy
$proxy_port = "3128";
//limpeza
$time_delete = 45; // in Day
$disk_limit = 83; // in percent
$list_files = 50; // in number
//advanced params - IF YOU DONT KNOW, DONT TOUCH!
$packet_size = 5900; // in bytes
$packet_delay = 60000; // time in micro second
$download_timeout = 25;
?>

resolv.conf
nameserver 192.168.2.1

atenciosamente,

no aguardo...

**brunobrandao** · 11-08-2009, 10:29

Segue a configuração do meu MK para análise:

# aug/11/2009 10:10:25 by RouterOS 3.27
#
/ip firewall nat
add action=masquerade chain=srcnat comment="" disabled=no out-interface="Link 2" src-address=192.168.124.0/24
add action=masquerade chain=srcnat comment="Nat Debian" disabled=no src-address=192.168.10.0/24
add action=dst-nat chain=dstnat comment="" disabled=no dst-address=!192.168.10.250 dst-port=80 protocol=tcp \
src-address=192.168.124.0/24 to-addresses=192.168.10.250 to-ports=3128

/ip firewall mangle
add action=mark-connection chain=forward comment="Cache Full" content="X-Cache: HIT" disabled=no \
new-connection-mark=forward-hits passthrough=yes protocol=tcp
add action=mark-packet chain=forward comment="" connection-mark=forward-hits disabled=no new-packet-mark=cache-hits \
passthrough=yes
add action=mark-connection chain=postrouting comment="" disabled=no dscp=12 new-connection-mark=proxy-hits \
passthrough=yes
add action=mark-packet chain=postrouting comment="" connection-mark=proxy-hits disabled=no new-packet-mark=\
proxy-squid passthrough=yes
add action=mark-connection chain=forward comment="Thunder - Cache Full" disabled=no dst-address=192.168.10.250 \
dst-port=80 new-connection-mark=thunder-connection passthrough=yes protocol=tcp
add action=mark-packet chain=forward comment="" connection-mark=thunder-connection disabled=no new-packet-mark=\
thunder-packs passthrough=yes protocol=tcp

#
/queue tree
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=2M max-limit=3M name=Cache-Hits packet-mark=\
proxy-squid parent=global-out priority=8 queue=default
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=2M max-limit=3M name=Cache-Old packet-mark=\
cache-hits parent=global-out priority=8 queue=default
add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=2M max-limit=3M name=ThunderCache \
packet-mark=thunder-packs parent=global-out priority=8 queue=default

**brunobrandao** · 11-08-2009, 10:41

Postado originalmente por Evilazio

olá amigos eu configurei o thundercache aki conforme o tuto e está rodando porem precebi que não estava senho feito as caches de arquivos, paginas e youtube...

Olá amigo, bom dia. Também sou novato no MK mas espero poder ajudar.
Bem em relação ao You Tube da uma olhada nesta explicação que vai resolver seu problema:

No youtube.com.php está assim:

Código:
if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){ // get videoid $videoid = get_videoid($url);

Subistitua por isto

Código:
if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){ // removendo noflv $pattern = '/(&)?noflv=[0-9]{1,}/i'; $url = preg_replace($pattern, "", $url); // get videoid $videoid = get_videoid($url);

P.S.: As modificações removem da url "&noflv=1", o que estava gerando os "erros"

Sobre o cache duplo, ainda estou pensando em uma solução, para linux funciona, mas em win32 não (somente Vista/2008 acima).

O Link desta página segue aqui: Thunder cache não está fazendo cache dos vídeos do youtube

em relação ao linux, vc usa o ubuntu ou o debian? qual a versão do seu MK?

**Evilazio** · 11-08-2009, 12:32

Postado originalmente por Evilazio

olá amigos eu configurei o thundercache aki conforme o tuto e está rodando porem precebi que não estava senho feito as caches de arquivos, paginas e youtube. querendo resolver não sei se fix beteira mais eu fiz uma "atualização" baixei http://www.thundercache.org/repo/thundercachev21.tar descompactei os arquivos e copie para a pasta /etc/squid e mesmo assim não resolveu o prob da cache. limpo o navegador e as paginas abrem meio lentas ainda só a partir da segunda vez que abre mais rápido mais ai é a cache do navegador que está acelerando e não o thunder.
Gostaria de saber como posso saber se realmente está sendo feito as caches sei que existe uma pagina que abrimos pelo browserse não me engano thundercach.php mais tb não sei como pois tentei tb e não consegui.

segue a configuração dos arquivos:

squid.conf

http_port 3128 transparent
visible_hostname conprove
icp_port 0
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl con_clients dst 192.168.2.0/24 192.168.3.0/24
acl purge method PURGE
acl CONNECT method CONNECT
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow manager localhost con_clients
http_access deny manager all
icp_access allow purge localhost con_clients
icp_access deny purge all
cache_mem 2048 MB
maximum_object_size 40 MB
minimum_object_size 0
cache_dir ufs /var/spool/squid 650000 16 256
cache_effective_user proxy
ftp_user [email protected]
hierarchy_stoplist cgi-bin ?
access_log /var/log/squid/access.log
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
#refresh_pattern (Release|Package(.gz)*)$ 0 20% 2880
refresh_pattern . 0 20% 4320
acl shoutcast rep_header X-HTTP09-First-Line ^ICY\s[0-9]
upgrade_http0.9 deny shoutcast
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
extension_methods REPORT MERGE MKACTIVITY CHECKOUT
hosts_file /etc/hosts
coredump_dir /var/spool/squid
acl ADSAdClient url_regex ADSAdClient31.dll
http_access deny ADSAdClient
deny_info http://www.conprove.com/banner_msn.html ADSAdClient
server_persistent_connections off
zph_mode tos
zph_local 0x30
url_rewrite_children 100
url_rewrite_program /etc/squid/loader.php
acl thundercache_allow_url url_regex -i \.youtube\.com\/get_video\?
acl thundercache_allow_url url_regex -i \.googlevideo\.com\/videoplayback \.googlevideo\.com\/videoplay \.googlevideo\.com\/get_video\?
acl thundercache_allow_url url_regex -i \.google\.com\/videoplayback \.google\.com\/videoplay \.google\.com\/get_video\?
acl thundercache_allow_url url_regex -i \.google\.[a-z][a-z]\/videoplayback \.google\.[a-z][a-z]\/videoplay \.google\.[a-z][a-z]\/get_video\?
acl thundercache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\/videoplayback\?
acl thundercache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\/videoplay\?
acl thundercache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\/get_video\?
acl thundercache_allow_url url_regex -i media[a-z0-9]?[a-z0-9]?[a-z0-9]?\.tube8\.com\/
acl thundercache_allow_url url_regex -i \.mais\.uol\.com\.br\/(.*)\.flv
acl thundercache_allow_dom dstdomain .terra.com.br dl.redtube.com .orkut.com .avast.com .avg.com .windowsupdate.com .grisoft.com .avgate.net .globo.com .terra.com .eset.com
acl thundercache_deny_url url_regex -i http:\/\/[a-z][a-z]\.youtube\.com http:\/\/www\.youtube\.com
url_rewrite_access allow thundercache_allow_url
url_rewrite_access allow thundercache_allow_dom
redirector_bypass on
url_rewrite_access deny all
acl servercache dstdomain 192.168.10.250
cache deny servercache

thunder.conf

<?php
/**
* This program is free software; you can redistribute it and/or modify
* it under the terms of the GNU General Public License as published by
* the Free Software Foundation; either version 2 of the License, or
* (at your option) any later version.
*
* This program is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU Library General Public License for more details.
*
* You should have received a copy of the GNU General Public License
* along with this program; if not, write to the Free Software
* Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
*
* (C) Copyright 2008-2009 Thunder Cache
*
* For more information check THUNDERCACHE.ORG
*
* Configurations of system
*
* @author rodrigo manga <[email protected]>
*/
$cache_dir = "/var/www/thunder";
$disk_max = 95; // in percent
$cache_scr = "/etc/squid";
$server_ip = "000.000.000.000";
$cache_url = "http://$server_ip/thunder";
$download_speed = 512; // kbytes
$logadd_on = false;
$redir = ""; // keep empty if you need a internal rewriter
$proxy_host = ""; // keep it empty if you dont need proxy
$proxy_port = "3128";
//limpeza
$time_delete = 45; // in Day
$disk_limit = 83; // in percent
$list_files = 50; // in number
//advanced params - IF YOU DONT KNOW, DONT TOUCH!
$packet_size = 5900; // in bytes
$packet_delay = 60000; // time in micro second
$download_timeout = 25;
?>

resolv.conf
nameserver 192.168.2.1

atenciosamente,

no aguardo...

Olá amigos, descobri onde errei!

eu ja tinha configurado td conforme o tutorial e não sei o que houve mais as configurações não tinhão sido salvas, reconfigurei novamente o squid.conf e o thunder.conf e agora ta show de bola.

ta cacheando td certinho.... paginas, youtube e downloads!!!! que maravilha rsrsrsrsr

só uma coisa que percebi, os videos do terra não estão rodando a tela fica preta e não funfa. o que será? alguem pode dar uma força?

obrigado

**osmano807** · 11-08-2009, 13:43

Postado originalmente por brunobrandao

Olá amigo, bom dia. Também sou novato no MK mas espero poder ajudar.
Bem em relação ao You Tube da uma olhada nesta explicação que vai resolver seu problema:

No youtube.com.php está assim:

Código:
if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){ // get videoid $videoid = get_videoid($url);

Subistitua por isto

Código:
if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){ // removendo noflv $pattern = '/(&)?noflv=[0-9]{1,}/i'; $url = preg_replace($pattern, "", $url); // get videoid $videoid = get_videoid($url);

P.S.: As modificações removem da url "&noflv=1", o que estava gerando os "erros"

Sobre o cache duplo, ainda estou pensando em uma solução, para linux funciona, mas em win32 não (somente Vista/2008 acima).

O Link desta página segue aqui: Thunder cache não está fazendo cache dos vídeos do youtube

em relação ao linux, vc usa o ubuntu ou o debian? qual a versão do seu MK?

Já arrumaram isto no Thunder, é só usar o youtube.com.php oficial.

**BillGates** · 12-08-2009, 14:16

Postado originalmente por Evilazio

Olá amigos, descobri onde errei!

eu ja tinha configurado td conforme o tutorial e não sei o que houve mais as configurações não tinhão sido salvas, reconfigurei novamente o squid.conf e o thunder.conf e agora ta show de bola.

ta cacheando td certinho.... paginas, youtube e downloads!!!! que maravilha rsrsrsrsr

só uma coisa que percebi, os videos do terra não estão rodando a tela fica preta e não funfa. o que será? alguem pode dar uma força?

obrigado

Atualize o seu Thunder através do Repositório Oficial www.thundercache.org ,Tenho o thundercache instalado aqui e esta cacheando 100% todos os plugins..

Chamo a atenção para o plugin do AVG,o mesmo não esta sendo atualizado mais aqui na minha rede,então não tenho certeza se é problema no meu plugin ou avg ...

Fora isso esta tudo ok quanto ao funcionamento do thundercache disponibilizado no site Oficial...

**Evilazio** · 13-08-2009, 01:43

Postado originalmente por BillGates

Atualize o seu Thunder através do Repositório Oficial www.thundercache.org ,Tenho o thundercache instalado aqui e esta cacheando 100% todos os plugins..

Chamo a atenção para o plugin do AVG,o mesmo não esta sendo atualizado mais aqui na minha rede,então não tenho certeza se é problema no meu plugin ou avg ...

Fora isso esta tudo ok quanto ao funcionamento do thundercache disponibilizado no site Oficial...

eu ja tentei mais não consegui, da para vc me falar como tenho que fazer, pois acho que da forma que estou fazendo não deu certo.
eu fui na pagina thundercache.org e peguei os plugins abri os do terra e globo, editei os arquivos correspondentes e colei os códigos. fiz isso tb no arquivo thunder.lst, reinicio o servidor para recarregar e não funciona. no terra algumas vezes aparece uma mensagem [video_not_found] e as vezes só fica a tela preta. ja na globo roda só o comercial e o filme mesmo não rola, fica na tela preta tb.
Sei que isso já é um problema conhecido só que não estou conseguindo.

muito obrigado.

**JeffersonParre** · 13-08-2009, 07:20

bom dia a todos, acordei hj as 4 da matina pra colocar meu novo server no ar, funcionou tudo blz, ou melhor, quase tudo, a parte de redirecionamento de downloads nao está funcionando, onde eu marco os pacotes pra redirecionar pro link q deixei pra fazer downloads (em mangle) percebi q se eu colocar o address list em src-address-list ele redireciona certinho, porem nao consigo fazer nenhuma navegacao....alguem pode me ajudar?

**BillGates** · 13-08-2009, 11:52

Postado originalmente por Evilazio

eu ja tentei mais não consegui, da para vc me falar como tenho que fazer, pois acho que da forma que estou fazendo não deu certo.
eu fui na pagina thundercache.org e peguei os plugins abri os do terra e globo, editei os arquivos correspondentes e colei os códigos. fiz isso tb no arquivo thunder.lst, reinicio o servidor para recarregar e não funciona. no terra algumas vezes aparece uma mensagem [video_not_found] e as vezes só fica a tela preta. ja na globo roda só o comercial e o filme mesmo não rola, fica na tela preta tb.
Sei que isso já é um problema conhecido só que não estou conseguindo.

muito obrigado.

1 - O thundercache que vc esta usando ai é o que tem thunder.php e thundercache.php?

2 - Esta usando o thundercache com instalação através do script?

Obs.:

Quando falamos em atualizar o thundercache,não é somente copiar e colar os plugins...

ThunderCache com instalação através do script,eu usava e ja vi muitos que usavam e estão tendo o msm problema...

Tutorial load balance (paralelo) + Debian + ThunderCache + servidor MK 3.13~3.22

Ferramentas de Tópicos

Tutorial load balance (paralelo) + Debian + ThunderCache + servidor MK 3.13-3.22

aromas

Problemas

Obrigado