Thunder cache não está fazendo cache dos vídeos do youtube

[infantefox]

Caros amigos, estou tendo um problema com meu thunder cache.

Uso myauth 2 e montei um servidor proxy paralelo apenas para o uso do thunder cache, porém reparo que ele não está fazendo os downloads dos vídeos do youtube nem do redtube. Quanto ao windows update está tudo normal. O cache do orkut tb está sendo feito normalmente, Apenas os vídeos que não cacheam mesmo. Outra coisa que notei é que o cache dos vídeos quem está fazendo é o squid, porém após algumas horas os vídeos não estão mais no cache, creio que seja por causa do Refresh Patern

Peço a ajuda de vcs para ajuda na resolução do problema

Segue minha configuração de squid.conf

http_port 3128 transparent
icp_port 0


hierarchy_stoplist cgi-bin ?
acl video_cache dstdomain .youtube.com video.google.com .llnwd.net .dailymotion.com .googlevideo.com
acl google_earth dstdomain kh.google.com
acl flashvideo urlpath_regex .swf .flv .avi .mov
cache allow video_cache
cache allow google_earth
cache allow flashvideo
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY


cache_mem 128 MB
cache_swap_low 90
cache_swap_high 95
maximum_object_size 102400 KB
#maximum_object_size 24 MB
#maximum_object_size 16 MB
#maximum_object_size 8 MB
#maximum_object_size 4 MB
#maximum_object_size 2 MB
minimum_object_size 0 KB
#maximum_object_size_in_memory 128 KB
maximum_object_size_in_memory 64 KB
#maximum_object_size_in_memory 64 KB
#maximum_object_size_in_memory 32 KB
ipcache_size 1024
ipcache_low 90
ipcache_high 95
fqdncache_size 1024
# lru, heap GDSF, heap LFUDA, heap LRU
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
cache_dir aufs /var/cache/squid 100000 128 128
#cache_dir aufs /var/cache/squid 40000 512 128
#cache_dir aufs /var/cache/squid 30000 512 128
#cache_dir aufs /var/cache/squid 10000 256 128
cache_access_log /var/log/squid/access.log
cache_log /var/log/squid/cache.log
cache_store_log /var/log/squid/store.log
#cache_access_log #none
#cache_log #none
#cache_store_log #none
mime_table /etc/squid/mime.conf
pid_filename /var/run/squid.pid
debug_options ALL,1
log_fqdn off
# cache_dns_program /usr/libexec/dnsserver
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
acl all src 0.0.0.0/0.0.0.0
# coloque susa redes validas aqui
acl internet src 189.72.173.248/29
# redes invalidas, nao tem perigo pois nunca virao da internet
acl intranetac src 192.168.0.0/16 10.0.0.0/8
acl intranetb src 172.16.0.0/12
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443 563 82
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
#http_access allow manager localhost
#http_access deny manager
#http_access deny !Safe_ports
#http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow internet
http_access allow intranetac
http_access allow intranetb
http_access deny all

cache_mgr myauth.com.br
cache_effective_user squid
cache_effective_group squid
visible_hostname localhost
#httpd_accel_port 80
#httpd_accel_host virtual
#httpd_accel_single_host off
#httpd_accel_with_proxy on
#httpd_accel_uses_host_header on
#httpd_accel_no_pmtu_disc off

#dns_testnames registro.br
# icon_directory /usr/local/squid/share/icons
# error_directory /usr/local/squid/share/errors/Portuguese
#coredump_dir /var/cache/squid
# configuracoes SNMP
#snmp_port 161
acl snmppublic snmp_community public
snmp_access allow snmppublic localhost
snmp_access deny all
snmp_incoming_address 0.0.0.0
snmp_outgoing_address 255.255.255.255
zph_tos_local 8
zph_tos_peer 0
zph_tos_parent off
url_rewrite_children 10
acl store_rewrite_list dstdomain -i "/etc/squid/thunder.lst"
url_rewrite_access allow store_rewrite_list
url_rewrite_access deny all
url_rewrite_program /etc/squid/loader.php
#nega cache local, para não haver duplicação
acl localcache dstdomain 192.168.201.252
cache deny localcache

[osmano807]

Mudaram o sistema desde semana passada, estranhei que não perceberão até hoje. Desde então, nada de cache de youtube.

E o player também mudou, gerando DUPLO cache, um arquivo com a ID do youtube, e outro com uma id tipo amcmaod124q1

[infantefox]

Mudaram o sistema desde semana passada, estranhei que não perceberão até hoje. Desde então, nada de cache de youtube.

E o player também mudou, gerando DUPLO cache, um arquivo com a ID do youtube, e outro com uma id tipo amcmaod124q1

Entendi e o que pode ser feito então para continuar fazendo os caches. Alguem já encontrou uma solução?

[osmano807]

No youtube.com.php está assim:

if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
    // get  videoid
    $videoid = get_videoid($url);

Subistitua por isto

if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
 
    // removendo noflv
    $pattern = '/(&)?noflv=[0-9]{1,}/i';
    [COLOR=#000000][COLOR=#0000bb]$url = preg_replace[/COLOR][COLOR=#007700]([/COLOR][COLOR=#0000bb]$pattern[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]""[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]$url[/COLOR][COLOR=#007700]);[/COLOR][/COLOR]
 
    // get  videoid
    $videoid = get_videoid($url);

P.S.: As modificações removem da url "&noflv=1", o que estava gerando os "erros"

Sobre o cache duplo, ainda estou pensando em uma solução, para linux funciona, mas em win32 não (somente Vista/2008 acima).

[infantefox]

Valeu amigao, deu certim aqui

[infantefox]

Bom agora que consegui fazer o cache dos vídeos do youtube me apareceu mais um problema.

Os videos da globo não estão sendo visualizados. Até aparece no relatório do thunder 1 hit a + toda vez que clico em um vídeo da globo.com porém apenas carrega aquele comercialzinho fulero da globo e depois trava, fica tudo preto e não sai dali.

Alguem sabe pq?

Abraços, Jefferson

[infantefox]

Recaptulando>


Vídeo do terra também não abrem.

[Roberto21]

Abrem sim, vá lá no fórum do thunder e atualize seu thunder, aqui tinha parado mas já está tudo normal...

OBS: Notícia ruim para você, após atualizar o ''youtube.php'', ele não pegará os vídeos armazenados no thunder na versão anterior, só fará cache dos novos .flv baixados...resumindo...começará do zero o youtube, ao menos aqui foi assim, se isso acontecer ai é melhor que você exclua do HD todos os vídeos do youtube até então...por que não serviram de mais nada por que não serão mais acessados.

Talvez você tenha também problemas de travamentos com o apache depois da atualização, mas nada que não se resolva...

[eternal]

desculpa, não entendi "Tem que remover o noflv=1 da url."

[osmano807]

desculpa, não entendi "Tem que remover o noflv=1 da url."

Tinha me expressaso errado:
As modificações removem da url "&noflv=1", o que estava gerando os "erros"

[ivovid]

No youtube.com.php está assim:

if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
    // get  videoid
    $videoid = get_videoid($url);

Subistitua por isto

if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
 
    // removendo noflv
    $pattern = '/(&)?noflv=[0-9]{1,}/i';
    [COLOR=#000000][COLOR=#0000bb]$url = preg_replace[/COLOR][COLOR=#007700]([/COLOR][COLOR=#0000bb]$pattern[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]""[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]$url[/COLOR][COLOR=#007700]);[/COLOR][/COLOR]
 
    // get  videoid
    $videoid = get_videoid($url);

P.S.: As modificações removem da url "&noflv=1", o que estava gerando os "erros"

Sobre o cache duplo, ainda estou pensando em uma solução, para linux funciona, mas em win32 não (somente Vista/2008 acima).

PO CARA VALEW MESMO TA RODANDO CERTINHO AKI

[kaleb]

opa amigo tenho um servidor mikrotik estou querendo ajuda pra fazer meu serviodr cache do youtube,orkut,etc sou iniciante mas creio que ajudas do nosso forum irei consequir <--brigadao

[BillGates]

No youtube.com.php está assim:

if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
    // get  videoid
    $videoid = get_videoid($url);

Subistitua por isto

if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
 
    // removendo noflv
    $pattern = '/(&)?noflv=[0-9]{1,}/i';
    [COLOR=#000000][COLOR=#0000bb]$url = preg_replace[/COLOR][COLOR=#007700]([/COLOR][COLOR=#0000bb]$pattern[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]""[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]$url[/COLOR][COLOR=#007700]);[/COLOR][/COLOR]
 
    // get  videoid
    $videoid = get_videoid($url);

P.S.: As modificações removem da url "&noflv=1", o que estava gerando os "erros"

Sobre o cache duplo, ainda estou pensando em uma solução, para linux funciona, mas em win32 não (somente Vista/2008 acima).

Obrigado colega!!!

Sobre o cache duplo,ele coloca 1 arquivo dentro da pasta do youtube ou 2?

[BillGates]

opa amigo tenho um servidor mikrotik estou querendo ajuda pra fazer meu serviodr cache do youtube,orkut,etc sou iniciante mas creio que ajudas do nosso forum irei consequir <--brigadao

Siga o link da minha Assinatura!

[Roberto21]

Após atualizarem o script do youtube verifiquem se o thunder está pegando os vídeos que já estavam armazenados em cache ou só os atuais ( após a atualização).

[BillGates]

Bom agora que consegui fazer o cache dos vídeos do youtube me apareceu mais um problema.

Os videos da globo não estão sendo visualizados. Até aparece no relatório do thunder 1 hit a + toda vez que clico em um vídeo da globo.com porém apenas carrega aquele comercialzinho fulero da globo e depois trava, fica tudo preto e não sai dali.

Alguem sabe pq?

Abraços, Jefferson

Akii somente fiz a modificação que o colega osmano807 citou e funcionou perfeitamente...

Após ver seu comentário sobre os vídeos da globo e terra, fui fazr alguns testes a não tive problemas,com cacheados e nem com os novos...

Porém um detalhe,os vídeos do youtube estão vindo(primeira vez) não pela velocidade marcada no thunder.conf,mas sim pela velocidade contratada pelo cliente,apos estar em cache ai sim, vem a milhão rsrs...

Ja os vídeos da globo,uol,terra estão vindo pela primeira vez na velocidade estipulada pelo thunder.conf e depois normalmente vem a full...

Nada muito sério,mas fica ae a constatação...

Versão: 3.13 e 3.22

[BillGates]

Após atualizarem o script do youtube verifiquem se o thunder está pegando os vídeos que já estavam armazenados em cache ou só os atuais ( após a atualização).

opa Roberto,tranquilo!!!

seguinte,achando que poderia ser algum problema com meu proxy,ja que nao estava mais cacheando o youtube(cacheava ,mas a "0"),entao fiz um outro proxy para testar e apos colocar o script citado pelo osmano ficou tudo ok... não atualizei ainda, enão estou tendo problemas com duplicidade,pelo menos eu acho,pois na pasta do youtube ele poe somente 1 arquivo do vídeo,segui os endereços para ver se por acaso ele estava fazendo duplicidade com nomes diferentes,mas não...so esta colocando um arquivo para cada vídeo.

teria a ver a atualização com o tal problema de nao pegar o que ja esta em cache(anterior) ???

[Roberto21]

opa Roberto,tranquilo!!!

seguinte,achando que poderia ser algum problema com meu proxy,ja que nao estava mais cacheando o youtube(cacheava ,mas a "0"),entao fiz um outro proxy para testar e apos colocar o script citado pelo osmano ficou tudo ok... não atualizei ainda, enão estou tendo problemas com duplicidade,pelo menos eu acho,pois na pasta do youtube ele poe somente 1 arquivo do vídeo,segui os endereços para ver se por acaso ele estava fazendo duplicidade com nomes diferentes,mas não...so esta colocando um arquivo para cada vídeo.

teria a ver a atualização com o tal problema de nao pegar o que ja esta em cache(anterior) ???

Desculpa não entendi direito o que você quiz dizer nessa parte que está em vermelho...

[BillGates]

Desculpa não entendi direito o que você quiz dizer nessa parte que está em vermelho...

Sobre a duplicidade,estão dizendo que os vídeos do youtube estao sendo cacheados em dobro...
Porem vi na pasta do var/www/youtube que os videos do youtube estao sendo cacheados normalmente ou seja sem duplicidade.

Resumindo,os vídeos do youtube estariam ocupando espaço em dobro no hd,ja que estão sendo cacheados com duplicidade.

Olhei na pasta e parece estar tudo ok,ou seja um arquivo diferente para cada vídeo!

vlws brother

[paulojrandrade]

Oque estou colocando aqui é um dialogo no forum do ThunderCache...segue abaixo...

Pessoal... seguinte, faz um semana meu apache começou a travar do nada, todas as otimizações q contem aqui no forum foram aplicada e a mais de 2 Meses estava a mil maravilha, sem travar ... super rapido ou seja estava xique no urtimo.
Ai virei tudo a procura. e tb notei q um video nao estava cacheando... eis o log do thunder

Jul 16 17:57:19 cache1 php: 17:57:19 6840 IN172.17.10.208/-)http://www.youtube.com / watch?v=oaB7wkMWTIc

Jul 16 17:57:21 cache1 php: 17:57:21 6840 IN172.17.10.208/-)
Jul 16 17:57:21 cache1 php: 17:57:21 6840 Disk in use: 82.1141053218%
Jul 16 17:57:21 cache1 apache2: 17:57:21 6461 Waiting for file: oaB7wkMWTIc.flv
Jul 16 17:57:21 cache1 php: 17:57:21 7119 downloading oaB7wkMWTIc.flv
Jul 16 17:57:21 cache1 php: 17:57:21 7119 Arquivo não existe: oaB7wkMWTIc.flv
Jul 16 17:57:22 cache1 apache2: 17:57:22 6461 File OK: oaB7wkMWTIc.flv
Jul 16 17:57:22 cache1 apache2: 17:57:22 6461 Waiting for reg: oaB7wkMWTIc.flv
Jul 16 17:57:22 cache1 apache2: 17:57:22 6392 Reg OK: oaB7wkMWTIc.flv
Jul 16 17:57:22 cache1 apache2: 17:57:22 6461 Reg OK: oaB7wkMWTIc.flv
Jul 16 17:57:22 cache1 apache2: 17:57:22 6464 Waiting for file: a1a07bc243164c87.flv
Jul 16 17:57:22 cache1 apache2: 17:57:22 6464 File OK: a1a07bc243164c87.flv
Jul 16 17:57:22 cache1 apache2: 17:57:22 6464 Waiting for reg: a1a07bc243164c87.flv
Jul 16 17:57:22 cache1 php: 17:57:22 7123 downloading a1a07bc243164c87.flv
Jul 16 17:57:22 cache1 apache2: 17:57:22 6464 Reg OK: a1a07bc243164c87.flv

Jul 16 17:57:25 cache1 php: 17:57:25 7119 header: #015
Jul 16 17:57:25 cache1 php: 17:57:25 7119 Full download: oaB7wkMWTIc.flv (0/0)
Jul 16 17:57:25 cache1 php: 17:57:25 7123 header: Last-Modified: Fri, 15 May 2009 Jul 16 17:57:25 cache1 php: 17:57:25 7119 END! oaB7wkMWTIc.flv (0)
Jul 16 17:57:25 cache1 php: 17:57:25 7123 header: Content-Type: video/x-flv#015
Jul 16 17:57:25 cache1 php: 17:57:25 7123 header: Content-Length: 15745597#015
Jul 16 17:57:25 cache1 php: 17:57:25 7123 Tamanho a1a07bc243164c87.flv: 15745597
Jul 16 17:57:25 cache1 php: 17:57:25 7123 header: Expires: Thu, 16 Jul 2009 22:57:11 Jul 16 17:57:26 cache1 php: 17:57:26 7123 header: Cache-Control: public,max-age=3600#015
Jul 16 17:57:26 cache1 php: 17:57:26 7123 header: Connection: close#015
Jul 16 17:57:26 cache1 php: 17:57:26 7123 header: Date: Thu, 16 Jul 2009 21:57:11 Jul 16 17:57:26 cache1 php: 17:57:26 7123 header: Server: gvs 1.0#015
Jul 16 17:57:26 cache1 php: 17:57:26 7123 header: #015
Jul 16 17:57:26 cache1 php: 17:57:26 7123 Full download: a1a07bc243164c87.flv (15745597/0)

cache1:/# ls -l /cache/thunder/youtube/oaB7wkMWTIc.flv
-rw-rw-rw- 1 proxy proxy 0 Jul 16 17:57 /cache/thunder/youtube/oaB7wkMWTIc.flv

cache1:/# ls -l /cache/thunder/youtube/a1a07bc243164c87.flv
-rw-rw-rw- 1 proxy proxy 15745597 Jul 16 18:04 a1a07bc243164c87.flv

Isso achei estranho pois no diretorio do youtube os arquivos flv geralmente tinham outra nomenclatura... ou seja a existente no pedido do videos, mas na verdade ele esta baixando com outro nome.
Minha preocupação é duplicação, consumo de espaço e travamento. Melhor nao será por isso o travamento do Apache2 ???
O nosso colega osmano respondeu para fazer a alteração no script do youtube.php... olhem o
resultado

Bom dia pessoal... seguinte ao fazer a alteração q o colega osmano falou, nao resolveu muita coisa.
Pq ?!! Seguinte
Como postei um exemplo no log, um arquivo ficava com valor "0" certo, mas o outro baixava normal.
Porem ao alterar o script, agora os dois arquivos nao teem valor "0", pior agora ficam duplicados e com valor, antes ao menos era somente um.
Bem q eu notei q de um tempo pra cá o hd de 1,5Tera q tenho só para o thunder estava enxendo rapido de mais.
Eis a prova, de acordo com o video q postei no logaqui no forum.

cache1:/# ls -l /cache/thunder/youtube/oaB7wkMWTIc.flv
-rw-rw-rw- 1 proxy proxy 15745597 Jul 17 14:38 /cache/thunder/youtube/oaB7wkMWTIc.flv
cache1:/# ls -l /cache/thunder/youtube/a1a07bc243164c87.flv
-rw-rw-rw- 1 proxy proxy 15745597 Jul 16 18:04 /cache/thunder/youtube/a1a07bc243164c87.flv
cache1:/#

Melhores detalhes acessem Forum ThunderCache &bull; Entrar
Analisem e vejam q a solução nao é 100%