Página 1 de 4 1234 ÚltimoÚltimo
+ Responder ao Tópico



  1. #1

    Question Thunder cache não está fazendo cache dos vídeos do youtube

    Caros amigos, estou tendo um problema com meu thunder cache.

    Uso myauth 2 e montei um servidor proxy paralelo apenas para o uso do thunder cache, porém reparo que ele não está fazendo os downloads dos vídeos do youtube nem do redtube. Quanto ao windows update está tudo normal. O cache do orkut tb está sendo feito normalmente, Apenas os vídeos que não cacheam mesmo. Outra coisa que notei é que o cache dos vídeos quem está fazendo é o squid, porém após algumas horas os vídeos não estão mais no cache, creio que seja por causa do Refresh Patern

    Peço a ajuda de vcs para ajuda na resolução do problema

    Segue minha configuração de squid.conf

    http_port 3128 transparent
    icp_port 0


    hierarchy_stoplist cgi-bin ?
    acl video_cache dstdomain .youtube.com video.google.com .llnwd.net .dailymotion.com .googlevideo.com
    acl google_earth dstdomain kh.google.com
    acl flashvideo urlpath_regex .swf .flv .avi .mov
    cache allow video_cache
    cache allow google_earth
    cache allow flashvideo
    acl QUERY urlpath_regex cgi-bin \?
    cache deny QUERY


    cache_mem 128 MB
    cache_swap_low 90
    cache_swap_high 95
    maximum_object_size 102400 KB
    #maximum_object_size 24 MB
    #maximum_object_size 16 MB
    #maximum_object_size 8 MB
    #maximum_object_size 4 MB
    #maximum_object_size 2 MB
    minimum_object_size 0 KB
    #maximum_object_size_in_memory 128 KB
    maximum_object_size_in_memory 64 KB
    #maximum_object_size_in_memory 64 KB
    #maximum_object_size_in_memory 32 KB
    ipcache_size 1024
    ipcache_low 90
    ipcache_high 95
    fqdncache_size 1024
    # lru, heap GDSF, heap LFUDA, heap LRU
    cache_replacement_policy heap LFUDA
    memory_replacement_policy heap GDSF
    cache_dir aufs /var/cache/squid 100000 128 128
    #cache_dir aufs /var/cache/squid 40000 512 128
    #cache_dir aufs /var/cache/squid 30000 512 128
    #cache_dir aufs /var/cache/squid 10000 256 128
    cache_access_log /var/log/squid/access.log
    cache_log /var/log/squid/cache.log
    cache_store_log /var/log/squid/store.log
    #cache_access_log #none
    #cache_log #none
    #cache_store_log #none
    mime_table /etc/squid/mime.conf
    pid_filename /var/run/squid.pid
    debug_options ALL,1
    log_fqdn off
    # cache_dns_program /usr/libexec/dnsserver
    refresh_pattern ^ftp: 1440 20% 10080
    refresh_pattern ^gopher: 1440 0% 1440
    refresh_pattern . 0 20% 4320
    acl all src 0.0.0.0/0.0.0.0
    # coloque susa redes validas aqui
    acl internet src 189.72.173.248/29
    # redes invalidas, nao tem perigo pois nunca virao da internet
    acl intranetac src 192.168.0.0/16 10.0.0.0/8
    acl intranetb src 172.16.0.0/12
    acl manager proto cache_object
    acl localhost src 127.0.0.1/255.255.255.255
    acl to_localhost dst 127.0.0.0/8
    acl SSL_ports port 443 563 82
    acl Safe_ports port 80 # http
    acl Safe_ports port 21 # ftp
    acl Safe_ports port 443 563 # https, snews
    acl Safe_ports port 70 # gopher
    acl Safe_ports port 210 # wais
    acl Safe_ports port 1025-65535 # unregistered ports
    acl Safe_ports port 280 # http-mgmt
    acl Safe_ports port 488 # gss-http
    acl Safe_ports port 591 # filemaker
    acl Safe_ports port 777 # multiling http
    acl CONNECT method CONNECT
    #http_access allow manager localhost
    #http_access deny manager
    #http_access deny !Safe_ports
    #http_access deny CONNECT !SSL_ports
    http_access allow localhost
    http_access allow internet
    http_access allow intranetac
    http_access allow intranetb
    http_access deny all

    cache_mgr myauth.com.br
    cache_effective_user squid
    cache_effective_group squid
    visible_hostname localhost
    #httpd_accel_port 80
    #httpd_accel_host virtual
    #httpd_accel_single_host off
    #httpd_accel_with_proxy on
    #httpd_accel_uses_host_header on
    #httpd_accel_no_pmtu_disc off

    #dns_testnames registro.br
    # icon_directory /usr/local/squid/share/icons
    # error_directory /usr/local/squid/share/errors/Portuguese
    #coredump_dir /var/cache/squid
    # configuracoes SNMP
    #snmp_port 161
    acl snmppublic snmp_community public
    snmp_access allow snmppublic localhost
    snmp_access deny all
    snmp_incoming_address 0.0.0.0
    snmp_outgoing_address 255.255.255.255
    zph_tos_local 8
    zph_tos_peer 0
    zph_tos_parent off
    url_rewrite_children 10
    acl store_rewrite_list dstdomain -i "/etc/squid/thunder.lst"
    url_rewrite_access allow store_rewrite_list
    url_rewrite_access deny all
    url_rewrite_program /etc/squid/loader.php
    #nega cache local, para n
    ão haver duplicação
    acl localcache dstdomain 192.168.201.252
    cache deny localcache

  2. #2
    MODERADOR-CHEFE Avatar de osmano807
    Ingresso
    Aug 2008
    Localização
    Araguari - Minas Gerais
    Posts
    1.985
    Posts de Blog
    5

    Padrão

    Mudaram o sistema desde semana passada, estranhei que não perceberão até hoje. Desde então, nada de cache de youtube.

    E o player também mudou, gerando DUPLO cache, um arquivo com a ID do youtube, e outro com uma id tipo amcmaod124q1



  3. #3

    Padrão

    Citação Postado originalmente por osmano807 Ver Post
    Mudaram o sistema desde semana passada, estranhei que não perceberão até hoje. Desde então, nada de cache de youtube.

    E o player também mudou, gerando DUPLO cache, um arquivo com a ID do youtube, e outro com uma id tipo amcmaod124q1

    Entendi e o que pode ser feito então para continuar fazendo os caches. Alguem já encontrou uma solução?

  4. #4
    MODERADOR-CHEFE Avatar de osmano807
    Ingresso
    Aug 2008
    Localização
    Araguari - Minas Gerais
    Posts
    1.985
    Posts de Blog
    5

    Padrão

    No youtube.com.php está assim:

    Código :
    if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
        // get  videoid
        $videoid = get_videoid($url);
    Subistitua por isto
    Código :
    if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
     
        // removendo noflv
        $pattern = '/(&)?noflv=[0-9]{1,}/i';
        [COLOR=#000000][COLOR=#0000bb]$url = preg_replace[/COLOR][COLOR=#007700]([/COLOR][COLOR=#0000bb]$pattern[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]""[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]$url[/COLOR][COLOR=#007700]);[/COLOR][/COLOR]
     
        // get  videoid
        $videoid = get_videoid($url);
    P.S.: As modificações removem da url "&noflv=1", o que estava gerando os "erros"

    Sobre o cache duplo, ainda estou pensando em uma solução, para linux funciona, mas em win32 não (somente Vista/2008 acima).



  5. #5

  6. #6

    Padrão Problema com visualização dos videos da GLOBO

    Bom agora que consegui fazer o cache dos vídeos do youtube me apareceu mais um problema.

    Os videos da globo não estão sendo visualizados. Até aparece no relatório do thunder 1 hit a + toda vez que clico em um vídeo da globo.com porém apenas carrega aquele comercialzinho fulero da globo e depois trava, fica tudo preto e não sai dali.

    Alguem sabe pq?

    Abraços, Jefferson



  7. #7

    Padrão

    Recaptulando>


    Vídeo do terra também não abrem.

  8. #8

    Padrão

    Abrem sim, vá lá no fórum do thunder e atualize seu thunder, aqui tinha parado mas já está tudo normal...

    OBS: Notícia ruim para você, após atualizar o ''youtube.php'', ele não pegará os vídeos armazenados no thunder na versão anterior, só fará cache dos novos .flv baixados...resumindo...começará do zero o youtube, ao menos aqui foi assim, se isso acontecer ai é melhor que você exclua do HD todos os vídeos do youtube até então...por que não serviram de mais nada por que não serão mais acessados.

    Talvez você tenha também problemas de travamentos com o apache depois da atualização, mas nada que não se resolva...



  9. #9

    Padrão

    desculpa, não entendi "Tem que remover o noflv=1 da url."

  10. #10
    MODERADOR-CHEFE Avatar de osmano807
    Ingresso
    Aug 2008
    Localização
    Araguari - Minas Gerais
    Posts
    1.985
    Posts de Blog
    5

    Padrão

    Citação Postado originalmente por eternal Ver Post
    desculpa, não entendi "Tem que remover o noflv=1 da url."
    Tinha me expressaso errado:
    As modificações removem da url "&noflv=1", o que estava gerando os "erros"



  11. #11

    Padrão VALEWWWWWWWWWW BROWWWWW

    Citação Postado originalmente por osmano807 Ver Post
    No youtube.com.php está assim:

    Código :
    if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
        // get  videoid
        $videoid = get_videoid($url);
    Subistitua por isto
    Código :
    if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
     
        // removendo noflv
        $pattern = '/(&)?noflv=[0-9]{1,}/i';
        [COLOR=#000000][COLOR=#0000bb]$url = preg_replace[/COLOR][COLOR=#007700]([/COLOR][COLOR=#0000bb]$pattern[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]""[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]$url[/COLOR][COLOR=#007700]);[/COLOR][/COLOR]
     
        // get  videoid
        $videoid = get_videoid($url);
    P.S.: As modificações removem da url "&noflv=1", o que estava gerando os "erros"

    Sobre o cache duplo, ainda estou pensando em uma solução, para linux funciona, mas em win32 não (somente Vista/2008 acima).


    PO CARA VALEW MESMO TA RODANDO CERTINHO AKI

  12. #12

    Padrão

    opa amigo tenho um servidor mikrotik estou querendo ajuda pra fazer meu serviodr cache do youtube,orkut,etc sou iniciante mas creio que ajudas do nosso forum irei consequir <--brigadao



  13. #13

    Padrão

    Citação Postado originalmente por osmano807 Ver Post
    No youtube.com.php está assim:

    Código :
    if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
        // get  videoid
        $videoid = get_videoid($url);
    Subistitua por isto
    Código :
    if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
     
        // removendo noflv
        $pattern = '/(&)?noflv=[0-9]{1,}/i';
        [COLOR=#000000][COLOR=#0000bb]$url = preg_replace[/COLOR][COLOR=#007700]([/COLOR][COLOR=#0000bb]$pattern[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]""[/COLOR][COLOR=#007700], [/COLOR][COLOR=#0000bb]$url[/COLOR][COLOR=#007700]);[/COLOR][/COLOR]
     
        // get  videoid
        $videoid = get_videoid($url);
    P.S.: As modificações removem da url "&noflv=1", o que estava gerando os "erros"

    Sobre o cache duplo, ainda estou pensando em uma solução, para linux funciona, mas em win32 não (somente Vista/2008 acima).
    Obrigado colega!!!

    Sobre o cache duplo,ele coloca 1 arquivo dentro da pasta do youtube ou 2?

  14. #14

    Padrão

    Citação Postado originalmente por kaleb Ver Post
    opa amigo tenho um servidor mikrotik estou querendo ajuda pra fazer meu serviodr cache do youtube,orkut,etc sou iniciante mas creio que ajudas do nosso forum irei consequir <--brigadao
    Siga o link da minha Assinatura!




  15. #15

    Padrão

    Após atualizarem o script do youtube verifiquem se o thunder está pegando os vídeos que já estavam armazenados em cache ou só os atuais ( após a atualização).

  16. #16

    Padrão

    Citação Postado originalmente por infantefox Ver Post
    Bom agora que consegui fazer o cache dos vídeos do youtube me apareceu mais um problema.

    Os videos da globo não estão sendo visualizados. Até aparece no relatório do thunder 1 hit a + toda vez que clico em um vídeo da globo.com porém apenas carrega aquele comercialzinho fulero da globo e depois trava, fica tudo preto e não sai dali.

    Alguem sabe pq?

    Abraços, Jefferson


    Akii somente fiz a modificação que o colega osmano807 citou e funcionou perfeitamente...

    Após ver seu comentário sobre os vídeos da globo e terra, fui fazr alguns testes a não tive problemas,com cacheados e nem com os novos...

    Porém um detalhe,os vídeos do youtube estão vindo(primeira vez) não pela velocidade marcada no thunder.conf,mas sim pela velocidade contratada pelo cliente,apos estar em cache ai sim, vem a milhão rsrs...

    Ja os vídeos da globo,uol,terra estão vindo pela primeira vez na velocidade estipulada pelo thunder.conf e depois normalmente vem a full...

    Nada muito sério,mas fica ae a constatação...

    Versão: 3.13 e 3.22




  17. #17

    Padrão

    Citação Postado originalmente por Roberto21 Ver Post
    Após atualizarem o script do youtube verifiquem se o thunder está pegando os vídeos que já estavam armazenados em cache ou só os atuais ( após a atualização).
    opa Roberto,tranquilo!!!

    seguinte,achando que poderia ser algum problema com meu proxy,ja que nao estava mais cacheando o youtube(cacheava ,mas a "0"),entao fiz um outro proxy para testar e apos colocar o script citado pelo osmano ficou tudo ok... não atualizei ainda, enão estou tendo problemas com duplicidade,pelo menos eu acho,pois na pasta do youtube ele poe somente 1 arquivo do vídeo,segui os endereços para ver se por acaso ele estava fazendo duplicidade com nomes diferentes,mas não...so esta colocando um arquivo para cada vídeo.

    teria a ver a atualização com o tal problema de nao pegar o que ja esta em cache(anterior) ???


  18. #18

    Padrão

    Citação Postado originalmente por BillGates Ver Post
    opa Roberto,tranquilo!!!

    seguinte,achando que poderia ser algum problema com meu proxy,ja que nao estava mais cacheando o youtube(cacheava ,mas a "0"),entao fiz um outro proxy para testar e apos colocar o script citado pelo osmano ficou tudo ok... não atualizei ainda, enão estou tendo problemas com duplicidade,pelo menos eu acho,pois na pasta do youtube ele poe somente 1 arquivo do vídeo,segui os endereços para ver se por acaso ele estava fazendo duplicidade com nomes diferentes,mas não...so esta colocando um arquivo para cada vídeo.

    teria a ver a atualização com o tal problema de nao pegar o que ja esta em cache(anterior) ???


    Desculpa não entendi direito o que você quiz dizer nessa parte que está em vermelho...



  19. #19

    Padrão

    Citação Postado originalmente por Roberto21 Ver Post
    Desculpa não entendi direito o que você quiz dizer nessa parte que está em vermelho...
    Sobre a duplicidade,estão dizendo que os vídeos do youtube estao sendo cacheados em dobro...
    Porem vi na pasta do var/www/youtube que os videos do youtube estao sendo cacheados normalmente ou seja sem duplicidade.

    Resumindo,os vídeos do youtube estariam ocupando espaço em dobro no hd,ja que estão sendo cacheados com duplicidade.

    Olhei na pasta e parece estar tudo ok,ou seja um arquivo diferente para cada vídeo!

    vlws brother


  20. #20

    Exclamation Pessoal!!! Atenção !!!

    Oque estou colocando aqui é um dialogo no forum do ThunderCache...segue abaixo...

    Pessoal... seguinte, faz um semana meu apache começou a travar do nada, todas as otimizações q contem aqui no forum foram aplicada e a mais de 2 Meses estava a mil maravilha, sem travar ... super rapido ou seja estava xique no urtimo.
    Ai virei tudo a procura. e tb notei q um video nao estava cacheando... eis o log do thunder

    Jul 16 17:57:19 cache1 php: 17:57:19 6840 IN172.17.10.208/-)http://www.youtube.com / watch?v=oaB7wkMWTIc

    Jul 16 17:57:21 cache1 php: 17:57:21 6840 IN172.17.10.208/-)
    Jul 16 17:57:21 cache1 php: 17:57:21 6840 Disk in use: 82.1141053218%
    Jul 16 17:57:21 cache1 apache2: 17:57:21 6461 Waiting for file: oaB7wkMWTIc.flv
    Jul 16 17:57:21 cache1 php: 17:57:21 7119 downloading oaB7wkMWTIc.flv
    Jul 16 17:57:21 cache1 php: 17:57:21 7119 Arquivo não existe: oaB7wkMWTIc.flv
    Jul 16 17:57:22 cache1 apache2: 17:57:22 6461 File OK: oaB7wkMWTIc.flv
    Jul 16 17:57:22 cache1 apache2: 17:57:22 6461 Waiting for reg: oaB7wkMWTIc.flv
    Jul 16 17:57:22 cache1 apache2: 17:57:22 6392 Reg OK: oaB7wkMWTIc.flv
    Jul 16 17:57:22 cache1 apache2: 17:57:22 6461 Reg OK: oaB7wkMWTIc.flv
    Jul 16 17:57:22 cache1 apache2: 17:57:22 6464 Waiting for file: a1a07bc243164c87.flv
    Jul 16 17:57:22 cache1 apache2: 17:57:22 6464 File OK: a1a07bc243164c87.flv
    Jul 16 17:57:22 cache1 apache2: 17:57:22 6464 Waiting for reg: a1a07bc243164c87.flv
    Jul 16 17:57:22 cache1 php: 17:57:22 7123 downloading a1a07bc243164c87.flv
    Jul 16 17:57:22 cache1 apache2: 17:57:22 6464 Reg OK: a1a07bc243164c87.flv

    Jul 16 17:57:25 cache1 php: 17:57:25 7119 header: #015
    Jul 16 17:57:25 cache1 php: 17:57:25 7119 Full download: oaB7wkMWTIc.flv (0/0)
    Jul 16 17:57:25 cache1 php: 17:57:25 7123 header: Last-Modified: Fri, 15 May 2009 Jul 16 17:57:25 cache1 php: 17:57:25 7119 END! oaB7wkMWTIc.flv (0)
    Jul 16 17:57:25 cache1 php: 17:57:25 7123 header: Content-Type: video/x-flv#015
    Jul 16 17:57:25 cache1 php: 17:57:25 7123 header: Content-Length: 15745597#015
    Jul 16 17:57:25 cache1 php: 17:57:25 7123 Tamanho a1a07bc243164c87.flv: 15745597
    Jul 16 17:57:25 cache1 php: 17:57:25 7123 header: Expires: Thu, 16 Jul 2009 22:57:11 Jul 16 17:57:26 cache1 php: 17:57:26 7123 header: Cache-Control: public,max-age=3600#015
    Jul 16 17:57:26 cache1 php: 17:57:26 7123 header: Connection: close#015
    Jul 16 17:57:26 cache1 php: 17:57:26 7123 header: Date: Thu, 16 Jul 2009 21:57:11 Jul 16 17:57:26 cache1 php: 17:57:26 7123 header: Server: gvs 1.0#015
    Jul 16 17:57:26 cache1 php: 17:57:26 7123 header: #015
    Jul 16 17:57:26 cache1 php: 17:57:26 7123 Full download: a1a07bc243164c87.flv (15745597/0)

    cache1:/# ls -l /cache/thunder/youtube/oaB7wkMWTIc.flv
    -rw-rw-rw- 1 proxy proxy 0 Jul 16 17:57 /cache/thunder/youtube/oaB7wkMWTIc.flv

    cache1:/# ls -l /cache/thunder/youtube/a1a07bc243164c87.flv
    -rw-rw-rw- 1 proxy proxy 15745597 Jul 16 18:04 a1a07bc243164c87.flv

    Isso achei estranho pois no diretorio do youtube os arquivos flv geralmente tinham outra nomenclatura... ou seja a existente no pedido do videos, mas na verdade ele esta baixando com outro nome.
    Minha preocupação é duplicação, consumo de espaço e travamento. Melhor nao será por isso o travamento do Apache2 ???
    O nosso colega osmano respondeu para fazer a alteração no script do youtube.php... olhem o
    resultado

    Bom dia pessoal... seguinte ao fazer a alteração q o colega osmano falou, nao resolveu muita coisa.
    Pq ?!! Seguinte
    Como postei um exemplo no log, um arquivo ficava com valor "0" certo, mas o outro baixava normal.
    Porem ao alterar o script, agora os dois arquivos nao teem valor "0", pior agora ficam duplicados e com valor, antes ao menos era somente um.
    Bem q eu notei q de um tempo pra cá o hd de 1,5Tera q tenho só para o thunder estava enxendo rapido de mais.
    Eis a prova, de acordo com o video q postei no logaqui no forum.

    cache1:/# ls -l /cache/thunder/youtube/oaB7wkMWTIc.flv
    -rw-rw-rw- 1 proxy proxy 15745597 Jul 17 14:38 /cache/thunder/youtube/oaB7wkMWTIc.flv
    cache1:/# ls -l /cache/thunder/youtube/a1a07bc243164c87.flv
    -rw-rw-rw- 1 proxy proxy 15745597 Jul 16 18:04 /cache/thunder/youtube/a1a07bc243164c87.flv
    cache1:/#

    Melhores detalhes acessem Forum ThunderCache &bull; Entrar
    Analisem e vejam q a solução nao é 100%