Thunder cache não está fazendo cache dos vídeos do youtube

**osmano807** · 19-07-2009, 09:20

SOBRE O PROBLEMA DOS VÍDEOS DUPLICADOS:

O Youtube mudou o player, ele agora requisita 2 url ao mesmo tempo, e o thunder, como não tem um filtro, faz o cache das 2!

Exemplo: lscache6.googlevideo.com/videoplayback?************&id=abcde156
youtube.com/get_video?video_id=vcXsfmA35&**************

O player requisita as duas, e são o mesmo vídeo, só que o googlevideo.com, é a id interna do youtube! Como o thunder faz o cache das duas, sem nem saber se é o mesmo vídeo, fica duplicado

Estou pensando em uma solução, mas como a Oi fez a obrigação de me deixar sem internet o dia inteiro, hoje que vou pensar nisto (olhe só, um belo nerd, trabalhando domigo... rsrs)

**Roberto21** · 19-07-2009, 14:14

Osmano, você percebeu que o thunder está praticamente parado? Sei que ninguém tem obrigação por que a ferramenta é gratuita, mas o pessoal diz estar fazendo em ''C++ mas não abre para o pessoal participar e tentar ajudar a resolver os problemas, quanto aos problemas recentes encontrados é assim mesmo, teremos que resolver nós mesmos, mas sinto falta do pessoal mais graduado não participar de certas discussões e problemas encontrados, mas certamente utilizam as soluções.

Estou falando do pessoal aqui do under, se possível poderiam ajudar mais, ou ao menos tentar ajudar, o que você tem feito é válido sim e certamente muitos utilizaram a sua solução...vamos em frente.

**osmano807** · 19-07-2009, 15:32

Postado originalmente por Roberto21

Osmano, você percebeu que o thunder está praticamente parado? Sei que ninguém tem obrigação por que a ferramenta é gratuita, mas o pessoal diz estar fazendo em ''C++ mas não abre para o pessoal participar e tentar ajudar a resolver os problemas, quanto aos problemas recentes encontrados é assim mesmo, teremos que resolver nós mesmos, mas sinto falta do pessoal mais graduado não participar de certas discussões e problemas encontrados, mas certamente utilizam as soluções.

Estou falando do pessoal aqui do under, se possível poderiam ajudar mais, ou ao menos tentar ajudar, o que você tem feito é válido sim e certamente muitos utilizaram a sua solução...vamos em frente.

[desabafo on]

EEEE!!!!!!! uuhuhuhuh!!!!!

Finalmente, alguém teve coragem de reclamar!
(pq num fiz isso antes?)

Estou esperando "essa versão em C++" faz tempo para "adaptar" ao meu servidor Windows, esperei tanto que tive que fazer um "fork" próprio!

Software livre, mas nem por isso tem que deixar o povo na mão, eles usam nos servidores deles, não é possível que não ficam monitorando para ver se está funcionando (faz mais de uma semana que o youtube mudou).

Pelo menos, que liberassem essa tal versão em C++, para nós testarmos e ajudarmos a melhorar.
[/desabafo off]

Ainda tem que otimizar muito o thunder, o youtube não tem ip reverso configurado, e tem que fazer uns regex para pegar o ip deles, estou monitorando para ver que ip's que eles usam, mas por enquanto estou fazendo testes com os regex do CacheVideos (que vem fazendo um ótimo papel, mas é meio que problemático).
Além dos IPv6, que vai dar trabalho nas regex.

**rodrigomanga** · 19-07-2009, 17:02

Olá Galera..

Bom, tenho algumas coisas para falar.

O problema do youtube eu percebi essa semana aqui na minha loja, e só sexta feira eu pude procurar oq que fazer.

É o seguinte, o youtube parece que desativou os videos vindo do get_video, que era padrão do youtube, e agora estão usando apenas o padrão do google video, usando videoplayback.

O que acontece é que o sistema está usando essas duas entradas para pegar a url e gravar o video, porém o padrão do youtube está retornando "204 No Content", e o video é baixado pelo padrão do google.

Pelo jeito o get_video foi desativado de vez, porém pretendo esperar um pouco para retirar o regex do plugin... o unico problema disso é q são gerados videos com 0 bytes...

O plugin o Luiz já deve ter colocado no repositório do thunder cache.

Agora sobre o desenvolvimento do thunder cache:

O thunder cache hoje só consegue atender a um certo numero de requisições. eu trabelhei arduamente melhorando o desempenho, mas agora não tem mais como melhorar. Por isso decidi criar um proxy, que vai trabalhar sozinho ou em paralelo ao squid. eu comecei a programar em c++, mas tem um outro rapaz que já fez o proxy em PHP, porém não acredito que ele tenha um desempenho melhor do que o sistema que usamos hoje. mas o desenvolvimento do proxy está parado por falta de tempo ( e dinheiro)

O problema de tudo, é que não existem pessoas colaborando financeiramente com o projeto, e por isso eu trabalho no sistema só com o que eu preciso para a minha loja. Infelizmente meu tempo é dinheiro, e eu estou fazendo freelas, pois a crise me pegou e eu estou "vendendo o almoço pra comprar a janta"...

Se o projeto recebesse doações, com certeza vcs iriam ter a melhor ferramenta de cache que existe...

Se você querem colaborar, acessem o forum do thunder cache, não adianta ficarem reclamando da vida, que nós somos fechados, se vcs não procuram informações....

Aproveito o tópico pra avisar que eu trabalhei no desenvolvimento de um patch, que agora é possivel avançar e retroceder vídeos sem precisar carregar por completo. Isso era uma deficiencia do thunder.

Porém esse patch será pago. Pois essa é a única maneira de manter o desenvolvimento de melhorias para o sistema.

Qualquer dúvida podem mandar mensagens privadas.

Obrigado a todos.

**osmano807** · 19-07-2009, 17:07

Cite mais sobre este patch por favor, o que ele faz exatamente?

**kryseck** · 19-07-2009, 17:50

Sou a favor não só do patch ser pago mas também o próprio thunder deveria ter uma versão paga e recebesse suporte.

Tanto ajudaria ao desenvolvimento desta excelente ferramenta quanto motivaria seu(s) desenvolvedor(es) !

Postado originalmente por rodrigomanga

Olá Galera..

Bom, tenho algumas coisas para falar.

O problema do youtube eu percebi essa semana aqui na minha loja, e só sexta feira eu pude procurar oq que fazer.

É o seguinte, o youtube parece que desativou os videos vindo do get_video, que era padrão do youtube, e agora estão usando apenas o padrão do google video, usando videoplayback.

O que acontece é que o sistema está usando essas duas entradas para pegar a url e gravar o video, porém o padrão do youtube está retornando "204 No Content", e o video é baixado pelo padrão do google.

Pelo jeito o get_video foi desativado de vez, porém pretendo esperar um pouco para retirar o regex do plugin... o unico problema disso é q são gerados videos com 0 bytes...

O plugin o Luiz já deve ter colocado no repositório do thunder cache.

Agora sobre o desenvolvimento do thunder cache:

O thunder cache hoje só consegue atender a um certo numero de requisições. eu trabelhei arduamente melhorando o desempenho, mas agora não tem mais como melhorar. Por isso decidi criar um proxy, que vai trabalhar sozinho ou em paralelo ao squid. eu comecei a programar em c++, mas tem um outro rapaz que já fez o proxy em PHP, porém não acredito que ele tenha um desempenho melhor do que o sistema que usamos hoje. mas o desenvolvimento do proxy está parado por falta de tempo ( e dinheiro)

O problema de tudo, é que não existem pessoas colaborando financeiramente com o projeto, e por isso eu trabalho no sistema só com o que eu preciso para a minha loja. Infelizmente meu tempo é dinheiro, e eu estou fazendo freelas, pois a crise me pegou e eu estou "vendendo o almoço pra comprar a janta"...

Se o projeto recebesse doações, com certeza vcs iriam ter a melhor ferramenta de cache que existe...

Se você querem colaborar, acessem o forum do thunder cache, não adianta ficarem reclamando da vida, que nós somos fechados, se vcs não procuram informações....

Aproveito o tópico pra avisar que eu trabalhei no desenvolvimento de um patch, que agora é possivel avançar e retroceder vídeos sem precisar carregar por completo. Isso era uma deficiencia do thunder.

Porém esse patch será pago. Pois essa é a única maneira de manter o desenvolvimento de melhorias para o sistema.

Qualquer dúvida podem mandar mensagens privadas.

Obrigado a todos.

**osmano807** · 19-07-2009, 18:31

(temia que isto acontecesse!)

Distribuam o thunder de graça.
Para tudo além disto, cobrem!

Simples, se o usuário quer suporte, instalação, pergunta idiota, etc, vocês cobram!

Se o thunder se tornar em mais um software pago, muitos irão usar somente porque não conhecem outras alternativas, ou querem comodidade de alguém indo e instalando.

Ou irão fazer que nem o Mikrotik 2.9.27.

Mas lembrem-se: Nunca vi ninguém instalar proxy paralelo num ISA Server, só em squid (ou outro "free").
Será pelo preço?

**rodrigomanga** · 19-07-2009, 19:57

não é a minha intenção e nem de ninguem que ajuda o thunder cache em fechar o sistema... a ideia de manter ele aberto era de ter mais colaboradores, e não é isso q acontece.

quanto ao lance do patch é simples...

hoje a maioria dos sites de video, mantém no seu player a opção de visualizar o vídeo a partir de qualquer ponto, sem ter q esperar carregar o video por completo.

Só que o thunder cache até agora não tinha como repassar a requisição de enviar só uma parte do video, e por isso eu resolvi dar esse bonus aos meus clientes, e outros que estiverem interessados em ter esse diferencial no sistema.

**Roberto21** · 19-07-2009, 21:34

Pessoal, escutem o Rodrigo atentamente, ele já nos ajudou demais criando o thunder e agora está sem tempo por que precisa de dinheiro para sobreviver, então se ajudarmos a ele agora ele nos ajudará mais ainda.

Vou te dar uma idéia Rodrigo, cria um site qualquer onde as pessoas possam se cadastrar e mandar os comprovantes das doações e elas possam ver quanto já foi doado e quem doou, dessa forma fica mais transparente a coisa e te garanto serei um dos primeiros a fazer o depósito para a contribuição.

Quem estiver de acordo com a idéia ou tenha uma idéia melhor sem encher o tópico de idéias ''absurdas'' tirando o foco do assunto por favor postar aqui, fazer uma espécie de abaixo assinado para que o Rodrigo perceba que agora queremos ajudar a ele.

**sergio** · 19-07-2009, 21:47

Postado originalmente por Roberto21

...

Vou dar uma idéia aqui R$ 100.00 por pessoa é uma merreca de doação pelo que o thunder pode fazer por nossas redes...reconheço e muito a sua ajuda e agora vou levantar essa bandeira para te ajudar.

Sugiro abrir um novo tópico em Assuntos não relacionados ou debates, pois se o mesmo for neste tópico ele perderá o foco e será trancado.

**AndrioPJ** · 19-07-2009, 21:50

Postado originalmente por osmano807

(temia que isto acontecesse!)

Distribuam o thunder de graça.
Para tudo além disto, cobrem!

Simples, se o usuário quer suporte, instalação, pergunta idiota, etc, vocês cobram!

Se o thunder se tornar em mais um software pago, muitos irão usar somente porque não conhecem outras alternativas, ou querem comodidade de alguém indo e instalando.

Ou irão fazer que nem o Mikrotik 2.9.27.

Mas lembrem-se: Nunca vi ninguém instalar proxy paralelo num ISA Server, só em squid (ou outro "free").
Será pelo preço?

Isa server faz cache?
se faz... faz melhor q o squid?

sobre o thunder...
na minha opiniao, deveriam fazer = a mtos softwares livres por ai...
versao free = sem suporte, apenas o forum para tira duvidas

versao paga = suporte direto dos seus desenvolvedores tendo um canal para isso(isso inclui: instalacao, configuracao, solucao de problemas, etc e tal).

a versao paga poderia ser feita de duas formas:
comprou e tera o suporte
ou valores mensais...

na minha opiniao, para ser valores mensais... deveria ser um valor bem em conta... vamos supor
uns 30R$ mensais... seria um valor bem em conta... e q mtos iriam pagar... disso tenho certeza.

**Roberto21** · 19-07-2009, 21:50

Postado originalmente por sergio

Sugiro abrir um novo tópico em Assuntos não relacionados ou debates, pois se o mesmo for neste tópico ele perderá o foco e será trancado.

Sei que tu vai dizer um monte, alguns colegas teus que te conhecem pessoalmente já me disseram que tú é um cara legal, mas as vezes é difícil te entender.

**ilhanet** · 19-07-2009, 21:51

Condordo plenamente, vamos ai galera ajudar a quem já nos ajudou e muito. Vamos nos unir nessa ideia.
Abraço a todos

**sergio** · 19-07-2009, 21:59

Postado originalmente por Roberto21

Sei que tu vai dizer um monte, alguns colegas teus que te conhecem pessoalmente já me disseram que tú é um cara legal, mas as vezes é difícil te entender.

Não vou dizer um monte roberto21... apenas estamos numa campanha de organização do portal. Me diga, o que tem a ver um campanha para discutir ajuda financeira a um projeto com um forum que se propõem a discutir tecnicamente funções de proxy/nat/firewall ?

Só questão de organização, nada mais.

**Everloko** · 19-07-2009, 22:28

Postado originalmente por sergio

Não vou dizer um monte roberto21... apenas estamos numa campanha de organização do portal. Me diga, o que tem a ver um campanha para discutir ajuda financeira a um projeto com um forum que se propõem a discutir tecnicamente funções de proxy/nat/firewall ?

Só questão de organização, nada mais.

Sera que desee.
proxy/nat/firewall.
vc não tirou nada..?
Concordo mas acho que todos tiraram proveito do thunder,isso beneficiou a muitos no forum e fez
a muitos novos participantes se enteressarem e discutirem.

como no meu caso e de muitos.
o thunder me ajudou muito e oque eu puder fazer.
estarei ai...
vamo la..

**Roberto21** · 19-07-2009, 23:30

Postado originalmente por osmano807

SOBRE O PROBLEMA DOS VÍDEOS DUPLICADOS:

O Youtube mudou o player, ele agora requisita 2 url ao mesmo tempo, e o thunder, como não tem um filtro, faz o cache das 2!

Exemplo: lscache6.googlevideo.com/videoplayback?************&id=abcde156
youtube.com/get_video?video_id=vcXsfmA35&**************

O player requisita as duas, e são o mesmo vídeo, só que o googlevideo.com, é a id interna do youtube! Como o thunder faz o cache das duas, sem nem saber se é o mesmo vídeo, fica duplicado

Estou pensando em uma solução, mas como a Oi fez a obrigação de me deixar sem internet o dia inteiro, hoje que vou pensar nisto (olhe só, um belo nerd, trabalhando domigo... rsrs)

Conseguiu algum detalhe a mais ?

**fronteirams** · 20-07-2009, 00:17

Boa noite a todos, vamos contribuir tbm, acho uma boa a ideia do Roberto de criar um site para ver o que o pessoal contribuirem, tbm vou contribuir, se não temos conhecimento para ajudar no desenvolvimento podemos contribuir de alguma forma, então vamos colocar em pratica a ideia...

**Josue Guedes** · 20-07-2009, 08:20

VideoCache - Cache Videos Using Squid | Cache Videos

Essa ferramenta funciona muito bem, (com respeito ao ThunderCache) faz cache de vários sites de videos, estou há um tempo sem usar aqui devido limitações de hardware, cheguei a ter 100 giga aqui de video, estou aguardando um novo servidor aqui e usarei novamente. Ná época o Sergio nos mostrou em um outro tópico.

**ricardofjayme** · 20-07-2009, 09:00

Bom dia amigos!

Tem uma atualização no Index of /repo dos plugins do youtube e googlevideo que resolve o problema do download duplicado.

Abs a todos!

**osmano807** · 20-07-2009, 09:28

Postado originalmente por Josue Guedes

VideoCache - Cache Videos Using Squid | Cache Videos

Essa ferramenta funciona muito bem, (com respeito ao ThunderCache) faz cache de vários sites de videos, estou há um tempo sem usar aqui devido limitações de hardware, cheguei a ter 100 giga aqui de video, estou aguardando um novo servidor aqui e usarei novamente. Ná época o Sergio nos mostrou em um outro tópico.

Olha só, já usei o Cache Videos, masssssss, ele trava MUITO! Sério, o desenvolvedor ficava puxando os cabelos quando eu falava que tava travando!

Thunder cache não está fazendo cache dos vídeos do youtube

Ferramentas de Tópicos