VideoCache - Cache do YouTube e outros.

Boa noite a todos.

Pela indicação do Sergio, instalei e testei "VideoCache" apresentado neste site:

VideoCache - Cache Videos Using Squid | Cache Videos

A instalação foi muito simples aqui no CentOS, executei um arquivo RPM, e segui as instruções de instalação, o cache está funcionando perfeitamente, segue o log que o próprio vídeo cache gera.

Como instalei ontem mesmo, até agora ele está na maioria das vezes gravando os vídeos, já que a maioria dos usuário vêem o vídeo e depois verão um outro.

O VideoCache cria o diretório em /var/spool/videocache/ onde tem sub-diretório com os sites que ele trabalha.

Todas as informções estão muito clara no site. Fácil, Fácil. Boa sorte a todos, e postem suas experiências.

mamão com açúcar né?

hehehehee


Realmente esta versão rpm é muito simples de instalar e configurar.

De qualquer forma o João Eriberto Mota Filho já colocou a mão na criança... Está montando o pacote deb, bonitinho de acordo com os padrões do Debian e já já estará pronto (se não estiver, equanto eu digito aqui).

Deposis ai, dá uma olhada na Interface LO, pelo que entendi, para gravar o tráfego passa por ela, agora para sair não cheguei a ver como é, só vi o log.

to usando o ECACHE do rodrigo e o biazus, simplesmente perfeito sem falar nos futuras possibilidades de incluir o redtube e outros com host dinámico

Josue, tinha que da certo, dica do Sérgio e CentOS.

Citação:

---

Postado originalmente por Pirigoso

to usando o ECACHE do rodrigo e o biazus, simplesmente perfeito sem falar nos futuras possibilidades de incluir o redtube e outros com host dinámico

---

Eu li muito sobre o projeto deles, é mais completo, pois tem até para anti-vírus. Porém esse aqui é muito, fácil de instalar. Vou expeirmentar esse do Biazus, vou montar um servidor de teste aqui.

Citação:

---

Postado originalmente por magal

Josue, tinha que da certo, dica do Sérgio e CentOS.

---

É, com certeza.

Tem que ser montado em uma maquina dedicada?

Citação:

---

Postado originalmente por FernandodeDeus

Tem que ser montado em uma maquina dedicada?

---

Tem que ser em uma máquina baseada em Debiam ou RedHat com Squid, acho que não prescisa ser dedicada, mais, saiba que o consumo de disco é grande, aqui em 2 dias já estou com 3 giga de cache feito. Vou testar com parent proxy para ver como fica com Mikrotik.

Ah, quando o usuário vai acessar o youtube, ele mostra o vídeo normal e o baixa em paralelo ou tem que esperar o download do vídeo terminar?

A formação do cache acontece em paralelo ao que o usuário está vendo, se o usuário desitir ele parece que continua fazendo o cache, sinceramente eu ainda estou confirmando se é isso mesmo, pelo log que eu postei dá para ter uma idéia do que acontece. Vamos esperar mais gente começar a usar para poderem ajudar nas configurações. Eu limitei a formação de cache a 1 por vez.

Olá Sergio!
Como vai essa força ai ?!

Muito Boa a sua dica, é D+ !

Coloquei no meu slackware e o troço ta fucionando que é uma beleza!

Abraços

Citação:

---

Postado originalmente por sergio

mamão com açúcar né?

hehehehee


Realmente esta versão rpm é muito simples de instalar e configurar.

De qualquer forma o João Eriberto Mota Filho já colocou a mão na criança... Está montando o pacote deb, bonitinho de acordo com os padrões do Debian e já já estará pronto (se não estiver, equanto eu digito aqui).

---

Olá Amigo!
Pelo que pude ver este tambem faz isso que mencionaste !
Abraços

Citação:

---

Postado originalmente por Pirigoso

to usando o ECACHE do rodrigo e o biazus, simplesmente perfeito sem falar nos futuras possibilidades de incluir o redtube e outros com host dinámico

---

Olá pessoal!

Bom depois de me entusiasmar com os colegas do fórum, ontem decidi colocar em pratica este tutorial!

Meu servidor Linux Slackware 12.0 se utilizava do Squid 3.0 STABLE7, mas como não vi nenhuma referencia a este resolvi desinstalar ele e colocar a versão 2.6 STABLE5

Depois verifiquei se o Python e o Apache2 estavam instalado nele!
Feito isso baixei os pacotes que faltavam !

Escolhi: urlgrabber-2.9.4.tar.gz, videocache-1.6.tar.gz, iniparse-0.2.4.tar.gz

Depois de instalados tive que mexer em algumas configs do pacote Videocache

e corrigir algumas coisa nas configurações do meu apache e Squid, deu um pouco de trabalho já que o mais fácil e debian mesmo pois já não e tudo na mão como Slackware.

Já faz 12 horas e já tem 11GIGA de cache alocado pelos vídeos, mas percebi que nenhum vídeo do Google foi cacheado, alias os únicos que foram foi youtube, youporn e redtube.

Acho que da pra melhorar estes scripts!

Agora com o BBB 9, poderíamos adicionar também neste videocache !!!

Abraços A todos deste tópico !

É aqui o cache já cresceu bem, já estou com quase 100 Gigas, mais estou tendo a impressão que o vídeos estão sendo duplicados no cache, vai também para o cache do squid, alguém pode confirmar isso? O cache squid passou a crescer muito depois do videocache, tentei configurar o squid para não fazer cache do You tube por exemplo, mais parou de funcionar o videocache, vou dar uma analisada aqui no log e retorno para confirmar.

Fiz um egrep no log do vedeocache nos HIT (acertos do cache ) e nos MISS ( quando e buscado na internet) e fazendo uma regra de três cheguei a conclusão que naquele momento estava dando 44% de efetivo do videocache, ao meu ver a médio prazo com dois hd de 1 tera seria uma solução sustentável pois não e necessário limpar o diretório dos vídeos já que ele procura pelo nome! A gama de videos do youtube e muito grande! Quanto mais pudermos cachear melhor fica na economia do link !

Mas acho que com o videocache não tem como colocar 2 hd de 1 tera como se faz no squid ! E também não tem como dividir em subpastas portanto quanto mais arquivos no diretório mais lenta vai ser a procura do vídeo , já imaginou um diretório com 10mil vídeos ? Quanto tempo será que leva pra achar ele !!!!

Abraços Josue.

Citação:

---

Postado originalmente por Giovani.couto

Fiz um egrep no log do vedeocache nos HIT (acertos do cache ) e nos MISS ( quando e buscado na internet) e fazendo uma regra de três cheguei a conclusão que naquele momento estava dando 44% de efetivo do videocache, ao meu ver a médio prazo com dois hd de 1 tera seria uma solução sustentável pois não e necessário limpar o diretório dos vídeos já que ele procura pelo nome! A gama de videos do youtube e muito grande! Quanto mais pudermos cachear melhor fica na economia do link !

Mas acho que com o videocache não tem como colocar 2 hd de 1 tera como se faz no squid ! E também não tem como dividir em subpastas portanto quanto mais arquivos no diretório mais lenta vai ser a procura do vídeo , já imaginou um diretório com 10mil vídeos ? Quanto tempo será que leva pra achar ele !!!!

Abraços Josue.

---

Configura um raid0. Estou usando desse jeito em uma maquina que montei pra testes com o videocache. Está funcionando por enquanto, mas ainda nãoo deu tempo de analisar a performance utilizando em raid (nao é recomendado pela equipe do squid)

Sobre o Ecache
estou usando aki a varios meses
tudo perfeito
se o cliente desistir de assistir o video o squid condinuara fazendo o download do video
mais é uma solução otima
recomendo
pra quem quizer saber mais

Forum Proxy Masters • Index page

Citação:

---

Postado originalmente por sergio

Configura um raid0. Estou usando desse jeito em uma maquina que montei pra testes com o videocache. Está funcionando por enquanto, mas ainda nãoo deu tempo de analisar a performance utilizando em raid (nao é recomendado pela equipe do squid)

---

Também dei uma olhada aqui nos logs, paraticamente não aparece nada no log do squid referente aos vídeos. Então acho que não deve estar duplicando. Quanto incluir novos discos acho que você pode dividir por sites, agora 2 discos para o Youtube por exemplo não dá mesmo, pelo menos nesta versão. Essa questão de desempenho serámesmo que deve ser considerada? Já fiz tantos testes nisso aqui, usei 1 diretório 2 e 3 e sinceramente não vi diferenças. Acho que isso é para extruturas mais antigas, as máquinas hoje sõa muito rápidas. Me corrijam se eu estiver errado.

Existe alguma maneira de portar para Windows 2003 + cygwin?

Citação:

---

Postado originalmente por Josue Guedes

Também dei uma olhada aqui nos logs, paraticamente não aparece nada no log do squid referente aos vídeos. Então acho que não deve estar duplicando. Quanto incluir novos discos acho que você pode dividir por sites, agora 2 discos para o Youtube por exemplo não dá mesmo, pelo menos nesta versão. Essa questão de desempenho serámesmo que deve ser considerada? Já fiz tantos testes nisso aqui, usei 1 diretório 2 e 3 e sinceramente não vi diferenças. Acho que isso é para extruturas mais antigas, as máquinas hoje sõa muito rápidas. Me corrijam se eu estiver errado.

---

Não vi duplicidade também...

Quanto a separar em diretórios nunca vi nada referente a desempenho... O que sempre foi mencionado nas listas do squid é que separando o cache em HDs diferentes (logicamente, partições diferentes) teria sim mais performance em função da carga (I/O) dividida nos HDs.

Citação:

---

Postado originalmente por osmano807

Existe alguma maneira de portar para Windows 2003 + cygwin?

---

Melhor local para verificar isso é no site do desenvolvedor. Tem um forum lá. O próprio desenvolvedor está sempre por lá, respondendo as questões.

Citação:

---

Postado originalmente por sergio

Melhor local para verificar isso é no site do desenvolvedor. Tem um forum lá. O próprio desenvolvedor está sempre por lá, respondendo as questões.

---

Olá Sergio, sem querer abusar você poderia colocar pros caras lá ! Mesmo por que eu e outros não falamos inglês !!!

Abraços

Citação:

---

Postado originalmente por Giovani.couto

Olá Sergio, sem querer abusar você poderia colocar pros caras lá ! Mesmo por que eu e outros não falamos inglês !!!

Abraços

---

Colocar o que? a questão do Windows 2003 + cygwin?

Eu também não falo inglês, mas me viro... :)

Ok, eu coloquei no fórum lá, falou que iria demorar para testar.

Citação:

---

Postado originalmente por sergio

Colocar o que? a questão do Windows 2003 + cygwin?

Eu também não falo inglês, mas me viro... :)

---

A questão de varios hd para o cache do youtube !

com serteza seu inglês técnico e melhor do que de muita gente aqui do forum !!!

Abraços !!!

Citação:

---

Postado originalmente por Giovani.couto

A questão de varios hd para o cache do youtube !

com serteza seu inglês técnico e melhor do que de muita gente aqui do forum !!!

Abraços !!!

---

ah tá blz... antes de postar lá farei um teste aqui tb.

Olá pessoal!
Uma duvida!
limitei meu cache do youtube para 200 GIGA, quando chegar a este valor o que vai acontecer ?

Até Mais !!!

Vai começar a deletar os vídeos antigos primeiro.

Ah, lançou a nova versão, com cache agora de UOL também!

Citação:

---

Postado originalmente por osmano807

Vai começar a deletar os vídeos antigos primeiro.

Ah, lançou a nova versão, com cache agora de UOL também!

---

Obrigado pelo retoreno Amigo !

Mas e se for um video antigo e muito Requisitado ? vai deleta iqual!?

Abraços!

Citação:

---

Postado originalmente por sergio

Não vi duplicidade também...

Quanto a separar em diretórios nunca vi nada referente a desempenho... O que sempre foi mencionado nas listas do squid é que separando o cache em HDs diferentes (logicamente, partições diferentes) teria sim mais performance em função da carga (I/O) dividida nos HDs.

---

Grato pelos esclarecimentos, até agora o único contra que vejo do Videocache, é o consumo de banda, isso tá "brabo", esse Schedule que ele faz as vezes dá picos de 1 mega aqui no link. Postei lá no forum e o desenvolvedor sujeriu o uso de Delay Pools no Squid, mais sinceramente, não sei como fazer isso, até onde eu sei só é possível limitar com Delay pools a saída da cache não a entrada.

Alguem conseguiu colocar a versao 1.9 para funcionar no ubuntu ????? Estou usando o ubuntu 8.04 e soh consegui colocar a versao 1.2
Na versao 1.9 tem algumas melhorias em relacao as anteriores, alem de fazer cache de mais sites, inclusive do uol como citado anteriormente, tem outras opcoes interessantes que ajudam a diminiur o consumo de disco e de banda, uma da opcoes eh o contador de hits ( hit_threshold ) para determinado video, ou seja, soh faz cache a partir daquele numero, outra opcao eh por quanto tempo vai manter o arquivo em cache ( video_lifetime ) , o default eh de 60 dias. Tambem na versao 1.9 pode se usar multiplos discos.

Na versao 1.9 o script videocache.py simplesmente nao roda como usuario proxy, roda somente como root......

Se alguem jah passou por isto e poder me ajudar eu agradeco ....