Efetividade do servidor cache x largura de banda.

Bom dia Senhores,

Estou realizando uma pesquisa referente a estruturação de um pequeno provedor
e gostaria de se possível que aqueles com mais experiencia pudessem confirmar ou corrigir
minhas conclusões.

1 - Cache de vídeo (youtube e similares):
O tempo todo aparecem tópicos aqui no fórum quanto a este assunto. Qual a real efetividade de se configurar o
squid e seus redirectors para realizar o cache deste conteúdo? Não consigo imaginar que com 200 a 2000 clientes
ocorra HITS o suficiente para demandar tal recurso sem falar no espaço consumido no servidor. Alguém possui números
que demonstrem a efetividade do cache para videos?

2 - Banda consumida pelo Servidor de proxy:
É possível fazer com que proxy (não necessariamente o squid) respeite a largura de banda imposta aos nossos clientes?
Até onde entendo quando a requisição for redirecionada para o proxy e este não possuir arquivo em cache sera realizado
download deste arquivo com o máximo de banda que o squid conseguir prejudicando assim o download de outros usuários.

3 - ThunderCache:
Tem uns 500 milhões de tópicos aqui sobre este assunto e não encontrei muita informação no site do produto.
Este produto este produto é algum misto de tecnologia com magia negra e como alguns defensores dizem realiza
milagres quanto ao sua banda de internet ou nada mais é do que um squid tunado com interface bonitinha?
Me parece que com paciência e pesquisa configuro o squid para obter os mesmos resultados.

Ainda tempo gostaria de deixar claro que compreendo de que posso poupar boa quantidade de banda somente com
o cache de windows update, assinaturas de antivírus e arquivos menores de maior acesso coletivo , mas realmente
tenho duvidas quanto a efetividade de videos e similares.

Agradeço a aqueles que desejarem discutir o assunto.

---------------------------
André Rocha, CCNA Security
21 98310 9100

Baixa o thunder e coloca para rodar dai VC testa squid tunado

Citação:

Postado originalmente por Arthur Bernardes

Tá aí o segredo, o Squid com certeza tem alguns tunning na compilação, coisa que nunca será revelada, por isso que ele é vendido/mensal.

um kernel tunado e um Squid bem configurado dá 10 a 0 em muitos Caches por ai.
O Mara Cache é um exemplo do que se pode fazer com o Squid.
Eu diria que o Mara e o Thunder tem a mesma performance, a diferença fica apenas no valor.

Citação:

Postado originalmente por AndreBento

Bom dia Senhores,

Estou realizando uma pesquisa referente a estruturação de um pequeno provedor
e gostaria de se possível que aqueles com mais experiencia pudessem confirmar ou corrigir
minhas conclusões.

1 - Cache de vídeo (youtube e similares):
O tempo todo aparecem tópicos aqui no fórum quanto a este assunto. Qual a real efetividade de se configurar o
squid e seus redirectors para realizar o cache deste conteúdo? Não consigo imaginar que com 200 a 2000 clientes
ocorra HITS o suficiente para demandar tal recurso sem falar no espaço consumido no servidor. Alguém possui números
que demonstrem a efetividade do cache para videos?

2 - Banda consumida pelo Servidor de proxy:
É possível fazer com que proxy (não necessariamente o squid) respeite a largura de banda imposta aos nossos clientes?
Até onde entendo quando a requisição for redirecionada para o proxy e este não possuir arquivo em cache sera realizado
download deste arquivo com o máximo de banda que o squid conseguir prejudicando assim o download de outros usuários.

3 - ThunderCache:
Tem uns 500 milhões de tópicos aqui sobre este assunto e não encontrei muita informação no site do produto.
Este produto este produto é algum misto de tecnologia com magia negra e como alguns defensores dizem realiza
milagres quanto ao sua banda de internet ou nada mais é do que um squid tunado com interface bonitinha?
Me parece que com paciência e pesquisa configuro o squid para obter os mesmos resultados.

Ainda tempo gostaria de deixar claro que compreendo de que posso poupar boa quantidade de banda somente com
o cache de windows update, assinaturas de antivírus e arquivos menores de maior acesso coletivo , mas realmente
tenho duvidas quanto a efetividade de videos e similares.

Agradeço a aqueles que desejarem discutir o assunto.

---------------------------
André Rocha, CCNA Security
21 98310 9100

Primeiro, uso o Hyper da Thagos.

Sobre suas dúvidas:
1 - Youtube hoje é o quarto ou quinto colocado em efetividade de cache (uso do HTTPS quando logado na conta do google, quem não tem uma?). Ou seja, muito baixa a economia relacionada a este tipo de conteúdo.

2 - Caso seu controle de banda esteja antes de sua solução de cache, isso nunca vai acontecer, a menos que vc trate de maneira diferenciada os pacotes usando marcação para dar maior prioridade ao tráfego vindo do cache. Esta prática é conhecida como "cache a full". Mais cuidado, comercialmente se não for bem estudado pode evitar que seus clientes sintam a necessidade de contratar mais banda.

3 - Nunca usei, por isso não posso opinar.

Uso cache a uns 2 anos e vejo que a efetividade deste recurso vem diminuindo, principalmente devido ao crescente uso do protocolo HTTPS. Hoje ainda acho uma solução válida, mais não essencial, a menos que vc esteja com o seu link muito saturado e precise de qualquer banda extra para ajudar.

Sobre o hardware, não economize, se não for uma solução de hardware boa, nenhuma solução de software irá fazer milagres. Ponto principal para discos e memória. Existem marcas/modelos de discos mais apropriados para esta solução.

Sobre o layout de implantação, se vc tiver um número considerável de clientes (acima de 1000 eu diria) não considere instalação em bridge. Muitas sessões simultâneas passando por uma única máquina mais dia menos dia vai parar do nada e quando isso acontecer, todos seus clientes estarão sem acesso a nada. Procure por redirecionamento de pacotes (WCCP para Cisco), neste caso os pacotes com destino a porta 80 são redirecionados para o seu cache, e somente estes. Caso por algum motivo vc fique sem cache, seus clientes não ficarão sem acesso. Sem contar que o tráfego em cima da máquina é bem menor, por que somente será encaminhado a ela aquele tráfego que poderá ser armazenado/resgatado do cache.

Espero que tenha ajudado. Fique a vontade para perguntar, este é um assunto bastante comentado por aqui. Boa sorte.

Boa noite Senhores,

@Pirigoso
Então eu li aqui no fórum depoimentos um tanto exagerados na minha visão quanto ao thundercache, por isso pergunto sobre ele.

@marcioelias
1 - Pois é, vejo muitas pessoas preocupadas com cache de youtube e similares mas não enxergo vantagem em perder tempo e recursos com isso. Gostaria mesmo era de encontrar outras pessoas com pensamentos parecidos.

2 - Não sei se não entendi sua resposta ou se você não entendeu minha pergunta?
Quadro 1: Quando o cliente clica para baixar o arquivo.exe o proxy verifica se possui versão atualizada deste em disco, se sim, entrega para o cliente na velocidade que a sua conta no radius permitir e não consome minha banda ao realizar o download.

Quadro 2: Quando o cliente clica para baixar o arquivo.exe o proxy verifica se possui versão atualizada deste em disco, se não,
baixa o arquivo.exe de www.sitequalquer.com com o maximo de banda que estiver disponível neste momento no link e
entrega para o cliente na velocidade que a sua conta no radius permitir e não consome minha banda ao realizar o download.

Pensando bem, não vou realizar cache de arquivos grande demais então o tempo que o squid vai ocupar a link a toda sera curto e não vai impactar o uso dos clientes. Chequei a esta conclusão agora, você concorda?

3 - Deixa quieto.

Quanto a hardware já sei não adianta ser mendigo e comprar o mais barato porque é aborrecimento na certa.
Penso em aplicar o que conseguir, fontes de qualidade, no-break, raid, ha, loadbalance e o que mais me deixar dormir
tranquilo.

Quanto a topologia penso em colocar dois servidores HAProxy em vrrp realizando balanceamento de carga no acesso a 2 squids inicialmente (tenho de ver a configuração de cache peer para um procurar no outro antes de buscar na web) . Assim se um proxy morrer por qualquer motivo que seja HAProxy aponta para o outro e necessário posso adicionar mais servidores.

Vou continuar pesquisando. Quero tentar pegar um condomínio grande como cobaia, assim posso realizar analise de cache hit e adquirir alguma experiencia.

Obrigado pelas respostas senhores.

Fica ai a dica, se não conhece o projeto HAProxy de uma olhada. Nem todo mundo pode pagar um F5.