Tamanho cache x economia de link

Olá amigos! Gostaria da opinião de alguém que já fez essa conta em seu provedor.

Você vai lá e instala um servidor de cache desses que fazem cache de tudo o que vem na frente (vídeo, jpeg, flash, etc etc etc). O cache está zerado.

Alguém já mediu a economia de link conforme o tamanho dos arquivos de cache aumenta para ver quando é que não adianta mais guardar arquivos?

Vou dar um exemplo hipotético: tenho um link de 20 megas full e um cache com 500 gigas de HD.

Em 30 dias tenho 300 gigas ocupados e 30% de economia de banda.

Em 40 dias tenho 400 gigas ocupados e 33% de economia de banda.

Em 50 dias tenho 500 gigas ocupados e com 33,5% de economia de banda.

Ou seja, nesse caso hipotético, não haveria necessidade urgente de colocar mais um HD de 500 gigas pois meu ganho está até 400 gigas.

Imagino que quanto mais link e usuários mais HD o cache deve precisar. Porém acredito que deva haver algum número médio disso, digamos um valor x de gigas para cada 100 usuários, por exemplo.

Alguém já pensou nisso? Já fez alguma medição nesse sentido com seu cache para ver até quando é necessário guardar arquivos?

Obrigado!
Fabrício

Tópico interessante.

Entendo que quanto maior a quantidade de HD maior a possibilidade de economia.

Os caches do mercado possuem uma programação que quando o HD chega em sua capacidade máxima eles vão apagando os arquivos mais antigos. Só não sei te dizer se eles verificam se este arquivos antigo tem sido usado com frequencia ou não. (para no caso de ser usado constantemente ser preservado no cache).

Ao fazer cache de windows updade, antivírus, youtube, etc... chega-se próximo aos 50% quando se passa de 500GB de cache.

Agora fazermos uma conta fechada user x cache x link fica um pouco mais difícil, é igual uma das perguntas mais postadas no fórum: Quantos assinando um link de 4MB aguenta. Resposta: Depende do perfil.

A economia em minha rede estava na casa de 40% já alguns meses, agora nas férias saltou para 50%... isso porque as pessoas tem mais ou menos o mesmo perfil de navegação.

Mas enfim, achei interessante o tópico o podemos começar a tentar decifrar tua incógnita.

Olá!

Então, realmente, quanto maior for o cache, maior será a economia, sempre.

Eu estou arriscando dizer, tomando em conta o que você falou, que pelo menos 500GB são necessários. Acima disso o ganho não se torna tão expressivo e abaixo a economia não é a ideal ainda! :)

Vamos ver o que o pessoal responde! :)

Valeu!
Abraço
Fabricio

Então, você já fez a medição para ver em torno de quantos GB o seu cache (ou outro que você tenha visto) é efetivamente interessante em questão de economia de link?

Até quando o cache realmente economiza banda? Estamos em 500GB até o momento! :)

Depois de muitos meses de silencio.
Biohazzard esta de volta, e muito mais envenenado.

Cara, um grande problema de caches como Thunder, Speedr, lusca, BrazilFw etc, é a falta controle " que chamarei atomico" o que significa, carregar de fato somente os arquivos que foram modificados, e não simplesmente a pagina interira, mas somente os itens que componhem as modificaçoes no site, por outro lado os adm de rede estraculam a rede ao maximo, e não deixam uma reserva, BrazilFW tem uma reserva de 2% que para conferior o DNS, ATULIZAÇÕES, mas o infeliz desgraçado do adm aloca esta banda para um cliente, quanto maior o cache, quanto maior o disco, maior será a sua busca o que emplica em lentidão, aposto que você deve estar perguntando por que as grandes teles conseguem fazer isso, e eu não? lá eles utilizam disco 15000 rmp, memorias de alto desempenho, processadores RISC, e sistema dedicado, não é uma simples solução customizado é um uma complexa solução que envolve desenvolvimento de hardware, sistema, e banco de dados. Mais um detalhe aposto que a grande maioria aqui usa placas 100/1000, ele usam 1000/10000, quando usam placas, por que na verdade são slot de conectores de fibra. Para piorar o cenario, uma cache grande so te trará problemas em seu pequeno servidor.

Desculpa se tirei o seu sonho de montar a maior cache possivel. kkk

Eu não queria saber se quanto mais ou menos usuários tem mais ou menos economia. Eu estou querendo fazer um estudo de acordo com o público aqui DESSE FORUM.

Aqui temos provedores a partir de 50 usuários (ou menos ainda). Por isso gostaria de saber de essas pessoas já pararam para ver qual a quantidade de cache que é o suficiente para atendê-los.

Assim, amanhã, quando alguém nesse tópico falar "tenho 300 usuários e preciso de 2 teras de cache", outra pessoa que tenha 300 usuários também e quiser montar um cache pode preparar uma máquina que tenha capacidade de gerenciar 2TB de cache.

Só isso.

Não da para se basear somente em quantidades de clientes, tem que saber primeiro o que as pessoas mais navegam, vc pode ter 300 clientes, se todos usarem o mesmo serviço sempre, sua cache será pequena. Tem que ser levado em conta dados probabilisticos, não esquecendo que cada cenario é totalmente diferente, ai que esta a diferença entre os mortais adm de rede, e os analista de infra, sistema, e seguraça, o adm, so quer uma formula feita, criada, de preferencia bolo de caixinhas, so adionar leite e levar ao microondas, os analistas obtem dados, de cada cenario, analisa as threshold, gera relatorios de comportamento do trafico, observão a saudade dos links, e por fim escolhem o que fazer. Logo imagir um cenario e querer que ele seja valido para todos não é possivel, softwares de pateleira existem aos montes, mas nunca que tem as funções que uma organização deseja, so analisando e criando sobre medida mesmo.

Existe adm, e existe profissional de rede.

Eu entendi o que você quer dizer Fabricio.

SE tenho um hd de 500GB e o cache vai jogando fora os mais antigos, e se sua rede está mantendo um determinado número de usuários, teoricamente vai chegar num ponto de equilíbrio, onde o cache para de crescer e só vai se atualizando.
É isso que você gostaria de determinar, não?

Videos do Youtube por exemplo, é muito variado. Os mais populares, aqueles que são repetidos nos programas de variedades na TV é que normalmente são mais visitados.
Já os mais técnicos, mais direcionados para outras áreas de conhecimento que não a diversão, normalmente tem menos acessos e talvêz um ou dois num universo de 300 assinantes. Mas o perfil médio vai se manter.

Concordo que o perfil muda de usuários para usuário, mas ele não deve mudar muito de provedor para provedor.

Dois que frequentam assiduamente o forum e conhecem cache são o Osmano e o Luciano. Não que não tenham outros. Mas estes dois desenvolveram sistemas e podem falar com mais propriedade sobre como internamente estes caches tratam as informações e até onde ocorre o benefício.

Também não sei como os caches fazem esta análise de requisições para decidir se é vantajoso guardar ou não. Mas na verdade creio que o primeiro acesso já determine que deve ser guardado. Depois de algum tempo sem requisição ele deveria ser jogado fora.
Muitos acessos, já determina que não seja jogado fora. Isso poderia ser feito facilmente pela data da última requisição. Passou por ex. 15 dias sem acesso, vai para o lixo.

Vamos ver se o Osmano e o Luciano Rampanelli podem esclarecer.

Veja o link de Osmano

https://under-linux.org/f284/thunder-3-1-gplv3-139632/

estou trabalhando no fonte do thunder 3.1 a algum tempo. Nada para ser uma produção mas que atenda a necessidade aqui.

Blauauaauaua arwfwa... Quem me acordou? Ah, tá.

É, isso ocorre.

Dividindo o tempo em períodos, cada período tem um acesso típico.
Deixa eu explicar melhor:
Começo de ano tem um aumento no uso de redes sociais (para aqueles que não ficam no facebook durante as aulas), e aumento no tráfego de vídeos (BBB).

Enquanto estiver em uma época, o nível de conteúdo no cache vai permanecer estável, assim que se passa para outra época, vai haver variação.

Estável no sentido que o tamanho e número de objetos não varia muito, pois há a popularização de um conteúdo ao mesmo tempo em que há uma despopularização de outro.

Até aqui nada que todo mundo já sabia.


O problema é medir isso:
Pega-se dados do uso do hd e objetos em disco.
Faz um gráfico (para os mais lerdos), um box plot (para os loucos) ou uma análise estatística (para os insanos).

Box plot é interessante, mas só vejo suporte em ferramentas estatísticas.

Eu também estava alguns meses fora do forum, kkk
concordo com Osmano, e reafirmo não tem como querer criar um cenario e replicar em outro ambiente, cada necessidade é unica. As gondolas dos supermecados estão cheias de bolo em caixinhas, so adicionar leite e levar no microondas, mas nunca que fica igual a um bolo feito por quem sabe usando os ingredientes na quantidade correta para caba bolo.
Pelo amor de Deus ADM, dediquem mais a sua profissão, e entendão que cada cenario é unico, tem que pulir bits, catalogar erros e propor soluções.
Me desculpem se estou sendo arrogante.

Existe adm, e existe profissional de rede.

Isso mesmo!

Será que um provedor com 300 usuários precisa de 1TB de cache? Vale o investimento?

E um provedor com 3000? Quanto será?

Acho que, quando mais usuários, mais fácil de tirar uma média.

Até que ponto um provedor deve investir em cache?

Esse é o intuito desse tópico, quer dizer, era.

Abraços
Fabricio

Fabríco, eu não sei se tem outros fatores envolvidos num dimensionamento.

Mas o Luciano na época da instalação trouxe a atenção alguns detalhes técnicos que agora não me lembro.
O meu cache tem dois hds de 500 e mais um de 1.5TB, todos com 32mb.

Não sei se os serviços cacheados são distribuidos por estes HDs ou não.
Outra coisa que precisa sem levado em conta é o preço que hoje a diferença é pouca entre um hd menor e um maior.

Tenho utilizado 560GB.

Como usuário eu estou satisfeito. Mas confesso que fiquei curioso com seu questionamento.

Quanto a perfil, acho que é isso mesmo. Pode mudar pela época do ano.
Talvêz por isso um dimensionamento maior seja necessário.
Mas numa média o perfil do provedor não deverá sofrer muito.

É justamente o que falei!!!



Galera, vamos acrescentar a reputação dos participantes ai!!!

Eu sou da opnião de que o cache em provedores deve ser pequeno, a não ser que se invista em servidores de alta disponibilidade, com hds, processamento e memórias super rápidos (que são caros) , senão o tempo de busca no cache é maio que o tempo de busca na internet. Já tive experiencia de ganho negativo com o cache.
Não vi se foi respondido mas o cache apaga o arquivo mais antigo baseado no último acesso que ele teve e não na data de criação do arquivo dentro do servidor. Então arquivos altamente acessados, mesmo que já tenham 2 anos no servidor não serão apagados facilmente.
Pensando exclusivamente em atualizações de softwares o cache vale a pena, pois tem mais chance de vários usuários usarem o mesmo anti-vírus e sistema operacional.
Tenho 400 clientes, 100G hd de cache, menos de 10% ocupado, justamente por conta de vários sites serem muito dinâmicos e outros bloquearem cache. Não uso cache dinâmico.

Bom tópico, deixarei aqui minha experiencia e minha opnião.

Uso servidor cache a muito tempo e reconheço neles a importância para as localidades onde não existe link em abundância e para quem quer dar um up na sua rede, segue aqui minha conlusão depois de anos de cache.

1 - Tamanho dos Hd´s está sim ligado a economia

Quanto mais espaço para armazenar arquivos maior será a economia, porém esta economia está ligada a diversos fatores como perfil dos clientes, arquivos Hit´s e algoritimo usado no sistema utilizado.

2 - Quantidade de Hd´s

A quantidade de Hds está diretamente ligada a economia pelo fato de conseguir tamanhos estraordinários para armazenamento agregando muitos discos em um só servidor, porém é recomendado aumentar a qualidade e velocidade dos discos ao invés de adicionar muitos discos com grandes tamanhos, ou seja: coloque discos entre 500 e 750gb ao invés de discos de 2tb por exemplo.

3 - Economia e arquivos armazenados em cache

Quanto ao que deve ou não ficar armazenado no cache dizemos que isso esta ligado ao sistema e a tecnologia adotada pelo dito cujo, existem sistemas que excluem os arquivos armazenados por tempo e alguns permitem até que o usuário determine o tempo para esta exclusão ou ainda será excluido os arquivos mais antigos assim que o espaço em disco estiver acabando; existe outros que utilizam os hit´s como referencia, ou seja arquivos pouco acessados ou sem acesso serão apagados ou cobertos por arquivos atuais, isso ocorre conforme os algoritimos utilizados no sistema; eu particularmente prefiro a segunda opção aliada a um bom espaço em disco, falando em performance acredito que uns 5tb divididos em uns 10 discos oferece uma boa performance para qualquer provedor... mas isso aliado a um bom servidor e não a qualquer maquina adquirida em lojinhas de informática, de sempre preferencia a servidores que usem processadores xeon, outras plataformas também podem ser utilizadas a critério do usuário, porém os resultados não serão os mesmos.

Usem sim cache, pois é uma ferramenta poderosa utilizada pelos pequenos e pelos grandes, escolham a melhor ferramenta e a melhor forma de implementar... e sejamos felizes!

Fico feliz ao ver tantos usuários discutindo um assunto de interesse geral mas que até então parecia não despertar o interesse de muita gente.

Na minha opinião, o tamanho do cache depende unicamente da disponibilidade do link, para um link de 100Mb/s precisamos de um cache realmente grande, já para um link de 10Mb diminiu consideravelmente a capacidade de armazenamento, a quantidade armazenada depende do % de uso com navegação exclusivamente para a maioria dos sistemas de cache, ou seja, o link de 100Mb/s geralmente de 45 a 70% do que trafega é http, desse total boa parte é passível de cache local.

"A mas eu fulano tem um provedor com link de 20Mb/s e o cache dele tem 4Tera de disco para armazenamento, melhor, se puder manter o conteúdo por mais tempo as chances de receber um HIT serão ainda maiores e com o tempo isso influência possitivamente para a economia do link, nem sempre o que se busca com cache é e economia do link, em muitos casos a procura é por uma resposta mais rápida do que de objetos vindos da web."

Deve-se ter em mente que o tempo de acesso aos discos é importante no que diz respeito a velocidade de resposta, dito isso cada um sabe o que tem dentro dos seus servidores com relação ao hardware e também software.

Para links que fluem bem e não vivem no gargalo, o armazenamento de objetos por 45 dias (utilizando politica de limpeza LRU) é suficiente, para quem quer maior economia vale a pena investir em maior tempo de armazenamento (com discos maiores) pois com o passar do tempo os ganhos aumentam muito.

Posso dizer que hoje detemos a tecnologia (única até o momento) de oferecer o melhor em cada caso, seja para maior economia ou maior velocidade ou quando o hardware permite que seja ambos em conjunto, quem utiliza NIMOC me corrija se eu estiver errado.

Abraço a todos, só vi amigos neste tópico o que me deixa ainda mais satisfeito.

Citação:

---

Postado originalmente por netfastbg

Concordo com vc luciano, como eu disse antes nós pequenos provedores estamos limitados por exatamente tudo que eu coloquei aqui e que vc também explicou , como quantidade de acessos e tamanho de link, a questão chave para um bom cache na minha opinião hj para um pequeno provedor é :
- CACHE ESTÁVEL
- PRÁTICO
- EFICIENTE
- BOM ATENDIMENTO TÉCNICO
Coisa que o NIMOC tem me atendido em todos estes aspectos e muito bem , de resto não nos resta fazer muita coisa.

---

Poderia acrescentar que CACHE ESTÁVEL = servidores de qualidade.
Como já falaram, não existe uma receita ideal, se você colocou um hd de 500Gb e nunca encheu ele, colocar mais um não vai aumentar a economia de link.

Bom o pessoal ja disse tudo neh.

Mais vou deixar aqui como esta sendo o uso dos discos em nossa rede.

Ela tem no total cerca de 800 usuarios, so que isso nao é uma rede apenas, juntamos alguns conhecidos e cada qual tem sua rede.

Usamos para todas redes os mesmos link de internet, que no total soma 55 mega de link (não é balanceamento pcc ou coisa do tipo temos ASN e usamos BGP para tal, cada rede sai por link tal).

Temos no total de disco para cache 5 tera (1 tera para cada disco).

Usuarios simultaneos media de 500 o maximo que ja vi quando estava olhando a rede.

O uso dos discos esta em quase 2 tera (1,74Tb pra ser mais exato).

O que notei que de 2 meses pra cá, diminuiu bastante o uso dos disco (digo enchimento do cache), aumentando a economia, só nao posso afirmar a quantidade de economia pois nao acredito nesses graficos de economia do cache, e nunca parei para analizar se é isso mesmo que da (e nem o sei fazer tambem).

No inicio pensei que os 5Tb nao daria pois todo dia o armazenamento aumentava muito, so que apos uns 3 meses foi diminuindo bastante.

Gostei das explicações do pessoal sobre cache e o post é bem interessante, coisa que eu sempre tive curiosidade mais nunca tive coragem de perguntar (ou nao sabia como fazer).

Valew pelo post Fabricio, e obrigado aos demais pelos esclarecimentos.

Abraços a todos.

Fórum é bom por estas coisas, todo mundo colabora e o entendimeto fica mais fácil já que cada um tem um entendimento e uma forma de explicar, parabéns a todos e declaro que este foi um dos tópicos mais interessantes que li até hoje aqui no fórum, isso pelo nível de participação.

Abraço a todos.

Edcomrocha, será que esta redução no "enchimento dos HDs" não seria porque já atingiu uma média determinada pelo perfil geral dos seus usuários?

Eu raciocinio assim ( e nem sei se isso é real), que cada usuário contribui com o seu perfil. Daí que em poucos meses pode ocorrer esta estabilidade no armazenamento, já que os mais antigos são descartados e novos são acrescentados, mas sempre dentro daquele perfil médio de acessos.
Se por um acaso você acrescentasse na rede 20 usuários mais e todos com um perfil daqueles que só baixam de tudo na net, o consumo do HD voltaria a crescer até estabilizar noutra média mais alta.

Será que é isso, Luciano?

Penso do mesmo jeito 1929 (ou Carlos se não me engano).

O perfil do pessoal do lado de ca é ver funk (haja ouvido), de resto redes sociais, poucos tem o costume de baixar de tudo na net.

Se nao me negano a politica de remoção aqui é a LRU (mais nao tenho certeza tambem), nao lembro bem como funciona essa politica de remoção, porque só li sobre ela quando via algo sobre squid, e li alguma coisa sobre.

Abraços.

Citação:

---

Postado originalmente por leandrovaranda

Poderia acrescentar que CACHE ESTÁVEL = servidores de qualidade.
Como já falaram, não existe uma receita ideal, se você colocou um hd de 500Gb e nunca encheu ele, colocar mais um não vai aumentar a economia de link.

---

cara vc enteu muito bem, é isso mesmo.

Jorege Aldo, acho que você definiu tecnicamente aquilo que postei. Cada provedor tem um perfil médio. E além deste perfil pouca coisa vai mudar.

Aingiu esta média, estabiliza aí o tamanho do cache.
Por isso que o dimensionamento não pode ser generalizado, não?

Isto quando a armazenamento. Mas quanto a agilizar o acesso que é outro objetivo do cache, deve haver outra forma de analisar isso.

Citação:

---

Postado originalmente por JorgeAldo

Caches no geral obedecem uma lei chamada, lei dos retornos diminuidos, ou Law of diminished returns, em ingles.

Em outras palavras, há um gráfico, onde o ganho (inicialmente rapido) alcança um platô onde não se justifica mais investimentos.

isso vale desde pros caches de RAM do computador (cache l1, l2, l3 etc) até para um cache de internet.

Diminishing returns - Wikipedia, the free encyclopedia

---

Eu nem sabia que isso tinha um nome, mas definiu bem o que já vemos na prática.