Sobre porque o proxy pode atrapalhar ao invés de ajudar.

leitura do hd

Citação:

Postado originalmente por flaviomreis

O que eu não consigo entender é como isto funciona e estou falando somente do squid, sem thundercache ou outra coisa. Exemplo:

cliente <-- 256k --> meu servidor <-- 2MB --> internet

Ou seja, meu servidor tem um link de 2MB com a internet e mesmo assim o squid vai ficar baixando a somente 256k? Como ele consegue "saber" disto?

Acredito até que o squid vai baixando conforme vai "entregando" ao cliente e como ele não consegue "entregar" a toda velocidade, vai atrasando o download. Mas até que ponto isto funciona tranquilo para diversar conexões é que não entendo. Eu tinha ganhos com o squid, o problema é que em horários de pico em que pouco era vindo do cache e a maioria era proveniente da internet, o squid tornava a navegação sensivelmente mais lenta. Até que um download, algo de alguns megabytes ele estabilizava em 256K, mas para navegação, com pequenos objetos, ele parecia esgoelar o link e atrasava tudo que não estivesse em cache.

Não consigo pensar em um forma de contornar este meu problema, que acredito que não seja somente meu, pois já li vários relatos neste sentido. Então recorro a vós.

Obrigado

as vezes isso acontece pq a velocidade de leitura do seu objeto em cache é menor do que a de busca na própria internet, exemplo se o seu HD tem esta bem cheio com um cache enorme ele irar fica bem mais lento de se ler, a vezes o objeto tem apenas 100k mais será mais lento procurar ele no cache e entrega para o cliente do que buscar ele diretamente da internet. mesmo o hd sendo um de 10000 rotações, com mais de 100GB de cache ele será mais lento do que seu plano 256k direto, é um problemão que acho que somente pode ser resolvido com servidores em poderosos com RAID0 e etc .... isso varia muito e sempre quando mais poder melhor, mais sempre acho que vale a pena o servidor proxy, pq trás economia no link, ontem em um provedor em que presto suporte por exemplo o trafego do que não estava em cache foi 19GB e o do cache 4GB, foram 4GB de economia no link que foram usados para outros clientes. por esse motivo sempre mantenho meu cache em cerca de 50GB mesmo o hd tento 500GB, ele sempre fica excluindo os objetos mais velhos, acho que fica em torno de 3 dias em cache somente, mais já notei tb que as pessoas navegam geralmente nos sites que estão em cache em pouco tempo, poucos acessam sites que já sairam do cache após vários dias, sobre a velocidade o thunder não faz como o squid, ele baixa na velocidade maxima mesmo .....

Citação:

Postado originalmente por pedrovigia

as vezes isso acontece pq a velocidade de leitura do seu objeto em cache é menor do que a de busca na própria internet, exemplo se o seu HD tem esta bem cheio com um cache enorme ele irar fica bem mais lento de se ler, a vezes o objeto tem apenas 100k mais será mais lento procurar ele no cache e entrega para o cliente do que buscar ele diretamente da internet. mesmo o hd sendo um de 10000 rotações, com mais de 100GB de cache ele será mais lento do que seu plano 256k direto, é um problemão que acho que somente pode ser resolvido com servidores em poderosos com RAID0 e etc .... isso varia muito e sempre quando mais poder melhor, mais sempre acho que vale a pena o servidor proxy, pq trás economia no link, ontem em um provedor em que presto suporte por exemplo o trafego do que não estava em cache foi 19GB e o do cache 4GB, foram 4GB de economia no link que foram usados para outros clientes. por esse motivo sempre mantenho meu cache em cerca de 50GB mesmo o hd tento 500GB, ele sempre fica excluindo os objetos mais velhos, acho que fica em torno de 3 dias em cache somente, mais já notei tb que as pessoas navegam geralmente nos sites que estão em cache em pouco tempo, poucos acessam sites que já sairam do cache após vários dias, sobre a velocidade o thunder não faz como o squid, ele baixa na velocidade maxima mesmo .....

Mas eu estou falando é justamente o contrário, quando o squid não tem em cache e tem que buscar na internet, nesta hora, quando tenho 1,5M de meus 2,0M em uso, o squid gera latência, mesmo não buscando do cache, ou seja, ele não faz leitura alguma no disco porque não está em cache.

O que PODE ser é que antes de entregar ao cliente ele precisa localizar se existe em cache e como são diversos pequenos objetos, então significaria uma demora até procurar e não encontrar. Mas aí fica a pergunta, porque isto não gerou carga de CPU? Pois não notava quase nada de uso para as I/O?

Citação:

Postado originalmente por pedrovigia

...mais sempre acho que vale a pena o servidor proxy, pq trás economia no link, ontem em um provedor em que presto suporte por exemplo o trafego do que não estava em cache foi 19GB e o do cache 4GB, foram 4GB de economia no link que foram usados para outros clientes. por esse motivo sempre mantenho meu cache em cerca de 50GB mesmo o hd tento 500GB, ele sempre fica excluindo os objetos mais velhos, acho que fica em torno de 3 dias em cache somente, mais já notei tb que as pessoas navegam geralmente nos sites que estão em cache em pouco tempo, poucos acessam sites que já sairam do cache após vários dias, sobre a velocidade o thunder não faz como o squid, ele baixa na velocidade maxima mesmo .....

20% de economina já é algo apreciável.

Ontem estava conversando com uma pessoa sobre o tempo que os arquivos ficam em cache.
Não teria como excluir não por tempo de permanencia, mas por número de acessos?

Pode acontecer de algo ficar armazenado, e não ser requisitado por mais ninguém. E está ali ocupando espaço. Se não fosse requisitado por um determinado tempo ele iria para o inicio da fila de exclusão. E aqueles que estivessem sendo requisitados mais frequentemente permaneceriam, independente do tempo.

É possível isso, Pedro?

Amigo,
pelo o que vi voce não conhece bem o assunto squid, ou pelo menos nao chegou a ler o documentação oficial do mesmo,
como contribuição eis aqui algumas informações:

a) o squid não faz donwload ou up-load de arquivos, ele apenas faz as requisiçoes em nome das máquinas que estão atraz dele, filtrando tudo o que passa por ele aplicando as políticas de acesso/seguranças e finalmente gravando uma cópia do que é baixado e das solicitaçoes para que futuramente não seja necessario baixar o mesmo aquivo da net novamente e pra que se possa fazer os relatorios de acessos estatisticas os quais podem ser interpetados por outra aplicação como por exemplo o SARG ou similar.

b) Quanto ao controle de banda. Se o servidor proxy/squid e os shapers ( HTB/CBQ) estiverem instalados na mesma maquina, realmente existe muita confusão a esse respeito, pois se vc direciona as requiisições para o squid é óbvio que os controladores de banda não irão funcionar, sobretudo o up-load, pois nesse caso é necessário marcar préviamente os pacotes via iptables e joga-los nas nas classes corretas e so depois direcionaos ao squid para que se tenha algum tipo de controle, mas mesmo assim o up-load não irá funcionar 100%.

c) existe ha possibilidade de controlar banda também através do proprio squid, com as chamadas delay pools, que eu particulamente acho extremamente eficiente, basta um pouco de prática em configuarar as acl(s) dst/src (destino/origem).

d) agora se o proxy está em uma máquina e em outra está o gateway com um controlador de sua preferencia HTB ou CBQ, eu particulamente prefeiro fazer na unha mesmo usando o proprio TC, nao importa se vc usa linux o proprio Mk o controle de banda irá funcionar perfeitamente, basta que para isso os pacotes seja devidamente marcados e direcionados para as classe corretas.

como sugestão é sempre bom dar uma pesquisada nos assuntos referente iptables,iproure, tc,squid/acls

Citação:

Postado originalmente por fenixprovedor

Amigo,
pelo o que vi voce não conhece bem o assunto squid, ou pelo menos nao chegou a ler o documentação oficial do mesmo,
como contribuição eis aqui algumas informações:

a) o squid não faz donwload ou up-load de arquivos, ele apenas faz as requisiçoes em nome das máquinas que estão atraz dele, filtrando tudo o que passa por ele aplicando as políticas de acesso/seguranças e finalmente gravando uma cópia do que é baixado e das solicitaçoes para que futuramente não seja necessario baixar o mesmo aquivo da net novamente e pra que se possa fazer os relatorios de acessos estatisticas os quais podem ser interpetados por outra aplicação como por exemplo o SARG ou similar.

b) Quanto ao controle de banda. Se o servidor proxy/squid e os shapers ( HTB/CBQ) estiverem instalados na mesma maquina, realmente existe muita confusão a esse respeito, pois se vc direciona as requiisições para o squid é óbvio que os controladores de banda não irão funcionar, sobretudo o up-load, pois nesse caso é necessário marcar préviamente os pacotes via iptables e joga-los nas nas classes corretas e so depois direcionaos ao squid para que se tenha algum tipo de controle, mas mesmo assim o up-load não irá funcionar 100%.

c) existe ha possibilidade de controlar banda também através do proprio squid, com as chamadas delay pools, que eu particulamente acho extremamente eficiente, basta um pouco de prática em configuarar as acl(s) dst/src (destino/origem).

d) agora se o proxy está em uma máquina e em outra está o gateway com um controlador de sua preferencia HTB ou CBQ, eu particulamente prefeiro fazer na unha mesmo usando o proprio TC, nao importa se vc usa linux o proprio Mk o controle de banda irá funcionar perfeitamente, basta que para isso os pacotes seja devidamente marcados e direcionados para as classe corretas.

como sugestão é sempre bom dar uma pesquisada nos assuntos referente iptables,iproure, tc,squid/acls

Aqui foi falado tudo. O Squid apenas faz uma cópia, ele não baixa nada diferente do que foi feito na estação. Você deve verificar se tem algo fazendo os downloads, tipo o Thunder mesmo. Isso aconteceu comigo aqui quando usava VideoCache. Só para constar uso Squis 2.6 e 2.7 a 4 anos no provedor com Htb e cache full, tenho rendimentos abusurdo de link aqui.