Aumentando a velocidade de acesso ao cache do squid

**Portela** · 26-01-2006, 00:19

Mas será que existe alguma maneira de fazer com que as informações que estão no cache não sejam barradas pelo controle de banda do cbq?

Ou mesmo que continuem sendo barradas mas uma velocidade bem maior? Mesmo que para isso seja necessário colocar o squid em outra máquina.

Tentei colocar uma regra controlando a porta 3128 com uma velocidade bem maior mas mesmo assim não auterou nada.

Primeiro teite colocar dois arquivos para o ip 192.168.0.2 (cbq-0003.cliente128_in) , controlando com 128kbps de down e o arquivo (cbq-0003.cliente128_out) controlando o up (como todos sabem o up não funciona no cbq, a não ser que seja feita marcação de pacotes e isso eu não sei ainda).

E depois coloquei dois arquivo controlando a porta 3128 e 80 com uma veloicadade de 2mbps

(cbq-0002.controleporta3128e80_in)

(cbq-0002.controleporta3128e80_out)

Dessa forma achei que estaria controlando a banda do cliente em 128kbps, mas quando o mesmo tentar fazer um download de um arquivo que já esteja na memoria do cache (o msn que um outro cliente fez o download 1 hora antes) esse arquivo passaria para ele com uma veloidade de 2mbps, mas mesmo assim não teve diferença alguma.

Alguém tem alguma dica?
Portela

Lion_Black · 26-01-2006, 09:03

Quer dizer que eu nao posso ter o cache do tamanho que eu quiser?
Eu queria ir armazenando ... ate nao poder mais ... tem como eu escluir do cache apenas arquivos baseados numa determinada data?

valeu!!!

**nataniel** · 26-01-2006, 09:15

Postado originalmente por Portela

Não estou notando nenhuma aceleração na abertuda de páginas e nem mesmo nos donwloads de arquivos que já foram baixados por outros clientes e estão no cache. O squid estar configurado para guarda arquivos de até 100MB no cache físico que tem 10000MB. Também coloquei o número de diretórios e subdiretórios para 10000 64 64, o tamanho do cache na guardado na RAM é 300MB.

Será que o controle de download do CBQ estar controlando também a velocidade de acesso ao cache do squid?

Portela,

Vamos por partes:

1) Armazenar arquivos de 100MB em cache é pura insanidade... O máximo aceitável para um cache de armazenamento de páginas é de 256 Kb! É muito raro uma página que tenha uma foto que seja maior que 256 Kb... Lembre-se disso.

2) O cache na RAM deve ser entre 8Mb e 16Mb, nunca aumente isso senão seu espaço de SWAP irá enxer e sua máquina ficará lenta, não conseguindo resolver todas as requisições de cache.

3) Diminua a área de cache para dois diretórios de 16 ramos + 256 ramos e cada um com 1 Gb de informação (e não mais 10Gb).

4) Se o CBQ está instalado na mesma máquina que o SQUID, sim ele irá bloquear o tráfego de saida do squid. Se o CBQ está instalado no provedor e o SQUID está em um servidor bridge no meio do caminho então o Squid não terá bloqueio.

Lembre-se que o cache não foi feito para acelerar a abertura de páginas e sim para armazená-las e economizar banda, nada alem disso. O seu cliente nem deve saber que seu cache existe.

Leia o manual do Squid, aprenda mais sobre ele. A Visolve têm um manual excelente.

**nataniel** · 26-01-2006, 09:18

Postado originalmente por Lion_Black

Quer dizer que eu nao posso ter o cache do tamanho que eu quiser?
Eu queria ir armazenando ... ate nao poder mais ... tem como eu escluir do cache apenas arquivos baseados numa determinada data?

valeu!!!

Lion,

Isso é o que a TAG:

cache_replacement_policy heap LFUDA
memory_replacement_policy heap LFUDA

Irá fazer. No meu caso eu escolhi que o que for menos usado, ou seja, teve menos acessos, seja excluido antes dos outros. No próprio squid.conf.orig (ou no manual do squid.conf) consta isso:

# TAG: cache_replacement_policy
# The cache replacement policy parameter determines which
# objects are evicted (replaced) when disk space is needed.
#
# lru : Squid's original list based LRU policy
# heap GDSF : Greedy-Dual Size Frequency
# heap LFUDA: Least Frequently Used with Dynamic Aging
# heap LRU : LRU policy implemented using a heap
#
# Applies to any cache_dir lines listed below this.
#
# The LRU policies keeps recently referenced objects.
#
# The heap GDSF policy optimizes object hit rate by keeping smaller
# popular objects in cache so it has a better chance of getting a
# hit. It achieves a lower byte hit rate than LFUDA though since
# it evicts larger (possibly popular) objects.
#
# The heap LFUDA policy keeps popular objects in cache regardless of
# their size and thus optimizes byte hit rate at the expense of
# hit rate since one large, popular object will prevent many
# smaller, slightly less popular objects from being cached.
#
# Both policies utilize a dynamic aging mechanism that prevents
# cache pollution that can otherwise occur with frequency-based
# replacement policies.
#
# NOTE: if using the LFUDA replacement policy you should increase
# the value of maximum_object_size above its default of 4096 KB to
# to maximize the potential byte hit rate improvement of LFUDA.
#
# For more information about the GDSF and LFUDA cache replacement
# policies see http://www.hpl.hp.com/techreports/1999/HPL-1999-69.html
# and http://fog.hpl.external.hp.com/techr...PL-98-173.html.

Lion_Black · 26-01-2006, 09:29

Se eu adicionar as linhas ...

cache_replacement_policy heap LFUDA
memory_replacement_policy heap LFUDA

em qualquer lugar do meu squid.conf, os arquivos menos acessados do cache vao sendo excluidos e os mais acessados .. mantidos ?

mas .. os arquivos so serao escluidos na hora que o cache encher ... nao é ?

Lion_Black · 26-01-2006, 09:32

Eu quero fazer é o seguinte ...

Remover os arquivos que nao são usados a mais de um mes por exemplo

**nataniel** · 26-01-2006, 10:16

Postado originalmente por Lion_Black

Se eu adicionar as linhas ...

cache_replacement_policy heap LFUDA
memory_replacement_policy heap LFUDA

em qualquer lugar do meu squid.conf, os arquivos menos acessados do cache vao sendo excluidos e os mais acessados .. mantidos ?

mas .. os arquivos so serao escluidos na hora que o cache encher ... nao é ?

Lion,

Isso a regra só será válida com o cache lotado.

Lion_Black · 26-01-2006, 10:42

Alguem conhece alguma ferramenta de para manipulação do cache do squid . .tanto faz ser grafica ou em linha de comando

Valeu

**Portela** · 26-01-2006, 11:38

nataniel,

então se eu tiver o seguinte esquema:

Modem
Roteador
Swit
Servido 01 com controle de banda CBQ
Swit
Servidor 02 com squid transparente
AP transparente

Dessa forma tudo que será armazenado no Servidor 02, rodando o squid transparente, vai passar para os clientes em alta velocidade?

Quando você diz que é para colocar um servidor bridge com squid no caso seria Proxy transparente?

Portela

**nataniel** · 26-01-2006, 12:51

Postado originalmente por Portela

nataniel,

então se eu tiver o seguinte esquema:

Modem
Roteador
Swit
Servido 01 com controle de banda CBQ
Swit
Servidor 02 com squid transparente
AP transparente

Dessa forma tudo que será armazenado no Servidor 02, rodando o squid transparente, vai passar para os clientes em alta velocidade?

Quando você diz que é para colocar um servidor bridge com squid no caso seria Proxy transparente?

Portela

Portela,

Apenas irá funcionar se o cache for transparente e a comunicação entre cliente (ligado ao AP em modo bridge - transparente) e o servidor 01 for transparente, ou seja, o servidor 2 têm que estar em modo bridge.

Procure pelo Linux Bridge Howto.

**_AGM_** · 27-01-2006, 12:43

Mas se os clientes estiverem usando o servidor proxy naquela máquina em modo bridge, eles naum chegarão no servidor com controle de banda com o IP do servidor de proxy?

Como faço prá configurar um servidor Linux em modo Bridge??? As regras do iptables e do squid são as mesmas para o proxy transparente???

**nod3vic3** · 03-02-2006, 11:52

Respondendo a sua primeira pergunta. Sim, as conexões dos clientes que são redirecionadas para a porta do Squid no bridge vão chegar com o ip do proxy(bridge) no controle de banda. Fiz os testes aqui.

Pra configurar um servidor linux em modo brige você pode seguir os passos encontrados no Guia Foca Linux http://focalinux.cipsga.org.br/guia/...ch-cfgrede.htm.

Para redirecionar as conexões do bridge tem que usar o ebtables segundo o que encontrei nesse link aquihttp://freshmeat.net/articles/view/1433/.

No Squid as regras parecem ser as mesmas.

Estamos discutindo isso também em outro tópico... gostaria que dessem uma olhada para ver o que já foi feito https://under-linux.org/component/op.../topic,41110.0

Aumentando a velocidade de acesso ao cache do squid

Ferramentas de Tópicos