Ainda compensa usar cache em provedor?

Essa é a pergunta que estou fazendo a mim mesmo a dias...

O que mais pesa na decisão é a economia do link;

Hoje sabemos que os browsers tem uma espécie de cache e armazena alguma coisa na própria máquina cliente para ser usado posteriormente;

Em wireless, que existe uma alta perda de pacotes, soma-se a vantagem de a conexão ser estabelecida com o cache e não diretamente com o site, evitando a alta perda de pacotes que poderiam dropar diretamente no link;

Páginas desatualizadas, problemas de fotos que não aparecem após serem postadas, problemas com aplicacoes que utilizam a porta 80 mas não http são outros fatores que pesam negativamente;

Bem espero que o assunto seja discutido, afinal hoje penso que talvez seja melhor fazer uma inversão na questão:

Cacheia tudo e deixa de fora os mais problemáticos;

para

Cacheia o que mais consome e deixa de fora o resto;

Cadê as opiniões?

Sim, JHONNE, eu acredito que compensa.

Um problema que vejo:

Em algumas localidades consegue-se link muito barato (Unotel, Global Crossing, etc) e neste caso, o investimento em equipamentos adequados mais a mão de obra especializada para configuração e manutenção dos web-proxies não compensa; lembrando que apenas 1 bom servidor não resolve, mas sim vários bons servidores e uma estrutura de proxies hierárquicos.

Como essa situação não é tão comum, compensa na grande maioria dos casos. Imagine no norte do país, onde 1 Mbit, via satélite, custa a pequena bagatela de R$ 13.0000,00 a R$ 22.000,00. O que não consegue dimensionando uma boa infra de proxies?

No mais consegue ainda manter uma boa qualidade dos downloads e acessos web à sua rede local, pois a latência é apenas da mesma (rede interna).

Se você der uma olha no meu servidor verá que o cache as vezes rende quase 100% de banda em alguns momentos. Cache é altamnte recomendável. Agora só não pense em usar Mikortik para fazer cache né!

Uma coisa que você disse: Wireless perde pacote. Isso depende. Uma rede bem montada não perde quase nada. Rádio é bom, desde que seja bem implantado. Conheço empresa grande e rica que toma um baile de sua rede wireless, e vive queimando o filme.

Eu entendo que a apatir de um determindado nó, quando se tem dificuldades de chegar o link, deve ter um cache.

Citação:

---

Postado originalmente por Josue Guedes

Se você der uma olha no meu servidor verá que o cache as vezes rende quase 100% de banda em alguns momentos. Cache é altamnte recomendável. Agora só não pense em usar Mikortik para fazer cache né!

Uma coisa que você disse: Wireless perde pacote. Isso depende. Uma rede bem montada não perde quase nada. Rádio é bom, desde que seja bem implantado. Conheço empresa grande e rica que toma um baile de sua rede wireless, e vive queimando o filme.

Eu entendo que a apatir de um determindado nó, quando se tem dificuldades de chegar o link, deve ter um cache.

---

Concordo com Josue e Sergio, aqui utilizo cache (Debian squid 2.6) melhora muito a rede, já hierarquia de proxy utilizei o mikrotik como proxy primario nao gostei. Nao testei ainda com debian.

No entando uma questao do criador do topico é:

"Bem espero que o assunto seja discutido, afinal hoje penso que talvez seja melhor fazer uma inversão na questão:

Cacheia tudo e deixa de fora os mais problemáticos;

para

Cacheia o que mais consome e deixa de fora o resto; "

Neste caso, utilizo a primeira opção, pois mesmo arquivos de tamanho pequenos sao tornam-se interessante economizar, qualquer pacote economizado pode dar lugar a outro pacote que realmente necessite sair para internet buscar. Resumindo qualquer economia é bem vinda!

Aqui ainda nao fiz o cache dos videos do youtube mas logo vou implementar acredito que a economia será ainda maior.

Abs!

Cacheia tudo e deixa de fora os mais problemáticos;

Não consigo imaginar uma rede sem "cache". A não ser que se tenha um link sobrando muito e com dinheiro a vontade para gastar. Ai talves não teria cache, e me pouparia do trabalho de administrar o cache.

O não usar cache vai na contra mão do que todos estão investindo. Hds mais rapidos e estaveis, cacheamento de proxy, uso de ferramentas paralelas para auxiliar em um melhor rendimento ...

Linux: Thunder Cache - Cache inteligente [Artigo]

Bem aqui, uso o servidor proxy squid em um debian 64 com 160gb de hd, dos quais apenas 30GB estão para o cache;

Os problemas mais comuns que enfreto a cerca do cache é:

Fotos (tipo perfil do orkut) que não são atualizadas quando acabam de serem enviadas;

Programas que utilizam conexão java na porta 80, e não é protocolo http, precisam ser configurados individualmente, como é o caso do conectividade social;

Páginas que deveriam ser dinâmicas, como a de uma faculdade virtual que com cache mostra sempre as informacoes do mesmo alunos, independente de qual esteja logado;


Para alguns desses problemas, recomendo o usuários pressionar CTRL + F5, mas para outros tem que ser configurado separadamento no servidor;

O fato é que essas situações encomodam, como vcs lhes dão com isso?

Ai neste seu caso e configuracao ou de servidor ou propria falta de banda acontece isso mas depende da infra que hj esta ...

Com relacao a atualizacao da navegacao você pode utilizar a directiva no seu squid.conf:

ie_refresh on

Aqui vai meu squid.conf se ajudar:
http_port 5128 transparent

hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY

cache_mem 512 MB
cache_swap_low 90
cache_swap_high 95

maximum_object_size 20000 KB
minimum_object_size 0 KB

maximum_object_size_in_memory 2048 KB

ipcache_size 1024
ipcache_low 90
ipcache_high 95

fqdncache_size 1024
cache_replacement_policy lru
memory_replacement_policy lru

###Arquivos antigos de cache###
#cache_dir ufs /var/spool/squid/cache1 20000 16 256
#cache_dir ufs /var/spool/squid/cache2 20000 16 256
#cache_dir ufs /var/spool/squid/cache3 20000 16 256
#cache_dir ufs /var/spool/squid/cache4 20000 16 256
#cache_dir ufs /var/spool/squid/cache5 20000 16 256
#cache_dir ufs /var/spool/squid/cache6 20000 16 256

#Arquivos de cache partição separada###
#cache_dir ufs /prx/cache1 20000 16 256
#cache_dir ufs /prx/cache2 20000 16 256
#cache_dir ufs /prx/cache3 20000 16 256
#cache_dir ufs /prx/cache4 20000 16 256
#cache_dir ufs /prx/cache5 20000 16 256
#cache_dir ufs /prx/cache6 20000 16 256

cache_dir diskd /prx/prx10 20000 64 64 Q1=64 Q2=72
cache_dir diskd /prx/prx20 20000 64 64 Q1=64 Q2=72
cache_dir diskd /prx/prx30 20000 64 64 Q1=64 Q2=72
cache_dir diskd /prx/prx40 20000 64 64 Q1=64 Q2=72
cache_dir diskd /prx/prx50 20000 64 64 Q1=64 Q2=72
cache_dir diskd /prx/prx60 20000 64 64 Q1=64 Q2=72

cache_effective_user proxy

#Pid_filename /var/run/squid/squid.pid
cache_access_log /var/log/squid/access.log
cache_log /var/log/squid/cache.log
cache_store_log none

emulate_httpd_log on
log_ip_on_direct on
log_mime_hdrs off
debug_options ALL,1
log_fqdn off
client_netmask 255.255.255.255
ftp_user [email protected]
ftp_list_width 32
ftp_passive on
ftp_sanitycheck on

request_header_max_size 10 KB
request_body_max_size 0 KB

refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320

quick_abort_min 16 KB
quick_abort_max 16 KB
quick_abort_pct 95

negative_ttl 5 minutes
positive_dns_ttl 6 hours
negative_dns_ttl 5 minutes
range_offset_limit 0 KB

connect_timeout 2 minutes
read_timeout 15 minutes
request_timeout 5 minutes
client_lifetime 1 day

half_closed_clients on
pconn_timeout 120 seconds

#acl br10 src "/home/hp/lib/allow.conf"
#acl spyware url_regex "/home/hp/lib/spyware.conf"

acl hotmail_domains dstdomain .live.com .msn.com .passaport.com
.hotmail.com .passport.net

acl redewifi src 172.25.0.0/255.255.0.0
acl redewifi2 src 10.1.0.0/255.255.0.0
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
header_access Accept-Encoding deny hotmail_domains
acl purge method PURGE
acl CONNECT method CONNECT

#acl nocache dst 200.192.240.0/255.255.255.192
#no_cache deny nocache

##Criando acl pela comunicacao snmp squid
acl snmppublic snmp_community public

#definindo porta snmp e liberando acesso para localhost
snmp_port 3401

#snmp_access allow snmppublic !redewifi
snmp_access allow snmppublic localhost
snmp_access deny all

#snmp_incoming_address 0.0.0.0
#snmp_outgoing_address 0.0.0.0

http_access allow manager localhost
http_access allow localhost
http_access allow redewifi
http_access allow redewifi2
#http_access allow MSN
#http_access allow MSN1
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
#http_access deny spyware
#http_access allow br10
#http_access deny all
http_access allow all

visible_hostname prx-core.dominio.com.br
#httpd_accel_host virtual
#httpd_accel_port 80
#httpd_accel_with_proxy on
#httpd_accel_uses_host_header on

logfile_rotate 10
forwarded_for off
ie_refresh on

# habilita permissão pra rede definida e bloqueia acessos vindos de outros
ender
# Marcação feita pelo Zero Penalty HIT
zph_tos_local 0x30
zph_tos_peer 0
zph_tos_parent off

A solução é ir administrando até que se chegue em uma config que nao dê problema para ninguem, eu por exemplo esses dias estava passando por problema de criacao de contas no hotmail.

Abs!
:party:

Tem que analisar uma serie de fatores, como inicialmente o Sergio colocou, e dentre estes o principal é o valor do link.

Em minha rede o cache estava economizando 20% de banda em media ( havia horarios de 100%) o que considerei pouco perto dos custos de energia+maquina+manutenção, sendo assim consegui um bom desconto no link e retirei eles.

Outro aspecto importante que devemos lembrar, é que com a novas diretivas legais que estão vindo ai, os proxy terão que ser transparente, ou seja, tera que ser utilizado o tproxy ou outra ferramenta que indique o ip real do cliente. Meus proxys trabalhavam desta forma. Mas esta ferramenta ainda é uma remenda no kernel e no squid houve algumas evoluções na versão 3, mas ainda há inumeras incompatibilidades.

Nos testes que fiz a melhor performance se deu com uma hierarquização dos proxys atraves de WCCP, o que tambem consome um exagero de processamento do roteador.

Não digo que não implantarei novamente, analiso frequentemente custo beneficio, e acredito que quando tiver uns 50 MB de link vale a pena retomar a avaliação.

Os preços de link vem caindo e estou mais propenso a investir em soluções como o ipoque.

Uso cache aqui. Raramente (mas ocorre) há o problema de atualização de fotos no orkut. Quanto à atualização de site dinâmicos dá uma olhada do teu squid.conf. Aqui eu pus uma regra para armazenar as imagens por bastante tempo. A folga no link e latência é excelente. Sendo eu quem administro a rede, mesmo com link barato numa grande estrutura usaria cache.

Numa estrutura grande, + de 150 cliente cadastrados, usaria um pc atual com 2GB de mem hd sata, aqui uso um athlon X2 4200+, 1GB menos de 20 clientes, num outro ponto uso, acretide, um via c7 de 1,5 com 1GB e carga é baixíssima, menos de 20 clientes tb.

Citação:

---

Postado originalmente por JHONNE

Bem aqui, uso o servidor proxy squid em um debian 64 com 160gb de hd, dos quais apenas 30GB estão para o cache;

Os problemas mais comuns que enfreto a cerca do cache é:

Fotos (tipo perfil do orkut) que não são atualizadas quando acabam de serem enviadas;

Programas que utilizam conexão java na porta 80, e não é protocolo http, precisam ser configurados individualmente, como é o caso do conectividade social;

Páginas que deveriam ser dinâmicas, como a de uma faculdade virtual que com cache mostra sempre as informacoes do mesmo alunos, independente de qual esteja logado;


Para alguns desses problemas, recomendo o usuários pressionar CTRL + F5, mas para outros tem que ser configurado separadamento no servidor;

O fato é que essas situações encomodam, como vcs lhes dão com isso?

---

Nunca tive problemas com isso. Deve ser as configurações do squid.conf. Aqui eu uso CentOS Squid 2.7, 4 gb RAM e HD SATAII de 500 Gb, sendo 300 Gb para cache. Cache Full com Iptables.
A um tempo tive um problema de refresh, mais eu estava usando umas regras de refresh que estavam mantendo o cache antigo, acertei as regras e exclui o cache, ficou tudo beleza.

Citação:

---

Postado originalmente por Josue Guedes

Nunca tive problemas com isso. Deve ser as configurações do squid.conf. Aqui eu uso CentOS Squid 2.7, 4 gb RAM e HD SATAII de 500 Gb, sendo 300 Gb para cache. Cache Full com Iptables.
A um tempo tive um problema de refresh, mais eu estava usando umas regras de refresh que estavam mantendo o cache antigo, acertei as regras e exclui o cache, ficou tudo beleza.

---

posta as suas config de proxy aí

eu debian 64 no pentium dual-core 2.4 com 4gb de ram e hd 160 dos quais apenas 80 está para o cache

Eu particularmente estou quase desistindo do cache, pois em média eu só economizo 25-30MB (ao dia) de donwloads, contra 900MB - 1.2GB de TCP_MISS.

Citação:

---

Postado originalmente por osmano807

Eu particularmente estou quase desistindo do cache, pois em média eu só economizo 25-30MB (ao dia) de donwloads, contra 900MB - 1.2GB de TCP_MISS.

---

Nessas horas que configurações fazem alguma diferença... Mas realmente o perfil de quem utiliza web hoje mudou bastante. Muita coisa acaba não ficando em cache, devido a sites dinâmicos ou a construção dos próprios objetos que tem um a flag 'expire' com validade curta.

veja a imagem em anexo... uma rede de +- 300 clientes e média de 180 conectados ao longo do dia.

Citação:

---

Postado originalmente por sergio

Nessas horas que configurações fazem alguma diferença... Mas realmente o perfil de quem utiliza web hoje mudou bastante. Muita coisa acaba não ficando em cache, devido a sites dinâmicos ou a construção dos próprios objetos que tem um a flag 'expire' com validade curta.

veja a imagem em anexo... uma rede de +- 300 clientes e média de 180 conectados ao longo do dia.

---

Sergio, a distro usada nesse rede foi o ipcop, ele é bom para manter um proxy ? vc o utiliza com quantos MB de memoria ?

Citação:

---

Postado originalmente por DarkZeus

Sergio, a distro usada nesse rede foi o ipcop, ele é bom para manter um proxy ? vc o utiliza com quantos MB de memoria ?

---

Não, é um CentOS 64 bits. Hardware: core 2 duo, 4 GB RAM e 2 HDDs Barracuda SATA2 160 GB cada.

Uma coisa que pude notar é que o mozila firefox em algumas vezes recebe a pagina atualizada e o internet explorer não, alguém sabe porque?

onde estou errando?

http_port 3128 transparent
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
access_log /var/log/squid/access.log squid
cache_log /var/log/squid/cache.log
cache_store_log none
hosts_file /etc/hosts
half_closed_clients off
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
cache_mem 2048 MB
maximum_object_size 100000 KB
minimum_object_size 4 KB
maximum_object_size_in_memory 512 KB
cache_dir diskd /var/spool/squid 30720 64 128
refresh_pattern -i ^http://.*\.(css|htm|html|ico|js|jsp|xml)$ 1440 80% 999999
refresh_pattern -i ^http://.*\.(bmp|gif|jpeg|jpg|png)$ 1440 80% 999999 ignore-reload
refresh_pattern -i ^http://.*\(ace|adt|arj|asf|avi|bin|bz2|bzip|cab|dat|dll|doc|dot|exe|fla|flv|gz|iso|lha|log|lzh|mdb|mid|mov|mp3|mpeg|mpg|msi|mso|ogg|pps|ppt|rar|rm|rtf|shs|src|sys|swf|tgz|tif|ttf|wav|wma|wri|wmv|vpu|vpaa|vqf|vob|zip)$ 43200 100% 999999 ignore-reload
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl purge method PURGE
acl CONNECT method CONNECT
acl internal_net1 src "/etc/squid/rede1.conf"
acl internal_net2 src "/etc/squid/rede2.conf"
acl internal_net3 src "/etc/squid/rede3.conf"
tcp_outgoing_address 10.200.200.2 internal_net1
tcp_outgoing_address 10.200.200.3 internal_net2
tcp_outgoing_address 10.200.200.4 internal_net3
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow internal_net1
http_access allow internal_net2
http_access deny all
http_reply_access allow all
icp_access allow all
cache_effective_group proxy
coredump_dir /var/spool/squid

amigos, eu ja estou proxy transparente....
uso o squid 2.6 stable no debiam4 em paralelo com mikrotik 2.9.x

esta fazendo cache http normal e muito bem, porem eu tb to querendo fazer cache do MSN, aqueles arquivos de cache do proprio msn, onde fica os contatos, as fotos e as configuraçoes deles.

alguem sabe se é possivel fazer de forma transparente e como devo configurar?