+ Responder ao Tópico



  1. #1

    Padrão Ainda compensa usar cache em provedor?

    Essa é a pergunta que estou fazendo a mim mesmo a dias...

    O que mais pesa na decisão é a economia do link;

    Hoje sabemos que os browsers tem uma espécie de cache e armazena alguma coisa na própria máquina cliente para ser usado posteriormente;

    Em wireless, que existe uma alta perda de pacotes, soma-se a vantagem de a conexão ser estabelecida com o cache e não diretamente com o site, evitando a alta perda de pacotes que poderiam dropar diretamente no link;

    Páginas desatualizadas, problemas de fotos que não aparecem após serem postadas, problemas com aplicacoes que utilizam a porta 80 mas não http são outros fatores que pesam negativamente;

    Bem espero que o assunto seja discutido, afinal hoje penso que talvez seja melhor fazer uma inversão na questão:

    Cacheia tudo e deixa de fora os mais problemáticos;

    para

    Cacheia o que mais consome e deixa de fora o resto;

  2. #2

  3. #3
    xargs -n 1 kill -9 Avatar de sergio
    Ingresso
    Jan 2004
    Localização
    Capital do Triângulo
    Posts
    5.201
    Posts de Blog
    9

    Padrão

    Sim, JHONNE, eu acredito que compensa.

    Um problema que vejo:

    Em algumas localidades consegue-se link muito barato (Unotel, Global Crossing, etc) e neste caso, o investimento em equipamentos adequados mais a mão de obra especializada para configuração e manutenção dos web-proxies não compensa; lembrando que apenas 1 bom servidor não resolve, mas sim vários bons servidores e uma estrutura de proxies hierárquicos.

    Como essa situação não é tão comum, compensa na grande maioria dos casos. Imagine no norte do país, onde 1 Mbit, via satélite, custa a pequena bagatela de R$ 13.0000,00 a R$ 22.000,00. O que não consegue dimensionando uma boa infra de proxies?

    No mais consegue ainda manter uma boa qualidade dos downloads e acessos web à sua rede local, pois a latência é apenas da mesma (rede interna).

  4. #4

    Padrão

    Se você der uma olha no meu servidor verá que o cache as vezes rende quase 100% de banda em alguns momentos. Cache é altamnte recomendável. Agora só não pense em usar Mikortik para fazer cache né!

    Uma coisa que você disse: Wireless perde pacote. Isso depende. Uma rede bem montada não perde quase nada. Rádio é bom, desde que seja bem implantado. Conheço empresa grande e rica que toma um baile de sua rede wireless, e vive queimando o filme.

    Eu entendo que a apatir de um determindado nó, quando se tem dificuldades de chegar o link, deve ter um cache.

  5. #5

    Smile

    Citação Postado originalmente por Josue Guedes Ver Post
    Se você der uma olha no meu servidor verá que o cache as vezes rende quase 100% de banda em alguns momentos. Cache é altamnte recomendável. Agora só não pense em usar Mikortik para fazer cache né!

    Uma coisa que você disse: Wireless perde pacote. Isso depende. Uma rede bem montada não perde quase nada. Rádio é bom, desde que seja bem implantado. Conheço empresa grande e rica que toma um baile de sua rede wireless, e vive queimando o filme.

    Eu entendo que a apatir de um determindado nó, quando se tem dificuldades de chegar o link, deve ter um cache.
    Concordo com Josue e Sergio, aqui utilizo cache (Debian squid 2.6) melhora muito a rede, já hierarquia de proxy utilizei o mikrotik como proxy primario nao gostei. Nao testei ainda com debian.

    No entando uma questao do criador do topico é:

    "Bem espero que o assunto seja discutido, afinal hoje penso que talvez seja melhor fazer uma inversão na questão:

    Cacheia tudo e deixa de fora os mais problemáticos;

    para

    Cacheia o que mais consome e deixa de fora o resto; "

    Neste caso, utilizo a primeira opção, pois mesmo arquivos de tamanho pequenos sao tornam-se interessante economizar, qualquer pacote economizado pode dar lugar a outro pacote que realmente necessite sair para internet buscar. Resumindo qualquer economia é bem vinda!

    Aqui ainda nao fiz o cache dos videos do youtube mas logo vou implementar acredito que a economia será ainda maior.

    Abs!
    Última edição por darklinux3; 05-04-2009 às 13:46.

  6. #6
    André Andrade*MikrotikRio Avatar de interhome
    Ingresso
    Oct 2008
    Localização
    Brasil.
    Posts
    1.116
    Posts de Blog
    15

    Padrão

    Cacheia tudo e deixa de fora os mais problemáticos;

    Não consigo imaginar uma rede sem "cache". A não ser que se tenha um link sobrando muito e com dinheiro a vontade para gastar. Ai talves não teria cache, e me pouparia do trabalho de administrar o cache.

    O não usar cache vai na contra mão do que todos estão investindo. Hds mais rapidos e estaveis, cacheamento de proxy, uso de ferramentas paralelas para auxiliar em um melhor rendimento ...

    Linux: Thunder Cache - Cache inteligente [Artigo]

  7. #7

    Padrão

    Bem aqui, uso o servidor proxy squid em um debian 64 com 160gb de hd, dos quais apenas 30GB estão para o cache;

    Os problemas mais comuns que enfreto a cerca do cache é:

    Fotos (tipo perfil do orkut) que não são atualizadas quando acabam de serem enviadas;

    Programas que utilizam conexão java na porta 80, e não é protocolo http, precisam ser configurados individualmente, como é o caso do conectividade social;

    Páginas que deveriam ser dinâmicas, como a de uma faculdade virtual que com cache mostra sempre as informacoes do mesmo alunos, independente de qual esteja logado;


    Para alguns desses problemas, recomendo o usuários pressionar CTRL + F5, mas para outros tem que ser configurado separadamento no servidor;

    O fato é que essas situações encomodam, como vcs lhes dão com isso?

  8. #8

    Padrão

    Ai neste seu caso e configuracao ou de servidor ou propria falta de banda acontece isso mas depende da infra que hj esta ...

  9. #9

    Padrão

    Com relacao a atualizacao da navegacao você pode utilizar a directiva no seu squid.conf:

    ie_refresh on

    Aqui vai meu squid.conf se ajudar:
    http_port 5128 transparent

    hierarchy_stoplist cgi-bin ?
    acl QUERY urlpath_regex cgi-bin \?
    no_cache deny QUERY

    cache_mem 512 MB
    cache_swap_low 90
    cache_swap_high 95

    maximum_object_size 20000 KB
    minimum_object_size 0 KB

    maximum_object_size_in_memory 2048 KB

    ipcache_size 1024
    ipcache_low 90
    ipcache_high 95

    fqdncache_size 1024
    cache_replacement_policy lru
    memory_replacement_policy lru

    ###Arquivos antigos de cache###
    #cache_dir ufs /var/spool/squid/cache1 20000 16 256
    #cache_dir ufs /var/spool/squid/cache2 20000 16 256
    #cache_dir ufs /var/spool/squid/cache3 20000 16 256
    #cache_dir ufs /var/spool/squid/cache4 20000 16 256
    #cache_dir ufs /var/spool/squid/cache5 20000 16 256
    #cache_dir ufs /var/spool/squid/cache6 20000 16 256

    #Arquivos de cache partição separada###
    #cache_dir ufs /prx/cache1 20000 16 256
    #cache_dir ufs /prx/cache2 20000 16 256
    #cache_dir ufs /prx/cache3 20000 16 256
    #cache_dir ufs /prx/cache4 20000 16 256
    #cache_dir ufs /prx/cache5 20000 16 256
    #cache_dir ufs /prx/cache6 20000 16 256

    cache_dir diskd /prx/prx10 20000 64 64 Q1=64 Q2=72
    cache_dir diskd /prx/prx20 20000 64 64 Q1=64 Q2=72
    cache_dir diskd /prx/prx30 20000 64 64 Q1=64 Q2=72
    cache_dir diskd /prx/prx40 20000 64 64 Q1=64 Q2=72
    cache_dir diskd /prx/prx50 20000 64 64 Q1=64 Q2=72
    cache_dir diskd /prx/prx60 20000 64 64 Q1=64 Q2=72

    cache_effective_user proxy

    #Pid_filename /var/run/squid/squid.pid
    cache_access_log /var/log/squid/access.log
    cache_log /var/log/squid/cache.log
    cache_store_log none

    emulate_httpd_log on
    log_ip_on_direct on
    log_mime_hdrs off
    debug_options ALL,1
    log_fqdn off
    client_netmask 255.255.255.255
    ftp_user [email protected]
    ftp_list_width 32
    ftp_passive on
    ftp_sanitycheck on

    request_header_max_size 10 KB
    request_body_max_size 0 KB

    refresh_pattern ^ftp: 1440 20% 10080
    refresh_pattern ^gopher: 1440 0% 1440
    refresh_pattern . 0 20% 4320

    quick_abort_min 16 KB
    quick_abort_max 16 KB
    quick_abort_pct 95

    negative_ttl 5 minutes
    positive_dns_ttl 6 hours
    negative_dns_ttl 5 minutes
    range_offset_limit 0 KB

    connect_timeout 2 minutes
    read_timeout 15 minutes
    request_timeout 5 minutes
    client_lifetime 1 day

    half_closed_clients on
    pconn_timeout 120 seconds

    #acl br10 src "/home/hp/lib/allow.conf"
    #acl spyware url_regex "/home/hp/lib/spyware.conf"

    acl hotmail_domains dstdomain .live.com .msn.com .passaport.com
    .hotmail.com .passport.net

    acl redewifi src 172.25.0.0/255.255.0.0
    acl redewifi2 src 10.1.0.0/255.255.0.0
    acl all src 0.0.0.0/0.0.0.0
    acl manager proto cache_object
    acl localhost src 127.0.0.1/255.255.255.255
    acl SSL_ports port 443 563
    acl Safe_ports port 80 # http
    acl Safe_ports port 21 # ftp
    acl Safe_ports port 443 563 # https, snews
    acl Safe_ports port 70 # gopher
    acl Safe_ports port 210 # wais
    acl Safe_ports port 1025-65535 # unregistered ports
    acl Safe_ports port 280 # http-mgmt
    acl Safe_ports port 488 # gss-http
    acl Safe_ports port 591 # filemaker
    acl Safe_ports port 777 # multiling http
    header_access Accept-Encoding deny hotmail_domains
    acl purge method PURGE
    acl CONNECT method CONNECT

    #acl nocache dst 200.192.240.0/255.255.255.192
    #no_cache deny nocache

    ##Criando acl pela comunicacao snmp squid
    acl snmppublic snmp_community public

    #definindo porta snmp e liberando acesso para localhost
    snmp_port 3401

    #snmp_access allow snmppublic !redewifi
    snmp_access allow snmppublic localhost
    snmp_access deny all

    #snmp_incoming_address 0.0.0.0
    #snmp_outgoing_address 0.0.0.0

    http_access allow manager localhost
    http_access allow localhost
    http_access allow redewifi
    http_access allow redewifi2
    #http_access allow MSN
    #http_access allow MSN1
    http_access deny manager
    http_access deny !Safe_ports
    http_access deny CONNECT !SSL_ports
    #http_access deny spyware
    #http_access allow br10
    #http_access deny all
    http_access allow all

    visible_hostname prx-core.dominio.com.br
    #httpd_accel_host virtual
    #httpd_accel_port 80
    #httpd_accel_with_proxy on
    #httpd_accel_uses_host_header on

    logfile_rotate 10
    forwarded_for off
    ie_refresh on

    # habilita permissão pra rede definida e bloqueia acessos vindos de outros
    ender
    # Marcação feita pelo Zero Penalty HIT
    zph_tos_local 0x30
    zph_tos_peer 0

    zph_tos_parent off

    A solução é ir administrando até que se chegue em uma config que nao dê problema para ninguem, eu por exemplo esses dias estava passando por problema de criacao de contas no hotmail.

    Abs!

    Última edição por darklinux3; 05-04-2009 às 17:11.

  10. #10

    Padrão

    Tem que analisar uma serie de fatores, como inicialmente o Sergio colocou, e dentre estes o principal é o valor do link.

    Em minha rede o cache estava economizando 20% de banda em media ( havia horarios de 100%) o que considerei pouco perto dos custos de energia+maquina+manutenção, sendo assim consegui um bom desconto no link e retirei eles.

    Outro aspecto importante que devemos lembrar, é que com a novas diretivas legais que estão vindo ai, os proxy terão que ser transparente, ou seja, tera que ser utilizado o tproxy ou outra ferramenta que indique o ip real do cliente. Meus proxys trabalhavam desta forma. Mas esta ferramenta ainda é uma remenda no kernel e no squid houve algumas evoluções na versão 3, mas ainda há inumeras incompatibilidades.

    Nos testes que fiz a melhor performance se deu com uma hierarquização dos proxys atraves de WCCP, o que tambem consome um exagero de processamento do roteador.

    Não digo que não implantarei novamente, analiso frequentemente custo beneficio, e acredito que quando tiver uns 50 MB de link vale a pena retomar a avaliação.

    Os preços de link vem caindo e estou mais propenso a investir em soluções como o ipoque.

  11. #11

    Padrão

    Uso cache aqui. Raramente (mas ocorre) há o problema de atualização de fotos no orkut. Quanto à atualização de site dinâmicos dá uma olhada do teu squid.conf. Aqui eu pus uma regra para armazenar as imagens por bastante tempo. A folga no link e latência é excelente. Sendo eu quem administro a rede, mesmo com link barato numa grande estrutura usaria cache.

    Numa estrutura grande, + de 150 cliente cadastrados, usaria um pc atual com 2GB de mem hd sata, aqui uso um athlon X2 4200+, 1GB menos de 20 clientes, num outro ponto uso, acretide, um via c7 de 1,5 com 1GB e carga é baixíssima, menos de 20 clientes tb.

  12. #12

    Padrão

    Citação Postado originalmente por JHONNE Ver Post
    Bem aqui, uso o servidor proxy squid em um debian 64 com 160gb de hd, dos quais apenas 30GB estão para o cache;

    Os problemas mais comuns que enfreto a cerca do cache é:

    Fotos (tipo perfil do orkut) que não são atualizadas quando acabam de serem enviadas;

    Programas que utilizam conexão java na porta 80, e não é protocolo http, precisam ser configurados individualmente, como é o caso do conectividade social;

    Páginas que deveriam ser dinâmicas, como a de uma faculdade virtual que com cache mostra sempre as informacoes do mesmo alunos, independente de qual esteja logado;


    Para alguns desses problemas, recomendo o usuários pressionar CTRL + F5, mas para outros tem que ser configurado separadamento no servidor;

    O fato é que essas situações encomodam, como vcs lhes dão com isso?
    Nunca tive problemas com isso. Deve ser as configurações do squid.conf. Aqui eu uso CentOS Squid 2.7, 4 gb RAM e HD SATAII de 500 Gb, sendo 300 Gb para cache. Cache Full com Iptables.
    A um tempo tive um problema de refresh, mais eu estava usando umas regras de refresh que estavam mantendo o cache antigo, acertei as regras e exclui o cache, ficou tudo beleza.

  13. #13

    Padrão

    Citação Postado originalmente por Josue Guedes Ver Post
    Nunca tive problemas com isso. Deve ser as configurações do squid.conf. Aqui eu uso CentOS Squid 2.7, 4 gb RAM e HD SATAII de 500 Gb, sendo 300 Gb para cache. Cache Full com Iptables.
    A um tempo tive um problema de refresh, mais eu estava usando umas regras de refresh que estavam mantendo o cache antigo, acertei as regras e exclui o cache, ficou tudo beleza.
    posta as suas config de proxy aí

    eu debian 64 no pentium dual-core 2.4 com 4gb de ram e hd 160 dos quais apenas 80 está para o cache

  14. #14
    MODERADOR-CHEFE Avatar de osmano807
    Ingresso
    Aug 2008
    Localização
    Araguari - Minas Gerais
    Posts
    1.980
    Posts de Blog
    5

    Padrão

    Eu particularmente estou quase desistindo do cache, pois em média eu só economizo 25-30MB (ao dia) de donwloads, contra 900MB - 1.2GB de TCP_MISS.

  15. #15
    xargs -n 1 kill -9 Avatar de sergio
    Ingresso
    Jan 2004
    Localização
    Capital do Triângulo
    Posts
    5.201
    Posts de Blog
    9

    Padrão

    Citação Postado originalmente por osmano807 Ver Post
    Eu particularmente estou quase desistindo do cache, pois em média eu só economizo 25-30MB (ao dia) de donwloads, contra 900MB - 1.2GB de TCP_MISS.

    Nessas horas que configurações fazem alguma diferença... Mas realmente o perfil de quem utiliza web hoje mudou bastante. Muita coisa acaba não ficando em cache, devido a sites dinâmicos ou a construção dos próprios objetos que tem um a flag 'expire' com validade curta.

    veja a imagem em anexo... uma rede de +- 300 clientes e média de 180 conectados ao longo do dia.
    Miniaturas de Anexos Miniaturas de Anexos Clique na imagem para uma versão maior

Nome:	         squid.png
Visualizações:	532
Tamanho: 	85,8 KB
ID:      	3941  

  16. #16

    Padrão

    Citação Postado originalmente por sergio Ver Post
    Nessas horas que configurações fazem alguma diferença... Mas realmente o perfil de quem utiliza web hoje mudou bastante. Muita coisa acaba não ficando em cache, devido a sites dinâmicos ou a construção dos próprios objetos que tem um a flag 'expire' com validade curta.

    veja a imagem em anexo... uma rede de +- 300 clientes e média de 180 conectados ao longo do dia.
    Sergio, a distro usada nesse rede foi o ipcop, ele é bom para manter um proxy ? vc o utiliza com quantos MB de memoria ?

  17. #17
    xargs -n 1 kill -9 Avatar de sergio
    Ingresso
    Jan 2004
    Localização
    Capital do Triângulo
    Posts
    5.201
    Posts de Blog
    9

    Padrão

    Citação Postado originalmente por DarkZeus Ver Post
    Sergio, a distro usada nesse rede foi o ipcop, ele é bom para manter um proxy ? vc o utiliza com quantos MB de memoria ?
    Não, é um CentOS 64 bits. Hardware: core 2 duo, 4 GB RAM e 2 HDDs Barracuda SATA2 160 GB cada.

  18. #18

    Padrão

    Uma coisa que pude notar é que o mozila firefox em algumas vezes recebe a pagina atualizada e o internet explorer não, alguém sabe porque?

    onde estou errando?

    http_port 3128 transparent
    hierarchy_stoplist cgi-bin ?
    acl QUERY urlpath_regex cgi-bin \?
    cache deny QUERY
    acl apache rep_header Server ^Apache
    broken_vary_encoding allow apache
    access_log /var/log/squid/access.log squid
    cache_log /var/log/squid/cache.log
    cache_store_log none
    hosts_file /etc/hosts
    half_closed_clients off
    memory_replacement_policy heap GDSF
    cache_replacement_policy heap LFUDA
    cache_mem 2048 MB
    maximum_object_size 100000 KB
    minimum_object_size 4 KB
    maximum_object_size_in_memory 512 KB
    cache_dir diskd /var/spool/squid 30720 64 128
    refresh_pattern -i ^http://.*\.(css|htm|html|ico|js|jsp|xml)$ 1440 80% 999999
    refresh_pattern -i ^http://.*\.(bmp|gif|jpeg|jpg|png)$ 1440 80% 999999 ignore-reload
    refresh_pattern -i ^http://.*\(ace|adt|arj|asf|avi|bin|bz2|bzip|cab|dat|dll|doc|dot|exe|fla|flv|gz|iso|lha|log|lzh|mdb|mid|mov|mp3|mpeg|mpg|msi|mso|ogg|pps|ppt|rar|rm|rtf|shs|src|sys|swf|tgz|tif|ttf|wav|wma|wri|wmv|vpu|vpaa|vqf|vob|zip)$ 43200 100% 999999 ignore-reload
    refresh_pattern ^ftp: 1440 20% 10080
    refresh_pattern ^gopher: 1440 0% 1440
    refresh_pattern . 0 20% 4320
    acl all src 0.0.0.0/0.0.0.0
    acl manager proto cache_object
    acl localhost src 127.0.0.1/255.255.255.255
    acl to_localhost dst 127.0.0.0/8
    acl SSL_ports port 443 # https
    acl SSL_ports port 563 # snews
    acl SSL_ports port 873 # rsync
    acl Safe_ports port 80 # http
    acl Safe_ports port 21 # ftp
    acl Safe_ports port 443 # https
    acl Safe_ports port 70 # gopher
    acl Safe_ports port 210 # wais
    acl Safe_ports port 1025-65535 # unregistered ports
    acl Safe_ports port 280 # http-mgmt
    acl Safe_ports port 488 # gss-http
    acl Safe_ports port 591 # filemaker
    acl Safe_ports port 777 # multiling http
    acl Safe_ports port 631 # cups
    acl Safe_ports port 873 # rsync
    acl Safe_ports port 901 # SWAT
    acl purge method PURGE
    acl CONNECT method CONNECT
    acl internal_net1 src "/etc/squid/rede1.conf"
    acl internal_net2 src "/etc/squid/rede2.conf"
    acl internal_net3 src "/etc/squid/rede3.conf"
    tcp_outgoing_address 10.200.200.2 internal_net1
    tcp_outgoing_address 10.200.200.3 internal_net2
    tcp_outgoing_address 10.200.200.4 internal_net3
    http_access allow manager localhost
    http_access deny manager
    http_access allow purge localhost
    http_access deny purge
    http_access deny !Safe_ports
    http_access deny CONNECT !SSL_ports
    http_access allow localhost
    http_access allow internal_net1
    http_access allow internal_net2
    http_access deny all
    http_reply_access allow all
    icp_access allow all
    cache_effective_group proxy
    coredump_dir /var/spool/squid

  19. #19

    Padrão

    amigos, eu ja estou proxy transparente....
    uso o squid 2.6 stable no debiam4 em paralelo com mikrotik 2.9.x

    esta fazendo cache http normal e muito bem, porem eu tb to querendo fazer cache do MSN, aqueles arquivos de cache do proprio msn, onde fica os contatos, as fotos e as configuraçoes deles.

    alguem sabe se é possivel fazer de forma transparente e como devo configurar?