Servidor de cache HTTPS

[fredericoafd]

Amigo, sem ressentimentos... Seguinte. Se me perguntar o que eu prefiro, link ou cache? Acho que qualquer um com certeza prefere link, pois é menos uma coisa para dar problemas. Agora pergunte a quem tem um provedor no interior e paga 50reais/mega o que ele consegue pagar, Link ou cache? Cada solução possui um publico alvo ou uma utilidade. Eu me enquadro neste cara do interior. Solicitei ao pessoal do speedtest o direito de uso de um servidor, recusaram pois só liberam para quem tem 1gb/s de link no minimo, coloquei um link de adsl para ajudar no trafego, já acabou. Custo mensal do servidor cache speedr(licença + energia) = R$100,00. Economia média de link no meu cenário= 20megas . custo de 20megas dedicado aqui = R$1.000,000. A pergunta, qual é o melhor para mim, cache ou link? A mesma pergunta a um provedor que já opera em FTTH, possui PTT e tudo mais, qual melhor, cache ou link?

[Fallout]

Amigo, sem ressentimentos... Seguinte. Se me perguntar o que eu prefiro, link ou cache? Acho que qualquer um com certeza prefere link, pois é menos uma coisa para dar problemas. Agora pergunte a quem tem um provedor no interior e paga 50reais/mega o que ele consegue pagar, Link ou cache? Cada solução possui um publico alvo ou uma utilidade. Eu me enquadro neste cara do interior. Solicitei ao pessoal do speedtest o direito de uso de um servidor, recusaram pois só liberam para quem tem 1gb/s de link no minimo, coloquei um link de adsl para ajudar no trafego, já acabou. Custo mensal do servidor cache speedr(licença + energia) = R$100,00. Economia média de link no meu cenário= 20megas . custo de 20megas dedicado aqui = R$1.000,000. A pergunta, qual é o melhor para mim, cache ou link? A mesma pergunta a um provedor que já opera em FTTH, possui PTT e tudo mais, qual melhor, cache ou link?

me fala uma coisa seu servidor é um servidor ou é um gabinete com peças de desktop ? quantos HDs ? qual a licença ? essa economia em http são 20 megas como você mede está economia ?

[fredericoafd]

É um servidor Rack com placa mae desktop, quad core. 2 Hd´s red 2TB e 1 para sistema green. Licença level 2. Pelo Torch vc consegue filtrar protocolo http que passa pela interface wan e mensurar quanto de link está passando e fazer a media do total de trafego. Todo este trafego passa pelo servidor cache, sendo que uma parte que não sei dizer é cacheada e outra ele pega do que já esta no cache. A média que ele pega do cache em horario de pico chega a 20megas no meu cenário. Essa era a media com 1HD de 1tera que estava, agora que troquei estou enchendo o cache novamente e me aproximando destes valores rapidamente novamente e acredito que vai ultrapassar pois antes não estava fazendo cache de todo netflix acessado na rede, agora que tenho espaço vai cachear

[cometa]

Como optei em não fazer cache de HTTPS, fui para o SPEEDR. 40% do meu tráfego é HTTP, em horarios de Pico chega a 60% devido o uso de netflix. 40 a 50% deste tráfego é cacheado.

Então você é o único fora da curva, 60% de HTTP e ainda conseguir 50% disso com o cache! Rapaz sua rede tá fora do padrão total que vejo por aí.

A média hoje é 30 ~ 40% máximo em http, e disso o cache consegue no máximo 35%.
E estou colocando valores máximo.
Minha opinião é que o gasto e transtornos sai mais caro que a pseudo “economia”.

[eduardomazolini]

Então você é o único fora da curva, 60% de HTTP e ainda conseguir 50% disso com o cache! Rapaz sua rede tá fora do padrão total que vejo por aí.

A média hoje é 30 ~ 40% máximo em http, e disso o cache consegue no máximo 35%.
E estou colocando valores máximo.
Minha opinião é que o gasto e transtornos sai mais caro que a pseudo “economia”.

+1

[MarcusMaciel]

Fonte https://letsencrypt.org/stats/#percent-pageloads

[ShadowRed]

Fonte https://letsencrypt.org/stats/#percent-pageloads

E o cidadão tem a cara de pau de falar que link dele trafega 60% em http.
É cada mentira que chega doer os olhos [emoji102]!

[fredericoafd]

Então você é o único fora da curva, 60% de HTTP e ainda conseguir 50% disso com o cache! Rapaz sua rede tá fora do padrão total que vejo por aí.

A média hoje é 30 ~ 40% máximo em http, e disso o cache consegue no máximo 35%.
E estou colocando valores máximo.
Minha opinião é que o gasto e transtornos sai mais caro que a pseudo “economia”.

60% em horarios de pico amigo, 20 às 22:30h.

[fredericoafd]

E o cidadão tem a cara de pau de falar que link dele trafega 60% em http.
É cada mentira que chega doer os olhos [emoji102]!

Amigo, não é preciso mentir. Houve um aumento muito forte do uso de netflix nos ultimos tempos. TUDO que é trafego de netflix é cacheado. Pegue qualquer provedor ai e façam uma estimativa do tipo que tráfego que passa em horario de pico, no meu aqui o que domina é trafego de netflix, youtube e redes sociais.

[fredericoafd]

[fredericoafd]

E o cidadão tem a cara de pau de falar que link dele trafega 60% em http.
É cada mentira que chega doer os olhos [emoji102]!

Amigo, se não me engano isso aí é estimativa de sites que usam HTTPS, não tem nada haver com tráfego total de internet... O site é HTTPS como é o Netflix, porem os conteúdos são buscados em CDN´s pela porta 80 ou qualquer outra. Estatística de sites acessados em HTTPS de nada tem haver com tráfego. Me ajuda ai...

[eduardomazolini]

Faz duas regras simples passthrough uma com tcp 80 outro com 443 e depois manda print.

[fredericoafd]

Faz duas regras simples passthrough uma com tcp 80 outro com 443 e depois manda print.

Amigo, posso postar duas telas de routerboards diferentes, isso não serve como prova alguma.
Vou mandar um print neste horario, que não é hora de pico. Perceba que como meus hds são novos e o uptime do servidor está baixo(zerou a porcentagem geral/mes) devido a troca dos hds, o cache ainda está enchendo mas já dá para ver a economia.

[eduardomazolini]

Fiz agora por alguns segundos vamos aplicar ao meu caso.
Nestes segundos passou 166M(100%) sendo 82M HTTPS(49%) e 8M HTTP(5%).
Se entendi bem você economizou 30% do HTTP(5%) se eu colocar esse cache eu economizaria 1,5%.

Eu pago 18Mil de link, então R$270,00 de economia do link. Quanto custa manter um servidor ligado 24h?

[fredericoafd]

O meu servidor me dá um gasto total de R$100,00 aprox(jogando para cima), incluindo licença e energia.
Porem no teste que vc pediu para fazer apresentou um resultado diferente do seu, veja:

[cometa]

Fiz agora por alguns segundos vamos aplicar ao meu caso.
Nestes segundos passou 166M(100%) sendo 82M HTTPS(49%) e 8M HTTP(5%).
Se entendi bem você economizou 30% do HTTP(5%) se eu colocar esse cache eu economizaria 1,5%.

Eu pago 18Mil de link, então R$270,00 de economia do link. Quanto custa manter um servidor ligado 24h?

Quem defende cache não tem noção nenhuma disso.
Eles apenas olham para gráfico de economia do cache, esquecem que a % de economia do cache é em cima do http apenas.

[eduardomazolini]

O meu servidor me dá um gasto total de R$100,00 aprox(jogando para cima), incluindo licença e energia.
Porem no teste que vc pediu para fazer apresentou um resultado diferente do seu, veja:

R$ 18mil
HTTP 20% total
HTTP 6% CACHE R$1080,00 de economia de link
HTTPS 64%

Ai pergunto ta realmente economizando?
Problemas, indisponibilidade, salario de funcionário focado nisso, licença, energia, aquisição de hardware.

Você trabalha com seu link topado sem folga de 6%?
Eu procuro manter o meu com folga de 20%

[fredericoafd]

R$ 18mil
HTTP 20% total
HTTP 6% CACHE R$1080,00 de economia de link
HTTPS 64%

Ai pergunto ta realmente economizando?
Problemas, indisponibilidade, salario de funcionário focado nisso, licença, energia, aquisição de hardware.

Você trabalha com seu link topado sem folga de 6%?
Eu procuro manter o meu com folga de 20%

Amigo, vc me perguntou se estou economizando baseando nos seus numeros! sendo bem sincero, espero um dia ter o mesmo cenário do seu, ter 18mil para bancar um link, provavelmente tem acesso a um PTT e possui AS, funcionários, não ser barrado ao solicitar o direito de usar um servidor speedtest(só liberam para quem tem 1gb pra cima) etc... quando este dia chegar talvez eu possa dizer que pra mim cache não compensa pois prefiro pagar R$200 reis para não ter um equipamento a mais para dar pau na rede do que economizar R$100,00. Até lá, tenho que comprar migalhas de link todo mês a preço exorbitante para cobrir o gargalo, tenho que apelar para links ads afim de desviar tráfego p2p, enfim, é um jogo "tira daqui põe ali" que só provedores pequenos de interior sabem muito bem o que é. Se eu gasto 100 e economizo 200, pra mim são mais 100reais por mes com rádios para clientes que posso comprar. Para os grandes, R$100,00 é sujeira no dente, para um provedor pequeno é muita coisa. Além disso tem os serviços de velocimetros agregado ao cache como dito anteriormente etc... É como eu disse, todo produto tem sua finalidade e seu publico alvo.

[PortaNET]

funciona do seguinte modo, o certificado é criado e fica dentro do programa, o navegador solicita, no programa entra por uma porta, e sai por outra porta, sem a necessidade de instalar nada no pc do cliente, tudo é feito de modo automático dentro do servidor, e o cliente não percebe que tem cache no seu provedor, já que não e preciso instalar nada em sua maquina nem no celular, mas não é muito interessante já que cache HTTPS aqui no brasil é crime, mas funciona perfeitamente rs

Boas


vamos por partes, pois cada caso é um caso.


Porém antes de comentarmos algo devemos pesquisar um pouco mais sobre o que esta sendo comentado.


Em primeiro lugar "Efetuando referência ao tema cache https" deve ser feito uma pesquisa que descreva o que é HTTPS


Hyper Text Transfer Protocol Secure - Protocolo de transferência de hipertexto seguro, que nada mais é do que uma camada adicional de segurança sobre o HTTP utilizando o protocolo SSL/TLS.


Tudo na mensagem HTTPS é criptografado, incluindo os cabeçalhos, as requisições e respostas.




Com isso se torna 99.99% impossivel o metodo de cache transparente, pois sempre será obrigatório uma interceptacão desses dados encriptados, mais conhecida por man-in-the-middle.


Uma máquina e aplicativo que decripta o conteúdo cifrado utilizado a chave RSA publica do protocolo ssl do "site especifico". e depois rescreve o conteúdo decifrado em outro local no HDD do servidor.




Porém como se trata de informacão sigilosa e sensivel em alguns casos, alguns aplicativos de cache e servidores requerem que seja instalado um certificado nos navegadores dos dispositivos dos clientes.


Esse certificado nada mais é do que uma chave RSA publica SSL gerada pelo servidor de cache onde o conteúdo está armazenado, que será utilizada no dispositivo dos clientes para receber o conteúdo do cache servidor de modo cifrado e seguro também.


Porém informacão sensivel do seu cliente e informacão pessoal fica armazenado juntamente com informacão e conteúdo publico cifrada em https tudo no seu servidor de cache, e se por eventualidade o seu servidor for hackeado remotamente e feito um backup de todos esses dados e informacões privilegiadas, quem será responsabilizado por tais atos criminosos que possam suceder??? "isso mesmo você o proprietário do provedor".




No seguinte cenário onde temos mais de 100 a 300megas de trafego passando em conteúdo cifrado https em um servidor de cache, imagina o serviço necessário para orquestrar o funcionamento e distribuicão desse conteúdo?


1- cada website em https, tem a sua chave SSL publica especifica (se tiver 1 milhão de websites https armazenados no seu cache téra automáticamente 1mihão de chaves ssl publicas em um diretório, é necessário uma boa infra-estrutura de indexação desses dados para agilizar a busca da chave para decifrar o conteúdo)


2- como se trata de metodo intercept "irá utilizar muito mais processamento, memória, e agilidade e alta capacidade de transferência nos seus HDDs" nos testes que efeutei consegui apenas resultados aceitaveis com SAS 15K.


3- Alguns sites como Youtube,Netflix,Facebook ainda utilizam outras camadas e layers de proteção em alguns dos seus conteúdos e midias armazenadas e com atualizacões frequentes, hoje funciona bem amanhã pode não funcionar direito.




4- os strings são dinâmicos ou seja é necessário converter todo o conteúdo para estático, tem que ter um sistema de indexacão excelente para poder organizar tudo isso em tempo real. Sem ter uma latência absurda esperando achar o conteúdo solicitado no seu servidor de cache...








Enfim poderia numerar mais uma dezena de aspectos técnicos que dificultam a transmissão do cache https de forma viável 100% funcional, e mais uma dezena de beneficios como por exemplo economia de banda.










Porém como mencionei no inicio cada caso é um caso.


Como todos sabemos existe ainda no Brasil um pais inter continental uma disparidade em relação ao custo de link IP Dedicado em regiões diferentes.




Nas regiões desenvolvidas temos link puro sendo ofertado em alguns lugares a 18 reais por mega ou até menos..


Nas regiões menos desenvolvidas, zona rual, etc.etc.etc. o link pode chegar até 300reais por mega




É ai que entra a economia ou não utilizando os fatores (custo do Link,Hardware
& infra estrutura,energia,capital liquido para investimento e por ultimo Jurídico) o juridico que irá representar na hora que tiver problema com a justica devido ao uso ilegal de cache https, torrent p2p e outros fatores, caso seja processado por algum cliente ou entidade lesada.








Esquecendo agora o lado juridico e o lado financeiro e nos deparando apenas com o lado técnico da coisa, o que é necessário para montar um bom servidor de cache?


Analisando e tendo em conta o seguinte cenário


1- latencia e ping entre solicitar acesso a um determinado local e receber a informacão de volta do servidor de cache
2- hardware para armazenamento de conteúdo mídia (como é feito no Netflix)
3- Que tipo de processador servidor é recomendado?






Então analisando por experiência própria, os servidores do Netflix CDN no Brasil pelo menos os poucos que tive acesso nas empresas que trabalhei são servidores DELL XEON


O ultimo que vi foi um Dell Xeon R710


2 processadores de 6Núcleos cada de 12MB cache
256GB RAM DDR3
100TB HDD SSD em 10 HDD Sata de 1TB
1 Placa Intel 4 Portas 10Gbps Fibra (capacidade máxima agregada de 40gbps trafego se fosse solicitado)


Restando a dúvida porque usar SSD ao invés de SAS ?? uma vez que os servidores netflix somente armazenam arquivos de mídia de grandes tamanhos talvez obtiveram melhores rendimentos com SSD.




Lembrando que tudo vai depender do seu orçamento, e da sua região se compensa ou não implantar o projeto, lembrando que proxy https somente via intercept

Em regiões desenvolvidas onde as grandes operadoras ofertam fibra, sim é mais fácil e mais barato comprar link ao invés de cache..
com isso aumentando o link, irá chegar mais rápido nos requesítos para obter o seu próprio CDN na sua operadora..


Netflix solicita 700Mbps de trafego de sua AS na rede do Netflix (cenário de um provedor entre 2mil a 5mil clientes)


Google GGC solicita 1.3Gbps de trafego de sua AS na rede do Google (cenário de um provedor entre 3mil a 7mil clientes)


Facebook recentemente mudou acredito que agora deve ser mais de 2Gbps de trafego de sua AS na rede do facebook (cenário de um provedor entre 5mil a 9mil clientes)




Foi apenas uma estatistica resumida, não sendo um numero exato, lembrando que quanto mais banda você vender em seus planos aos seus clientes, mais rápido chegara nos niveis de trafego da sua rede para as empresas mencionadas, assim se qualificando mais rápido para a obtenção de tais servidores CDN gratuitamente, e uma vez instalados e habilitados dentro do seu provedor é 100% de economia na sua rede para esses 3 serviços mencionados.


Agora o zé ninguém da bimboca que ninguém nunca ouviu falar que ainda não tem sequer uns 1mil clientes terá que fazer mágica pra ofertar um serviço de qualidade a um preço acessível.


Investir em infra-estrutura cara para buscar link a uns 300 ou 500km distância ou se sujeitar a comprar link 10x mais caro.


Voltando ao tema inicial, compensa assumir a responsabilidade do crime e montar um servidor de cache https? que pode não funcionar 100% ? ou compensa investir em link mesmo que fique mais caro?


o que será melhor? investimento a curto prazo incerto? ou investimento a longo prazo garantido?


Lembrando que cache em https pode ser feito até com squid, custo R$0 basta configurar da forma correta.

Em 2015/16 fiz os testes em https usando um servidor DELL PowerEdge R410 32GB ram e
1 SAS 15K 360GB, os resultados estão no video abaixo.


Só não seguimos em frente devido a questão legal, moral, incerteza de funcionamento 100% garantido.

[gandhi]

resumindo então o que li desde o inicio do tópico, lutem para tirar um as, e ter o server do netflix, akamai, facebokk e tal, só assim para ter sossego no seu provedor. essa solução de cache disso ou daquilo pelo que muitos relatam te da uma falsa sensação de economia de link.... poh eu to a 1 ano e meio com meu provedor e 200mb de link dedicado, e programando o proximo upgrade para 300mb, lutando se chega ao que todos querem, só ter dedicação, e pensar em investir em qualidade, para agregar clientes na rede....

Sucesso a todos.