Opa, obrigado pela dica!!!
"O msn vídeo não seria cancelado pela microsoft?"
Como assim?não entendi...
Ata,entendi... estive lendo uns tópicos por la (thundercache.org)hj e vi essas dicas,tinha reparado mesmo que o avast e msn/video não estavam cacheando,mas por ser um detalhe pouco importante não tinha corrido atras antes...
Então,vc diz sobre que no plugin antigo do avast ,ele de certa forma redirecionava para que o squid pudesse se encarregar de fazer o cache,mas esses códigos pra mim é grego rs...olhando ou não ,no meu caso eu não entendo nada nessa area...
Vlw ae pelas dicas...
Com o redirecionamento do proxy ativado, nao consigo atualizar o AVG 8.5, alguem teria uma ideia de que estaria acontecendo? to com o plugin original aqui, desde o principio do post, estou analizando ele para ver se mudo algo, se resolver eu posto aqui,e se alguem tiver uma ideia, tambem quiser ajudar, acho ruim nao rsrsrsrs...
abraços.
Eu ja tive um problema parecido com este. Não tenho certeza, mas creio que resolvi no momento em que alterei o dono e grupo para o diretorio do cache. Deve ser algo parecido com isso:
chown proxy:www-data /var/www/thunder
Caso você use um diretorio diferente de /var/www/thunder para o cache, sugiro que nao altere o arquivo thunder.conf para indicar o diretorio que realmente usa ( /cache/thunder , por exemplo) mas crie um link simbolico para ele:
ln -s /cache/thunder /var/www/thunder
Tambem altere o dono e grupo para o link, com o comando
chown proxy:www-data /var/www/thunder
Depois que fiz isso, funcionou corretamente.
Mais algumas duvidas que me responderam voce pode ver em:
Mikrotik + thunderCache= perfeito... - Página 60
Boa sorte!
opa... cria assim
mkdir /var/www/provedor/aviso/
mkdir /var/www/provedor/bloqueio/
mkdir /var/www/provedor/pendencia/
mkdir /var/www/provedor/manutencao/
mkdir /var/www/provedor/marketing/
mkdir /var/www/provedor/squid-reports/
depois
cp /diretorioaondetaoindex/index.html /var/www/provedor/aviso/
cp /diretorioaondetaoindex/index.html /var/www/provedor/bloqueio/
cp /diretorioaondetaoindex/index.html /var/www/provedor/pendencia/
cp /diretorioaondetaoindex/index.html /var/www/provedor/manutencao/
cp /diretorioaondetaoindex/index.html /var/www/provedor/markting/
cp /diretorioaondetaoindex/index.html /var/www/provedor/squid-reports/
Ta certim...
Mas se quiser facilitar ainda mais a vida,use o WinSCP...O unico problema em usar o WinSCP,é que vc fica dependente Windows :damnmate:...
http://img188.imageshack.us/img188/4697/tutorial025.jpg
Vai ai mais uma dica,eu ja estava usando para testar e esta ok...
"Peguei com o colega ED"
Limpeza da memoria no proxy.
Abaixo segue o script e também um anexo do mesmo:
Código :
#!/bin/sh # # Salve este script no diretório /etc/cron.hourly e dê permissão # de execução a ele. Desse modo a cada hora sera verificada se a # porcentagem de memória utilizada pelo sistema atingiu o valor definido # na variável 'percent'. Caso positivo, o script informará ao kernel # que este deverá alterar o valor da opção 'drop_caches' para 3. # # Mais detalhes: 'man proc' -> /proc/sys/vm/drop_caches. PATH="/bin:/usr/bin:/usr/local/bin" # Porcentagem máxima de uso da memória, antes de executar a limpeza: # Obs.: [B]Altere conforme sua necessidade[/B]. percent=[B]80[/B] # Quantidade de memória RAM no sistema: ramtotal=`grep -F "MemTotal:" < /proc/meminfo | awk '{print $2}'` # Quantidade de RAM livre: ramlivre=`grep -F "MemFree:" < /proc/meminfo | awk '{print $2}'` # RAM utilizada pelo sistema: ramusada=`expr $ramtotal - $ramlivre` # Porcentagem de RAM utilizada pelo sistema: putil=`expr $ramusada \* 100 / $ramtotal` # Checando porcentagem: if [ $putil -gt $percent ] then # Sincronizando os dados cacheados na memória com o(s) disco(s): sync # 'Dropando' cache: echo 3 > /proc/sys/vm/drop_caches else # Remove-se as variáveis da memória e finaliza-se o script: unset percent ramtotal ramlivre ramusada putil exit $? fi # Fim
Da forma como esta o script,de hora em hora ele ira rodar automaticamente,e caso a memoria estiver 80% ou mais em uso,ele ira limpar...
agradecendo mais uma vez ai ao nosso amigo xbili e ao billl gates terminei agora a pouco por aki o proxy com thunder e em poucos minutos de trabalho ja temos resultados por aki hehehe
Isso ai Arlin,vou começar agora um loadbalance usando o modo pcc,creio que poderiamos através do modo pcc configurar o seguinte cenário:
Ex:
5 Links
2 Links destinados a porta 80
1 Link destinado a ser default
1 Link destinado a redirecionar vídeos e outros
1 Link destinado a redireconar as portas https,messengers e outros
Entao 2 links seriam destinados a participar do modo pcc,ficando assim:
1º Cliente a conectar vai para o Link-1,2º Cliente a conectar vai para o Link-2,3º Cliente a conectar vai para o Link-1,4º Cliente a conectar vai para o Link-2 e assim por diante...
Dessa forma poderiamos balancear a carga de navegação (80).Para os que usam apenas links ADSL seria muito bom,pois o upload e conexões simultâneas seriam muito bem divididos.
E ainda teria links de apoio para segurar outros serviços...
Vou iniciar uns testes aqui,qualquer coisa posto os resultados mais tarde...
vo fazer uns testes por aqui tambem pra ver se consigo redirecionar as conexões por aki pra postar os resultados tambem pois com o balanceamento PCC normal e o seu tuto do proxy ja tenho resultados positivos por aki sem problemas de lentidão e essas coisas por enquanto tudo ok
a sim esse ultimo script ai de cima onde e como coloco ele hehehe
BillGates ,
beleza o tutor, dei uma lida rápida, bem direto e funcional.
Em pouco tempo deixei rodando mais um serve com thunder em paralelo!
Debian 5.0
MK v.3.13
Eis a questão, para os mais experientes, tenho dois links via satélite, um para Lan House e outro para a rede externa (wireless), por motivos administrativos fica inviável fazer LB com os link, portanto estou fazendo um estudo aqui para usar dois servidores Mk cada um com seu respectivo link em paralelo com este thunder.
Alguem já conseguiu ai a proeza?
Link ----> Mk v3.13 ------> Clientes
...............|----Thunder
Link ----> Mk v3.13 ------> Lan house
Quando terminar aqui, digo como fiz e se deu certo !!!
Qualquer dica vai ser bem vinda.
Desde já obrigado a colaboração de todos pela ajuda aqui prestada no fórum.
Parabéns pelo tutorial... eu uso o thunder há muito tempo e ultimamente estava enfrentando o problema para redirecionar o cache para o cliente e só lento este tutor foi que descobrir que faltava o 301 no $redir.... ufaaaa cabaram os meus problemas...
Obrigado!
Só para avisar, estou fazendo um patch de limite de download simultâneo, e vai ser free. Talvez hoje de tarde eu termino.
movido para nova area de artigos por favor deem uma olhada
Olha, só, fiz este patch para não consumir muita internet (o $download_speed funciona com umas modificações, mas mesmo assim consumia tudo). Ele pega a config $max_concurrent_downloads do thunder.conf, e se já passou do limite, manda a url original pro squid.
Basicamente, ele limita os downloads simultaneos até o limite definido no $max_concurrent_downloads.
Ainda há alguns bugs, como várias pessoas acessando o mesmo vídeo ao mesmo tempo, só a primeira vai pegar via stream, as outras vão pegar do servidor. Mas se o arquivo já estiver no hd, vai dar hit normal.
Fiz o upload em um tar.gz para facilitar (junto com meu thunder.conf). Subistituir o functions.php e o downloader.php. Olhar o thunder.conf e adicionar as linhas $max_concurrent_downloads e $down_lock como as suas necessidades.
Como recomendável, faça um backup desses arquivo no caso de não funcionar.
Ah, minha função logadd grava em um arquivo, no caso /var/log/thunder.log. Se não quiserem, é só voltar para a função antiga.
Bom aproveitando pra terminar o tutorial acho que faltou falar do SARG que interpreta e gera relatorios do squid
pois como eu e muitos esta seguindo o belissimo tutorial do amigo bill gates fica aqui pra quem quiser gerar os relatorios do Squid assim como os do thunder que é gerado mediante IPproxy/thunder.conf e ver visualmente as economias dos arquivos então porque não ver as pagians gravadas pelo squid do mesmo geito IPproxy/squid-reports
bom vamos as configurações que são bem simples
apt-get update
apr-get install sarg
abra o sarg.conf que se encontra em /etc/squid/sarg.conf
e confirure desta forma
# sarg.conf
#
# TAG: language
# Available languages:
# Bulgarian_windows1251
# Catalan
# Czech
# Dutch
# English
# French
# German
# Greek
# Hungarian
# Indonesian
# Italian
# Japanese
# Latvian
# Polish
# Portuguese
# Romanian
# Russian_koi8
# Russian_UFT-8
# Russian_windows1251
# Serbian
# Slovak
# Spanish
# Turkish
#por padrão vem em ingles altere pra portuguese
language Portuguese
# TAG: access_log file
# Where is the access.log file
# sarg -l file
#
access_log /var/log/squid/access.log
# TAG: graphs yes|no
# Use graphics where is possible.
# graph_days_bytes_bar_color blue|green|yellow|orange|brown|red
#
#graphs yes
#graph_days_bytes_bar_color orange
# TAG: title
# Especifique aqui o titulo da pagian que vc querira que apareça.
#
title "Relatorio Squid S & A Informatica"
# TAG: font_face
# Especify the font for html page.
#
font_face Tahoma,Verdana,Arial
# TAG: header_color
# Especify the header color
#
header_color darkblue
# TAG: header_bgcolor
# Especify the header bgcolor
#
header_bgcolor blanchedalmond
# TAG: font_size
# Especify the text font size
#
font_size 9px
# TAG: header_font_size
# Especify the header font size
#
#header_font_size 9px
# TAG: title_font_size
# Especify the title font size
#
#title_font_size 11px
# TAG: background_color
# TAG: background_color
# Html page background color
#
background_color white
# TAG: text_color
# Html page text color
#
text_color #000000
# TAG: text_bgcolor
# Html page text background color
#
text_bgcolor lavender
# TAG: title_color
# Html page title color
#
title_color green
# TAG: logo_image
# Html page logo.
#
#logo_image none
# TAG: logo_text
# Html page logo text.
#
#logo_text ""
# TAG: logo_text_color
# Html page logo texti color.
#
#logo_text_color #000000
# TAG: logo_image_size
# Html page logo image size.
# width height
#
#image_size 80 45
# TAG: background_image
# Html page background image
#
#background_image none
# TAG: password
# User password file used by authentication
# If used here, reports will be generated only for that users.
#
#password none
# TAG: temporary_dir
# Temporary directory name for work files
# sarg -w dir
#
temporary_dir /tmp
# TAG: output_dir
# The reports will be saved in that directory
# sarg -o dir
#
#output_dir /var/www/html/squid-reports
output_dir /var/www/squid-reports
# TAG: output_email
# Email address to send the reports. If you use this tag, no html reports will be generated.
# sarg -e email
#
#output_email none
# TAG: resolve_ip yes/no
# Convert ip address to dns name
# sarg -n
resolve_ip
# TAG: user_ip yes/no
# Use Ip Address instead userid in reports.
# sarg -p
user_ip no
# TAG: topuser_sort_field field normal/reverse
# Sort field for the Topuser Report.
# Allowed fields: USER CONNECT BYTES TIME
#
topuser_sort_field BYTES reverse
# TAG: user_sort_field field normal/reverse
# Sort field for the User Report.
# Allowed fields: SITE CONNECT BYTES TIME
#
user_sort_field BYTES reverse
# TAG: exclude_users file
# users within the file will be excluded from reports.
# you can use indexonly to have only index.html file.
#
exclude_users /etc/squid/sarg.users
# TAG: exclude_hosts file
# Hosts, domains or subnets will be excluded from reports.
#
# Eg.: 192.168.10.10 - exclude ip address only
# 192.168.10.0 - exclude full C class
# s1.acme.foo - exclude hostname only
# acme.foo - exclude full domain name
#
exclude_hosts /etc/squid/sarg.hosts
# TAG: useragent_log file
# useragent.log file patch to generate useragent report.
#
#useragent_log none
# TAG: date_format
# Date format in reports: e (European=dd/mm/yy), u (American=mm/dd/yy), w (Weekly=yy.ww)
#
date_format u
# TAG: per_user_limit file MB
# Saves userid on file if download exceed n MB.
# This option allow you to disable user access if user exceed a download limit.
#
#per_user_limit none
# TAG: lastlog n
# How many reports files must be keept in reports directory.
# The oldest report file will be automatically removed.
# 0 - no limit.
#
lastlog 0
# TAG: remove_temp_files yes
# Remove temporary files: geral, usuarios, top, periodo from root report directory.
#
remove_temp_files yes
# TAG: index yes|no|only
# Generate the main index.html.
# only - generate only the main index.html
#
index yes
# TAG: index_tree date|file
# How to generate the index.
#
index_tree file
# TAG: overwrite_report yes|no
# yes - if report date already exist then will be overwrited.
# no - if report date already exist then will be renamed to filename.n, filename.n+1
#
overwrite_report yes
# TAG: records_without_userid ignore|ip|everybody
# What can I do with records without user id (no authentication) in access.log file ?
#
# ignore - This record will be ignored.
# ip - Use ip address instead. (default)
# everybody - Use "everybody" instead.
#
records_without_userid ip
# TAG: use_comma no|yes
# Use comma instead point in reports.
# Eg.: use_comma yes => 23,450,110
# use_comma no => 23.450.110
#
use_comma yes
# TAG: mail_utility mail|mailx
# Mail command to use to send reports via SMTP
#
mail_utility mailx
# TAG: topsites_num n
# How many sites in topsites report.
#
topsites_num 100
# TAG: topsites_sort_order CONNECT|BYTES A|D
# Sort for topsites report, where A=Ascendent, D=Descendent
#
topsites_sort_order CONNECT D
# TAG: index_sort_order A/D
# Sort for index.html, where A=Ascendent, D=Descendent
#
index_sort_order D
# TAG: exclude_codes file
# Ignore records with these codes. Eg.: NONE/400
#
exclude_codes /etc/squid/sarg.exclude_codes
# TAG: replace_index string
# Replace "index.html" in the main index file with this string
# If null "index.html" is used
#
#replace_index <?php echo str_replace(".", "_", $REMOTE_ADDR); echo ".html"; ?>
# TAG: max_elapsed milliseconds
# If elapsed time is recorded in log is greater than max_elapsed use 0 for elapsed time.
# Use 0 for no checking
#
#max_elapsed 0
# 8 Hours
max_elapsed 28800000
# TAG: report_type type
# What kind of reports to generate.
# topusers - users, sites, times, bytes, connects, links to accessed sites, etc
# topsites - site, connect and bytes report
# sites_users - users and sites report
# users_sites - accessed sites by the user report
# date_time - bytes used per day and hour report
# denied - denied sites with full URL report
# auth_failures - autentication failures report
# site_user_time_date - sites, dates, times and bytes report
# downloads - downloads per user report
#
# Eg.: report_type topsites denied
#
#report_type topusers topsites sites_users users_sites date_time denied auth_failures site_user_time_date downloads
report_type topusers topsites sites_users users_sites date_time denied auth_failures site_user_time_date downloads
# TAG: usertab filename
# You can change the "userid" or the "ip address" to be a real user name on the reports.
# Table syntax:
# userid name or ip address name
# Eg:
# SirIsaac Isaac Newton
# vinci Leonardo da Vinci
# 192.168.10.1 Karol Wojtyla
#
# Each line must be terminated with '\n'
#
usertab /etc/squid/sarg.usertab
# TAG: long_url yes|no
# If yes, the full url is showed in report.
# If no, only the site will be showed
#
# YES option generate very big sort files and reports.
#
long_url no
# TAG: date_time_by bytes|elap
# Date/Time reports will use bytes or elapsed time?
#
date_time_by bytes
# TAG: charset name
# ISO 8859 is a full series of 10 standardized multilingual single-byte coded (8bit)
# graphic character sets for writing in alphabetic languages
# You can use the following charsets:
# Latin1 - West European
# Latin2 - East European
# Latin3 - South European
# Latin4 - North European
# Cyrillic
# Arabic
# Greek
# Hebrew
# Latin5 - Turkish
# Latin6
# Windows-1251
# Koi8-r
#
charset Latin1
depois de instalado abra o com o squid.conf o do tutorial do bill gates que se encontra na pagina 3 e localize essas duas linhas #access_log /var/log/squid/access.log
#access_log /var/log/squid/error.log
e descomente as mesmas despois disso
de o comando squid -k reconfigure
feito isso pra ver os relatorios do SARG é só digitar o IPdoseuproxy/squid-reports ex. 192.168.6.2/squid-reports
Uso esse script para dar os HIT de dois servidores que tenho, tudo que vem desses servidores será marcado como HIT. Atentem que uso Windows, então modifiquem os caminho dos arquivos conforme sua distro
Código :
#!/bin/bash # Este script ira salvar o access.log compactado e ja com os HIT's certos... LOCAL=`pwd` LOG_FOLDER="/e/squid/var/logs" LOG_FILE="access.log" BACKUP_FOLDER="/c/backups/logs" BACKUP_FILE="access-mes-dia-ano-`date +%m-%d-%Y--%H-e-%M`.tar.gz" if [ ! -f "$LOG_FOLDER/$LOG_FILE" ] then echo "criando arquivo de log em branco..." touch "$LOG_FOLDER/$LOG_FILE" fi echo "Entrando no diretorio $LOG_FOLDER" cd "$LOG_FOLDER" echo "Fazendo arquivo temporario" cp "$LOG_FILE" "$LOG_FILE.new" echo "Modificando os HITS" # Tira todos os TCP_qualquer_coisa para TCP_HIT cat "$LOG_FILE.new" | /bin/sed ' \@192\.168\.0\.1@{ s@TCP_[[:alpha:]]*/@TCP_HIT/@ } ' > "$LOG_FILE.new.sed" cat "$LOG_FILE.new.sed" | /bin/sed ' \@192\.168\.0\.110@{ s@TCP_[[:alpha:]]*/@TCP_HIT/@ } ' > "$LOG_FILE.new.sed2" echo "Removendo arquivos temporarios" rm "$LOG_FOLDER/$LOG_FILE" rm "$LOG_FOLDER/$LOG_FILE.new" rm "$LOG_FOLDER/$LOG_FILE.new.sed" # echo "mv -T $LOG_FOLDER/$LOG_FILE.new.sed $LOG_FOLDER/$LOG_FILE" echo "Movendo arquivo final" mv "$LOG_FOLDER/$LOG_FILE.new.sed2" "$LOG_FOLDER/$LOG_FILE" /bin/tar -czf "$BACKUP_FOLDER/$BACKUP_FILE" "$LOG_FOLDER/$LOG_FILE" > "$LOG_FOLDER/$LOG_FILE" rm "$LOG_FOLDER/$LOG_FILE" #Voltando ao diretorio inicial... cd "$LOCAL"
Ae galerinha do forum, aproveito para anunciar que o Thunder 3 já está funcional.
Ele foi concebido para ser um proxy paralelo ao squid, foi escrito em C++ e usa sqlite para auxiliar a indexação dos arquivos.
Vamos entrar agora em periodo de testes e ajustes finos para depois ser liberado para todos.
Quem quiser testar, entre no forum do thunder cache, e responda ao topico.
Obrigado galera!
depois que eu reinstalei o thunder quando eu digito o ip do thunder ele mostra It Works! Como faço para ele mostrar os numeros de economia?
Opa eae galera alguem ja fez o teste ai no cache dos videos do youtube para ver se ta enviando para os clientes a fulll ou com controle aqui fiz mais nao vai nem fullll e nem com controle se alguem puder ajudar desde ja agradeço.
Não sei pessoal o que aconteceu.
Meu thunder cache simplesmente parou do nada.
Quando tento acessar http://ipdoservidor/thunder.php nao abre nada.
O squid ta funcionando, foi desativar o thunder que ele voltou ao normal.
Baixei do site e substitui todos os aquivos em /etc/squid/thunder e nada.
Alguem tem alguma luz. Poxa to com 200gb de video e nao quero perder.
Grato.
Quem quiser me seguir e ficar sabendo do Thunder Cache nos bastidores.
@rodrigomanga
Sei que o thunder é isso é aquilo, mas ja tive o squid aqui rodando durante 3 meses sem reboot
agora o thunder...nem um mês..
To pensando em não instalar ele por enquanto.
senti uma dor no cotovelo ai hein...
nem esquente...kakakaka
Pessoal, como faço pra desativar o squid e deixar somente o thunder, pois aqui o apache ta travando toda hora, e olha que estou usando um core2duo + 4gigas de ram e um hd de 160g sata 2, isso a menos de 16 horas de uso, e olha que num tem quase nada no meu cache ainda, so uns 6 gigas foram usados ate agora...
Sua instalação do thunder é manual ou script automatico?
Vc alterou no apache o memory_limit?Acho que o limite default é 16~32MB,não lembro direito... aqui deixo em 256mb no /etc/php5/cli/php.ini e no /etc/php5/apache2/php.ini
Não tenho muitas alterações aqui não,também uso o script que limpa a memoria quando ela chega a 85% de uso... Não tenho problemas com travamento no apache,na verdade não lembro quando foi a ultima vez que reiniciei o proxy
To com uma dificuldade aqui....os videos do youtube somente são exibidos no player apos baixr completamente no cache do thunder gerando uma demora para que o video comece a ser exibido no pc do cliente. Alguem esta com essa dificuldade?
Aqui já deu esse problema, mas eu reinstalei e funcionou... Olhe o thunder.php, veja se a variável $cache_scr aponta para o lugar certo. Se o cache_scr estiver apontando para o lugar certo veja os logs do Apache e do php, talvez tem alguma pista do que seja.
Valeu amigão, mais nesse momento pensando que estava tudo ok aqui, vi que os videos do youtube estão todos zerados, e em um topico no forum do Thunder, vc pede pra atualizar o thunder pelo que esta no repositorio, e vi que thunder.lst esta diferente e não tem nada do orkut nele, quais arquivos realemente devo atualizar ou tenho de colocar tudo como esta no repositorio?
Certo, aqui não vale mais, já corrigiram. Para atualizar, era só baixar o http://www.thundercache.org/repo/thundercachev21.tar extrair e copiar os arquivos para a pasta do thunder. Mas fique monitorando pois irá lançar o Thunder 2.2 em breve.
Eu não faço cache de orkut, gera muito processamento, mas você quem sabe.
Mais esse novo thunder.lst esta abilitado pra fazer cache do orkut?
(youtube\.com|googlevideo\.com).*videoplayback
#.youtube.com
#.googlevideo.com
#\.globo\.com.*(\.mp4|\.flv)\?
\.avast\.com
\.avg\.com
\.windowsupdate\.com
\.microsoft\.com
\.grisoft\.com
\.avgate\.net
#\.mais\.uol\.com\.br
#\.terra\.com
\.redtube\.com
\.pornhub\.com
\.tube8\.com
\.eset\.com
#images\.orkut\.com\/
\.4shared\.com
#\.xvideos\.com
#fpatch\.grandchase\.com\.br
#\.live\.com
#www\.google\.com\.br\/search\?
i[1-9]\.ytimg\.com\/u\/.*watch_header\.jpg
amigo digite no seu navegador http://ipdoseuproxy/thunder.php exemplo http://192.168.6.2/thunder.php
http://ipdoseuproxy/thundercache.php
(mudaram faz pouco tempo)