ta dificl configurar e rodar SARG

[richardic]

E ai galerinha fera!! um dia chego la

podem me ajudar?

vou postar minhas configuracoes aqui, me ajudem a buscar o erro que estou cometendo? Instalei o Squid, Apache2 e SARG. Squid fucniona legal, filtro, etc.. Apache2 tambem : It Works! . Agora o SARG eu vo la ip/sarg e me mostra la Daily, Weekly e Monthly
quando clico no Daily me mostra de 3 dias atraz, mas de 2 e de 1 dia atual nao!!

SQUID esta assim:

SQUID esta assim:
#####Porta em que o Squid opera#####
http_port 192.168.1.101:3128 transparent
#####Identificacao do Servidor######
visible_hostname PromoverPromotora
# Mensagens de erro do Squid em Português
error_directory /usr/share/squid/errors/Portuguese
#cache_mem 256 MB
#maximum_object_size_in_memory 64 KB
#maximum_object_size 512 MB
#minimum_object_size 0 KB
#cache_swap_low 90
#cache_swap_high 95
#cache_dir ufs /var/spool/squid 200 16 256
# Localizacao do arquivo de log do Squid
cache_access_log /var/log/squid/access.log
# Atualizacao do Cache
#refresh_pattern ^ftp: 15 20% 2280
#refresh_pattern ^gopher: 15 20% 2280
#refresh_pattern . 15 20% 2280
#####Controles de Acesso#####
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 901 # swat
acl Safe_ports port 1025-65535 # portas altas
acl CONNECT method CONNECT
#Existem alguns casos de sites que não funcionam bem quando acessados através de proxies
#acl site dstdomain siteproblematico.com
#always_direct allow site
#bloquiar por um arquivo
acl bloqueados url_regex -i "/etc/squid/blocked_sites"
http_access deny bloqueados

# Barrar arquivos de som e video em geral
acl websom urlpath_regex -i \.asf$ \.asx$ \.avi$ \.au$ \.mid$ \.midi$ \.mov$ \.mpeg$ \.mpg$ \.mp3$ \.mp2$ \.mp2v$ \.ogg$ \.pls$ \.ra$ \.ram$ \.rmi$ \.snd$ \.wav$ \.wma$ \.wmv$ \.wvx$
http_access deny websom
#Regras que libera ips e sites especificos do depto. suporte as revendas
#acl suporte-sites url_regex -i "/etc/squid/suporte-sites"
#acl suporte-ips src "/etc/squid/suporte-ips"
#http_access allow suporte-sites suporte-ips
#Regras que libera ips e sites especificos do depto. gerencia
#acl gerencia-sites url_regex -i "/etc/squid/gerencia-sites"
#acl gerencia-ips src "/etc/squid/gerencia-ips"
#http_access allow gerencia-sites gerencia-ips
#Regra que libera apenas os ip's do depto. TI e diretoria
#acl liberados src "/etc/squid/ips-permitidos"
#http_access allow liberados
#sites bloqueados
#acl sites-bloqueados dstdomain .orkut.com www.orkut.com playboy.abril.com.br
#http_access deny sites-bloqueados
###
acl redelocal src 192.168.1.0/24
http_access allow localhost
http_access allow redelocal
http_access deny all

Sarg assim:

# Relatório Squid por: Dia
# Língua Utilizada, coloquei em inglês aqui, mas será tudo em português
# do Brasil, veja o porquê depois.
#language English
# Arquivo de LOG do Squid, lembra? Na sua configuração do Squid tem
# falando onde se encontra este arquivo.
access_log /var/log/squid/access.log
# Título da página HTML
title "Relatório Diário do Proxy"
# --- Visual ---
# Aqui tem várias variáveis que você pode mudar para deixar o
# visual do relatório (cores, fontes, etc) de acordo com o que
# você quiser. Aqui estou usando os valores padrões.
font_face Arial
header_color darkblue
header_bgcolor blanchedalmond
header_font_size 9px
background_color white
text_color #000000
text_bgcolor lavender
title_color green
#--- Fim do Visual ---
# Diretório Temporário
temporary_dir /tmp
# Diretório de Saída para as página de relatório, ou seja,
# onde o relatório vai ficar para consulta via um navegador.
# "Geralmente" esse diretório tem que estar dentro do root do seu
# servidor Web :D
#output_dir /var/www/html/squid-report/dia
#output_dir /var/www/html/squid-reports
#output_dir /var/lib/sarg
output_dir /var/lib/sarg/dia
resolve_ip
user_ip no
# Qual critério de ordem para a seção "TopUser?" USER/CONNECT/BYTES/TIME
# Isso irá organizar o relatório na seção de TopUsers, colocando os usuários
# que mais baixaram bytes primeiro.
topuser_sort_field BYTES reverse
# Qual critério de ordem para a seção "User"? SITE/CONNECT/BYTES/TIME
# Isso irá organizar a seção de usuários da mesma forma que o item anterior.
user_sort_field BYTES reverse
# Arquivo com usuários que não devem estar nos relatórios
exclude_users /etc/sarg/exclude_users
# Arquivo com hosts que não devem estar nos relatórios
exclude_hosts /etc/sarg/exclude_hosts
# Formato da data (e=dd/mm/yy, u=mm/dd/yy, w=yy/ww)
date_format e
# Limite de logs até os antigos serem removidos, quando houver mais
# de N relatórios, o mais antigo é automaticamente removido. Aqui
# estamos indicando para nunca apagar nada.
lastlog 0
# Remover arquivos temporários após o uso?
remove_temp_files yes
# Gerar o index.html? (only = gera só o index.html principal)
index yes
index_tree file
# Sobrescrever o relatório se já existe?
overwrite_report yes
# O que fazer com registros sem usuário? (ignore/ip/everybody)
records_without_userid ignore
# Usar vírgula ao invés de ponto?
use_comma yes
# Qual a quantidade de sites mais visitados à listar?
topsites_num 100
# Qual critério de ordem para o topsites? CONNECT/BYTES A/D
# Aqui diz para ordenar os sites mais acessados por utilização de banda,
# em forma decrescente.
topsites_sort_order CONNECT D
index_sort_order D
# Arquivo de códigos HTTP para serem ignorados no relatório
exclude_codes /etc/sarg/exclude_codes
# Tempo de checkagem
max_elapsed 28800000
# -- Tipo de Relatorio a ser gerado --
# + topsites - Mostra o site, conexão e bytes
# + sites_users - Mostra que usuários estavam acessando um site
# + users_sites - Mostra sites acessados pelo usuário
# + date_time - Mostra quantidade de bytes usados por dia e hora
# + denied - Mostra todos os sites negados com URL completa
# + auth_failures - Mostra falhas de autentificação
report_type topusers topsites sites_users users_sites date_time denied auth_failures site_user_time_date downloads
usertab /etc/sarg/usertab
# Exibir URLs completas? (Não recomendado)
long_url no
date_time_by bytes
# Se alguma linha do access.log conter uma das strings, será ignorada
#exclude_string /etc/sarg/exclude.strings
charset Latin1
# Mostrar mensagem de sucesso na geração do relatório no fim?
show_successful_message no
# Campos para a seçao topusers
topuser_fields NUM DATE_TIME USERID CONNECT BYTES %BYTES IN-CACHE-OUT USED_TIME MILISEC %TIME TOTAL AVERAGE
user_report_fields CONNECT BYTES %BYTES IN-CACHE-OUT USED_TIME MILISEC %TIME TOTAL AVERAGE
# Quantidade de usuários para listar no relatório topsites
topuser_num 0

/etc/cron.daily/sarg-dia

#!/bin/bash
HOJE=$(date --date "1 day ago" +%d/%m/%Y)
/usr/sbin/sarg -f /etc/sarg/sarg-dia.conf -d $HOJE-$HOJE
exit 0

CONTRAB tenho:

0 5 * * * sarg
01 1 * * * root /etc/cron.daily/sarg-dia

[richardic]

poxa, me perdoem, postei no lugar errado!! seria serviços, correto?
como deleto ou mudo de lugar este post?
valeu

[richardic]

eu do um : sudo sarg
e me aparece isto: SARG: Records in file: 12966, reading: 100%
SARG: no records found
SARG: End

mas quando vo la no http://ip/sarg Daily - Weekly - Monthly. Clico no Daily e me da só um periodo 2011Nov04-2011Nov04 clicando la só tem um teste que fiz a 3 dias anteriores.

[cristianff]

Não tem segredo rodar o sarg, você não precisa fazer aquele script, aquilo é apenas pra manter um backup, mas não é necessário para o funcionamento do sarg.

Basta você no arquivo sarg.conf configurar onde está seu arquivo de log como:

access_log /var/log/squid3/access.log

e também onde você irá gerar os logs:

output_dir /var/www/squid-reports

esse é o meu caso, gero no dir /var/www/squid-reports

depois feito isso basta rodar o comando:

#> sarg

se você quiser deixar ele rodando automaticamente, você terá que fazer uma entrada no crontab chamando a execução do sarg no horário que você desejar.

Aqui eu faço assim, rodo todo dia às 23:55

55 23 * * * sarg 1> /dev/null

Vamos manter a troca de idéias aqui e não via mensagem privada, assim compartilhamos com toda a comunidade.
Abraço

[cristianff]

Reveja a configuração do output_dir do seu Apache e veja como você está configurando no sarg.conf

# Diretório de Saída para as página de relatório, ou seja,
# onde o relatório vai ficar para consulta via um navegador.
# "Geralmente" esse diretório tem que estar dentro do root do seu
# servidor Web
#output_dir /var/www/html/squid-report/dia
#output_dir /var/www/html/squid-reports
#output_dir /var/lib/sarg
output_dir /var/lib/sarg/dia

Essa configuração é importante, o seu Apache está configurado o DocumentRoot como?
No meu caso conforme configuração que passei acima, o DocumentRoot do Apache está assim:

DocumentRoot /var/www

Você tem que se atentar a esses pequenos detalhes da configuração.

Abraço

[richardic]

Vamos manter a troca de idéias aqui e não via mensagem privada, assim compartilhamos com toda a comunidade.
Abraço

desculpe amigo, é que eu nao sei como pedir uma ajuda direta para alguem pela enquete.
mas valeu, vou tentar e posto a resposta aqui

[cristianff]

Sem problemas, se atente aos pontos que eu sitei nas postagens anteriores em relação ao caminho para o arquivo access.log e output_dir no sarg.conf e veja se onde você está gerando os relatórios é um document_root do apache.

Abraço

[richardic]

Essa configuração é importante, o seu Apache está configurado o DocumentRoot como?
No meu caso conforme configuração que passei acima, o DocumentRoot do Apache está assim:

DocumentRoot /var/www

Você tem que se atentar a esses pequenos detalhes da configuração.

Abraço

meu output_dir /var/www/squid-reports

aquele monte de output que coloquei ali em cima sao de diferents posts que fui seguindo!! quando vo la 192.168.101/sarg mostra la o relatorio do primeiro dia que instalei ele, mostra o IP e uns sites. Mas depois disto coloquei na rede e tenho 10 maquinas fazendo o proxy no squid. hoje nao me mostra mais nada.
se vo em 192.168.101/squid-reports ou 192.168.101/squid da erro do apache, diz nao encontrado. ja tentei o output para output_dir /var/lib/sarg
nao sei mais o que fazer!!

mais alguma coisa no apache2 que tenho que fazer? eu sou bem leigo, só sei que se aparecer It Works! é porque o Apache esta funcionando. e proxy esta funcionando no direcionamento para o squid.

[cristianff]

O problema está aí, se o seu output_dir está /var/www/squid-reports o sarg irá gerar os relatórios nesta pasta. Você já verificou se existe esta pasta no diretório /var/www.

Dê um "ls" em /var/www confira se o diretório squid-reports está lá.
Se sim, dentro deve conter os relatórios gerados.

No apache você tem que verificar qual é o DocumentRoot, ou seja, qual pasta do sistema ele está usando como root para os documento, se você está usando o output_dir /var/www/squid-reports você terá que ter uma entrada na configuração do apache que diga que o DocumentRoot é /var/www. Senão ele não estará acessível.

Não sei qual distro você está utilizando e qual versão do apache, mas no Debian e com Apache2, as configurações ficam em:

proxylon:/etc/apache2/sites-available/default

conteúdo do arquivo:

proxylon:/etc/apache2/sites-available# cat default
<VirtualHost *:80>
        ServerAdmin webmaster@localhost
 
 
        DocumentRoot /var/www
        <Directory />
                Options FollowSymLinks
                AllowOverride None
        </Directory>
        <Directory /var/www/>
                Options Indexes FollowSymLinks MultiViews
                AllowOverride None
                Order allow,deny
                allow from all
        </Directory>
 
 
        ScriptAlias /cgi-bin/ /usr/lib/cgi-bin/
        <Directory "/usr/lib/cgi-bin">
                AllowOverride None
                Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch
                Order allow,deny
                Allow from all
        </Directory>
 
 
        ErrorLog ${APACHE_LOG_DIR}/error.log
 
 
        # Possible values include: debug, info, notice, warn, error, crit,
        # alert, emerg.
        LogLevel warn
 
 
        CustomLog ${APACHE_LOG_DIR}/access.log combined
 
 
    Alias /doc/ "/usr/share/doc/"
    <Directory "/usr/share/doc/">
        Options Indexes MultiViews FollowSymLinks
        AllowOverride None
        Order deny,allow
        Deny from all
        Allow from 127.0.0.0/255.0.0.0 ::1/128
    </Directory>
 
 
</VirtualHost>

Faça o que eu te falei, primeiro verifique se existe a pasta squid-report dentro de /var/www, se não tiver, crie a mesma.

Depois veja qual é o DocumentRoot do Apache, uma boa dica é dar uma procurada aqui no forum como configurar o Apache, mas se você seguir o que eu te falei, vai dar certo.

Abraço

[richardic]

dei um cd /var/www e dentro tenho
html(pasta)
index.html(arquivo)
sarg(pasta)
wpad.dat (arquivo este que uso no proxy em cada PC da minha rede)

dentro da pasta sarg tenho:
2011Nov04-2011Nov04(este historico que aparece quando vo no http://ip/sarg);
pasta 2011Nov04-2011Nov06(nao aparece);
pasta Daily (aparece no http://ip/sarg);
pasta 2011Nov04-2011Nov05 (nao aparece no http://ip/sarg);
pasta 2011Nov06-2011Nov07 (nao aparece no http://ip/sarg);
pasta images pasta Weekly (aparece no http://ip/sarg)
vou seguir o resto que postasse ai. valeu por me ajudar

[richardic]

entrei na pasta /var/www/html/squid e la dentro tem :
pasta 2011Nov04-2011Nov04 (esta pasta que aparece quando vo no http://ip/sarg)

[richardic]

Apache2, as configurações ficam em:

proxylon:/etc/apache2/sites-available/default

tenho seguinte dentro do default do apache2

<VirtualHost *:80>
ServerAdmin webmaster@localhost
DocumentRoot /var/www
<Directory />
Options FollowSymLinks
AllowOverride None
</Directory>
<Directory /var/www/>
Options Indexes FollowSymLinks MultiViews
AllowOverride None
Order allow,deny
allow from all
</Directory>
ScriptAlias /cgi-bin/ /usr/lib/cgi-bin/
<Directory "/usr/lib/cgi-bin">
AllowOverride None
Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch
Order allow,deny
Allow from all
</Directory>
ErrorLog ${APACHE_LOG_DIR}/error.log
# Possible values include: debug, info, notice, warn, error, crit,
# alert, emerg.
LogLevel warn
CustomLog ${APACHE_LOG_DIR}/access.log combined
Alias /doc/ "/usr/share/doc/"
<Directory "/usr/share/doc/">
Options Indexes MultiViews FollowSymLinks
AllowOverride None
Order deny,allow
Deny from all
Allow from 127.0.0.0/255.0.0.0 ::1/128
</Directory>
</VirtualHost>

[richardic]

amigo, vou fazer o seguinte: vou colocar no sarg o output_dir /var/www/sarg
abri o arquivo access.log dentro /var/log/squid , neste arquivo vejo tudo e todos os IP's de cada maquina!!
agora entro em conclusao de que este access.log nao esta sendo "linkado" com http://ip/sarg

[cristianff]

Pois é, tem que ter a pasta squid-reports, senão ele não vai achar a pasta de destino para gerar os logs e vai dar erro.

Faça o seguinte, abra uma nova janela do terminal e fiquei monitorando os logs:

tail -f /var/log/syslog

Você vai achando os problemas e corrigindo.

[richardic]

promover@promover:~$ tail -f /var/log/syslog
Nov 11 09:17:01 promover CRON[7243]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Nov 11 10:17:01 promover CRON[7271]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Nov 11 11:17:01 promover CRON[7300]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Nov 11 11:51:16 promover crontab[7350]: (root) BEGIN EDIT (root)
Nov 11 11:52:31 promover crontab[7350]: (root) REPLACE (root)
Nov 11 11:52:31 promover crontab[7350]: (root) END EDIT (root)
Nov 11 11:53:01 promover cron[2051]: (root) RELOAD (crontabs/root)
Nov 11 12:17:01 promover CRON[7429]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Nov 11 13:17:01 promover CRON[7458]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Nov 11 14:17:01 promover CRON[7667]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)

[richardic]

no ubuntu tento dar um mkdir mas nao funciona.
Como faço para criar esta pasta?

Agradeço por tua disponibilidade em me ajudar detalhadamente, muito dificil achar alguem assim, depois de meses que estou começando a aprender. Pretendo um dia disponibilizar meus conhecimentos para ajudar alguem tambem. valeu

[cristianff]

Você tem que deixar rodando e executar o comando sarg, analise os logs.

[cristianff]

sudo mkdir

[cristianff]

Primeiro passo:
Abra uma janela de deixe rodando o log

tail -f /var/log/syslog

Depois crie a pasta que está configurada no output_dir do sarg /var/www/squid-reports

sudo mkdir /var/www/squid-reports

Agora tente rodar o sarg e analise o arquivo de log

sudo sarg

É para ele gerar dentro da pasta /var/www/squid-reports os relatórios.

Se tudo ocorrer como o esperado, você tem que colocar o sarg para rodar diariamente ou conforme sua necessidade, para você você tem que editar o cron.

sudo crontab -e

Insira a linha para chamar a execução do programa com o seu horário, no exemplo abaixo e conforme eu já enviei anteriormente, ele será executado todo dia às 23:55

55 23 * * * sarg 1> /dev/null

Acho que assim você vai ter sucesso na sua tarefa.

Abraço

[richardic]

segui tudo que voce me apresentou.
agora é só amanha pra mim poder ver os relatorios de hoje? e os que ja tem la eu nao consigo ver ainda dando um http://ip/sarg
aparece la Daily Weekly e Monthly
Daily entro, e só vejo 2001Nov04-2011Nov04 - somente
Weekly da erro
Monthly da erro
tentei http://ip/squid-reports nao funciona
tentei http://ip/squid nao funciona

abri o access.log e vejo la muuuuuuuuuuuuuuuuuuuito log de todos os IP's da minha rede

sudo sarg
SARG: Records in file: 71229, reading: 100,00%
SARG: No records found
SARG: End