Problema em configuração do SARG

sady · 31-01-2005, 10:08

galera... baixei o Sarg, configurei conforme esse tutorial:

http://www.devin.com.br/eitch/sarg/

dei o comando pra gerar o relatório:

Código :

/usr/bin/sarg -f /etc/sarg/sarg-dia.conf -d 28/01/2005-31/01/2005

ele demorou alguns segundos e retornou que não encontrou registros.

eu antes monitorava o acesso pelo access.log, e o Sarg ta configurado certo para esse arquivo.
Eu tb percebi no arquivo de configuração do Sarg que la ele tem indicado o diretório do arquivo de saída, que no meu caso não existe.
ele fala no tutorial q tem q estar debaixo do ROOT, eu não tenho o diretório /squid-reports/dia.
eu tenho q criar esse diretório???

então pra finalizar, tenho essas 2 dúvidas:

1 - Pq ele não consegue gerar os relatórios como relatei acima?
2 - tenho q criar o diretório /squid-reports/dia debaixo do /root/var/www/html/ ????

charadaa · 31-01-2005, 15:37

Tente usar o squidalyser, creio que seja uma opção mais indicada para a analise de logs do squid ou então tente usar o comando "/usr/sbin/sarg&"
Com relação ao local onde sera gerado o log, este sera apontado dentro do sarg.conf

sady · 31-01-2005, 21:32

entaum.... eu fui la e baixei outra versão do sarg.... compilei e instalei tudo certo... não deu nenhum erro... configurei tudo certo.

mas ele continua dando aquela msg:

SARG: no records found
SARG: end

ja olhei tudo q é site q tenha algo sobre o SARG... tutoriais... mas não da certo.... não adianta... nada faz esse SARG gerar os relatórios....

pow... pq será q ele não ta encontrando nada? será q a data não ta no formato certo?

por favor.. se alguem souber de alguma pista, me fale! rs

**spectrum** · 01-02-2005, 08:40

Ai seguinte posta o conf fo teu srag que eu te dou um help!!!!!!!!!!!

Blz

Postado originalmente por sady

entaum.... eu fui la e baixei outra versão do sarg.... compilei e instalei tudo certo... não deu nenhum erro... configurei tudo certo.

mas ele continua dando aquela msg:

SARG: no records found
SARG: end

ja olhei tudo q é site q tenha algo sobre o SARG... tutoriais... mas não da certo.... não adianta... nada faz esse SARG gerar os relatórios....

pow... pq será q ele não ta encontrando nada? será q a data não ta no formato certo?

por favor.. se alguem souber de alguma pista, me fale! rs

sady · 01-02-2005, 09:39

segue meu sarg.conf:

Código :

# Relatório Squid por: Dia
 
# Língua Utilizada, coloquei em inglês aqui, mas será tudo em português
# do Brasil, veja o porquê depois.
language English
 
# Arquivo de LOG do Squid, lembra? Na sua configuração do Squid tem
# falando onde se encontra este arquivo.
access_log /var/log/squid/access.log
 
# Título da página HTML
title "Relatório Diário do Proxy"
 
# --- Visual ---
# Aqui tem várias variáveis que você pode mudar para deixar o
# visual do relatório (cores, fontes, etc) de acordo com o que
# você quiser. Aqui estou usando os valores padrões.
font_face Arial
header_color darkblue
header_bgcolor blanchedalmond
header_font_size -1
background_color white
text_color black
text_bgcolor beige
title_color green
#--- Fim do Visual ---
 
# Diretório Temporário
temporary_dir /tmp
 
# Diretório de Saída para as página de relatório, ou seja,
# onde o relatório vai ficar para consulta via um navegador.
# "Geralmente" esse diretório tem que estar dentro do root do seu
# servidor Web :D
output_dir /var/www/html/squid-report/dia/
 
# Qual critério de ordem para a seção "TopUser?" USER/CONNECT/BYTES/TIME
# Isso irá organizar o relatório na seção de TopUsers, colocando os usuários
# que mais baixaram bytes primeiro.
topuser_sort_field BYTES reverse
 
# Qual critério de ordem para a seção "User"? SITE/CONNECT/BYTES/TIME
# Isso irá organizar a seção de usuários da mesma forma que o item anterior.
user_sort_field BYTES reverse
 
# Arquivo com usuários que não devem estar nos relatórios
exclude_users /etc/sarg/exclude.users
 
# Arquivo com hosts que não devem estar nos relatórios
exclude_hosts /etc/sarg/exclude.hosts
 
# Formato da data (e=dd/mm/yy, u=mm/dd/yy, w=yy/ww)
date_format e
 
# Limite de logs até os antigos serem removidos, quando houver mais
# de N relatórios, o mais antigo é automaticamente removido. Aqui
# estamos indicando para nunca apagar nada.
lastlog 0
 
# Remover arquivos temporários após o uso?
remove_temp_files yes
 
# Gerar o index.html? (only = gera só o index.html principal)
index yes
 
# Sobrescrever o relatório se já existe?
overwrite_report yes
 
#ip
resolve_ip yes
 
# O que fazer com registros sem usuário? (ignore/ip/everybody)
records_without_userid ignore
 
# Usar vírgula ao invés de ponto?
use_comma no
 
# Qual a quantidade de sites mais visitados à listar?
topsites_num 10
 
# Qual critério de ordem para o topsites? CONNECT/BYTES A/D
# Aqui diz para ordenar os sites mais acessados por utilização de banda,
# em forma decrescente.
topsites_sort_order BYTES D
 
# Arquivo de códigos HTTP para serem ignorados no relatório
exclude_codes /etc/sarg/exclude_codes
 
# Tempo de checkagem
max_elapsed 28800000
 
# -- Tipo de Relatorio a ser gerado --
#      + topsites       - Mostra o site, conexão e bytes
#      + sites_users    - Mostra que usuários estavam acessando um site
#      + users_sites    - Mostra sites acessados pelo usuário
#      + date_time      - Mostra quantidade de bytes usados por dia e hora
#      + denied         - Mostra todos os sites negados com URL completa
#      + auth_failures  - Mostra falhas de autentificação
report_type topsites users_sites sites_users date_time denied auth_failures site_user_time_date
 
# Exibir URLs completas? (Não recomendado)
long_url no
 
# Se alguma linha do access.log conter uma das strings, será ignorada
exclude_string /etc/sarg/exclude.strings
 
# Mostrar mensagem de sucesso na geração do relatório no fim?
show_successful_message no
 
# Campos para a seçao topusers
topuser_fields NUM DATE_TIME USERID CONNECT BYTES %BYTES IN-CACHE-OUT USED_TIME MILISEC %TIME TOTAL AVERAGE
 
# Quantidade de usuários para listar no relatório topsites
topuser_num 0

é isso ai!

pilantrox · 01-02-2005, 12:21

fera,,,,, vc criou o diretório onde esta apontando pra ele gerar os relatórios?????

/var/www/html/squid-reports/dia/

se nao criou crie!!!!

**spectrum** · 01-02-2005, 12:45

Da uma olhada mais na primeira vez que roda o sarg é pra criar o diretório....
O seu problema é que realmente não há navegação! isso que ele diz!!!

Primeiro de uma olhada em: /var/log/squid e veja ce tem os arquivos access.log store.log cache.log

ce houver de uma olhada para ver ce tem algo dentro deles!!!
Segundo ce não tiver nada dentro deles posta o teu squid.conf! ou procura esses arquivos no seu hd, pois ce tiver em outro lugar aponta no sarg ao inves de /var/log/squid/access.log para o diretório especifico!
Caso contrario posta ai!!!

Postado originalmente por pilantrox

fera,,,,, vc criou o diretório onde esta apontando pra ele gerar os relatórios?????

/var/www/html/squid-reports/dia/

se nao criou crie!!!!

sady · 01-02-2005, 12:55

tem tudo isso... o diretório... os arquivos do squid (access.log, cache.log e store.log) estão la no lugar apontado no SARG.

e o arquivo access.log tem conteúdo sim. vo coloca um pedaço dele aqui:

Código :

1107064945.854      2 129.13.145.160 TCP_MISS/503 1449 OPTIONS http://peloi/ - NONE/- text/html
1107064990.994    404 129.13.145.160 TCP_MISS/200 358 POST http://207.46.110.40/gateway/gateway.dll? - DIRECT/207.46.110.40 application/x-msn-messenger
1107065009.544      1 129.13.145.160 TCP_MISS/503 1449 OPTIONS http://peloi/ - NONE/- text/html
1107065050.832    402 129.13.145.160 TCP_MISS/200 356 POST http://207.46.110.40/gateway/gateway.dll? - DIRECT/207.46.110.40 application/x-msn-messenger
1107065073.800      1 129.13.145.160 TCP_MISS/503 1449 OPTIONS http://peloi/ - NONE/- text/html
1107065110.830    402 129.13.145.160 TCP_MISS/200 358 POST http://207.46.110.40/gateway/gateway.dll? - DIRECT/207.46.110.40 application/x-msn-messenger
1107065138.058      1 129.13.145.160 TCP_MISS/503 1449 OPTIONS http://peloi/ - NONE/- text/html
1107065170.819   1121 129.13.145.160 TCP_MISS/200 358 POST http://207.46.110.40/gateway/gateway.dll? - DIRECT/207.46.110.40 application/x-msn-messenger
1107065202.311      1 129.13.145.160 TCP_MISS/503 1449 OPTIONS http://peloi/ - NONE/- text/html
1107065230.832    405 129.13.145.160 TCP_MISS/200 358 POST http://207.46.110.40/gateway/gateway.dll? - DIRECT/207.46.110.40 application/x-msn-messenger

o squid ta gerando o arquivo de log certo?

Chuck · 01-02-2005, 13:50

Da uma olhada nas PERMISSÕES dos diretórios.

Chuck

**spectrum** · 01-02-2005, 13:56

POEM ESSE CONF NO SARG>CONF E TESTA!!!!!

Código :

# sarg.conf
#
# TAG:  language 
#	Available languages:
#		Bulgarian_windows1251
#		Catalan
#		Czech
#		Dutch
#		English
#		French
#		German
#		Hungarian
#		Indonesian
#		Italian
#		Japanese
#		Latvian
#		Polish
#		Portuguese
#		Romanian
#		Russian_koi8
#		Russian_windows1251
#		Serbian
#		Spanish
#		Turkish
#
language Portuguese
 
# TAG:  access_log file
#       Where is the access.log file
#       sarg -l file
#
#access_log /usr/local/squid/var/logs/access.log
access_log /var/log/squid/access.log
 
 
 
# TAG:	title
# 	Especify the title for html page.
#
title "Relatorios de acessos a Internet"
 
# TAG:	font_face
# 	Especify the font for html page.
#
#font_face Arial
 
# TAG:	header_color
# 	Especify the header color
#
#header_color darkblue
 
# TAG:	header_bgcolor
# 	Especify the header bgcolor
#
#header_bgcolor blanchedalmond
 
# TAG:	font_size
# TAG:	font_size
# 	Especify the font size
#
#header_font_size -1
 
# TAG:	background_color
# TAG:	background_color
#	Html page background color
#
#background_color white
 
# TAG:	text_color
#	Html page text color
#
#text_color black
 
# TAG:	text_bgcolor
#	Html page text background color
#
#text_bgcolor beige
 
# TAG:	title_color
#	Html page title color
#
#title_color green
 
# TAG:	logo_image
#	Html page logo.
#
#logo_image none
 
# TAG:	logo_text
#	Html page logo text.
#
#logo_text ""
 
# TAG:	logo_text_color
#	Html page logo texti color.
#
#logo_text_color black
 
# TAG:	logo_image_size
#	Html page logo image size. 
#       width height
#
#image_size 80 45
 
# TAG:	background_image
#	Html page background image
#
#background_image none
 
# TAG:  password
#       User password file used by authentication
#       If used here, reports will be generated only for that users.
#
#password none
 
# TAG:  temporary_dir
#       Temporary directory name for work files
#       sarg -w dir
#
#temporary_dir /tmp
 
# TAG:  output_dir
#       The reports will be saved in that directory
#       sarg -o dir
#
#output_dir /var/www/html/squid-reports
output_dir /var/www/sarg/ONE-SHOT
 
# TAG:  output_email
#       Email address to send the reports. If you use this tag, no html reports will be generated.
#       sarg -e email
#
#output_email none
 
# TAG:  resolve_ip yes/no
#       Convert ip address to dns name
#       sarg -n
#resolve_ip no
resolve_ip yes
 
# TAG:  user_ip yes/no
#       Use Ip Address instead userid in reports.
#       sarg -p
user_ip no
 
# TAG:  topuser_sort_field field normal/reverse
#       Sort field for the Topuser Report.
#       Allowed fields: USER CONNECT BYTES TIME
#
#topuser_sort_field BYTES reverse
 
# TAG:  user_sort_field field normal/reverse
#       Sort field for the User Report.
#       Allowed fields: SITE CONNECT BYTES TIME
#
#user_sort_field BYTES reverse
 
# TAG:  exclude_users file
#       users within the file will be excluded from reports.
#       you can use indexonly to have only index.html file.
#
#exclude_users none
 
# TAG:  exclude_hosts file
#       Hosts, domains or subnets will be excluded from reports.
#
#       Eg.: 192.168.10.10 - exclude ip address only
#            192.168.10.0  - exclude full C class
#            s1.acme.foo   - exclude hostname only
#            acme.foo      - exclude full domain name
#
#exclude_hosts none
 
# TAG:  useragent_log file
#       Put here where is useragent.log to nable useragent report.
#
#useragent_log none
 
# TAG:  date_format
#       Date format in reports: e (Europe=dd/mm/yy), u (USA=mm/dd/yy), w (Weekly=yy.ww)
#date_format u
 
# TAG:  per_user_limit file MB
#       Save userid on file if download exceed n MB.
#       
#       This option can be used to disable user access if user exceed a download limit.
#per_user_limit none
 
# TAG: lastlog n
#      How many reports files must be keept in reports directory.
#      The oldest report file will be automatically removed.
#      0 - no limit.
#
#lastlog 0
 
# TAG: remove_temp_files yes
#      Remove temporary files: geral, usuarios, top, periodo from root report directory.
#
#remove_temp_files yes
 
# TAG: index yes|no|only
#      Generate the main index.html.
#      only - generate only the main index.html
#
#index yes
 
# TAG: overwrite_report yes|no
#      yes - if report date already exist then will be overwrited.
#       no - if report date already exist then will be renamed to filename.n, filename.n+1
#
#overwrite_report no
 
# TAG: records_without_userid ignore|ip|everybody
#      What can I do with records without user id (no authentication) in access.log file ?
#
#      ignore - This record will be ignored.
#          ip - Use ip address instead. (default)
#   everybody - Use "everybody" instead.
#
#records_without_userid ip
 
# TAG: use_comma no|yes
#      Use comma instead point in reports.
#      Eg.: use_comma yes => 23,450,110
#           use_comma no  => 23.450.110
#
#use_comma no
 
# TAG: mail_utility mail|mailx
#      Mail command to use to send reports via SMTP
#
#mail_utility mailx
 
# TAG: topsites_num n
#      How many sites in topsites report.
#
#topsites_num 100
 
# TAG: topsites_sort_order CONNECT|BYTES A|D
#      Sort for topsites report, where A=Ascendent, D=Descendent
#
#topsites_sort_order CONNECT D
 
# TAG: index_sort_order A/D
#      Sort for index.html, where A=Ascendent, D=Descendent
#
#index_sort_order D
 
# TAG: exclude_codes file
#      Ignore records with these codes. Eg.: NONE/400
#
#exclude_codes /usr/local/sarg/exclude_codes
 
# TAG: replace_index string
#      Replace "index.html" in the main index file with this string
#      If null "index.html" is used 
#
#replace_index <?php echo str_replace(".", "_", $REMOTE_ADDR); echo ".html"; ?>
 
# TAG: max_elapsed milliseconds
#      If elapsed time is recorded in log is greater than max_elapsed use 0 for elapsed time.
#      Use 0 for no checking 
#
#max_elapsed 0
# 8 Hours
max_elapsed 28800000
 
# TAG: report_type type
#      What kind of reports to generate.
#      topsites		   - shows the site, connect and bytes
#      sites_users	   - shows which users were accessing a site
#      users_sites	   - shows sites accessed by the user
#      date_time	   - shows the amount of bytes used by day and hour
#      denied		   - shows all denied sites with full URL
#      auth_failures       - shows autentication failures
#      site_user_time_date - shows sites, dates, times and bytes
#
#      Eg.: report_type topsites denied 
#
#report_type topsites sites_users users_sites date_time denied auth_failures site_user_time_date
 
# TAG: usertab filename
#      You can change the "userid" or the "ip address" to be a real user name on the rpeorts.
#      Table syntax:
# 		userid name   or   ip address name
#      Eg:
#		SirIsaac Isaac Newton
#		vinci Leonardo da Vinci
#		192.168.10.1 Karol Wojtyla
#      
#      Each line must be terminated with '\n'
#
#usertab none
 
# TAG: long_url yes|no
#      If yes, the full url is showed in report.
#      If no, only the site will be showed
#
#      YES option generate very big sort files and reports.
#
#long_url no
 
# TAG: date_time_by bytes|elap
#      Date/Time reports will use bytes or elapsed time?
#
#date_time_by bytes
 
# TAG: charset name
#      ISO 8859 is a full series of 10 standardized multilingual single-byte coded (8bit)
#      graphic character sets for writing in alphabetic languages
#      You can use the following charsets:
#		Latin1 		- West European
#		Latin2 		- East European 
#		Latin3 		- South European 
#		Latin4 		- North European 
#		Cyrillic 
#		Arabic 
#		Greek 
#		Hebrew 
#		Latin5 		- Turkish 
#		Latin6
#		Windows-1251
#		Koi8-r
#
#charset Latin1
 
# TAG: user_invalid_char "&/"
#      Records that contain invalid characters in userid will be ignored by Sarg.
#
#user_invalid_char "&/"
 
# TAG: privacy yes|no
#      privacy_string "***.***.***.***"
#      privacy_string_color blue
#      In some countries the sysadm cannot see the visited sites by a restrictive law.
#      Using privacy yes the visited url will be changes by privacy_string and the link
#      will be removed from reports.
#
#privacy no
#privacy_string "***.***.***.***"
#privacy_string_color blue
 
# TAG: include_users "user1:user2:...:usern"
#      Reports will be generated only for listed users.
#
#include_users none
 
# TAG: exclude_string "string1:string2:...:stringn"
#      Records from access.log file that contain one of listed strings will be ignored.
#
#exclude_string none
 
# TAG: show_successful_message yes|no
#      Shows "Successful report generated on dir" at end of process.
#
#show_successful_message yes
show_successful_message no
 
# TAG: show_read_statistics yes|no
#      Shows some reading statistics.
#
#show_read_statistics no
 
# TAG: topuser_fields
#      Which fields must be in Topuser report.
#
#topuser_fields NUM DATE_TIME USERID CONNECT BYTES %BYTES IN-CACHE-OUT USED_TIME MILISEC %TIME TOTAL AVERAGE
 
# TAG: user_report_fields
#      Which fields must be in User report.
#
#user_report_fields CONNECT BYTES %BYTES IN-CACHE-OUT USED_TIME MILISEC %TIME TOTAL AVERAGE
 
# TAG: topuser_num n
#      How many users in topsites report. 0 = no limit
#
#topuser_num 0
 
# TAG: site_user_time_date_type list|table
#      generate reports for site_user_time_date in list or table format
#
#site_user_time_date_type table
 
# TAG: datafile file
#      Save the report results in a file to populate some database
#
#datafile none
 
# TAG: datafile_delimiter ";"
#      ascii character to use as a field separator in datafile
#
#datafile_delimiter ";"
 
# TAG: datafile_fields all
#      Which data fields must be in datafile
#      user;date;time;url;connect;bytes;in_cache;out_cache;elapsed
#
#datafile_fields user;date;time;url;connect;bytes;in_cache;out_cache;elapsed
 
# TAG: weekdays
#      The weekdays to take account ( Sunday->0, Saturday->6 )
# Example:
#weekdays 1-3,5
# Default:
#weekdays 0-6
 
# TAG: hours
#      The hours to take account
# Example:
#hours 7-12,14,16,18-20
# Default:
#hours 0-23
 
# TAG: squidguard_log_path file
#      Generate reports from SquidGuard logs.
#
#squidguard_log_path none
 
# TAG: show_sarg_info yes|no
#      shows sarg information and site patch on each report bottom
#
#show_sarg_info yes
 
# TAG: parsed_output_log directory
#      Saves the processed log in a sarg format after parsing the squid log file.
#      This is a way to dump all of the data structures out, after parsing from 
#      the logs (presumably this data will be much smaller than the log files themselves),
#      and pull them back in for later processing and merging with data from previous logs.
#
#parsed_output_log none
 
# TAG parsed_output_log_compress /bin/gzip|/usr/bin/bzip2|nocompress
#      sarg logs compress util
#
#parsed_output_log_compress /bin/gzip
 
# TAG displayed_values bytes|abbreviation
#      how the values will be displayed in reports.
#      eg. bytes  	-  209.526
#          abbreviation -  210K
#
#displayed_values bytes

sady · 01-02-2005, 14:09

ele ta me falando q não encontra o arquivo access.log

SARG: File not found: /usr/local/squid/var/logs/access.log

só q meu access.log não ta nesse diretório

ta no: /var/log/squid/access.log

mto estranho, pq no sarg.conf q vc me passou o caminho é essa!

Chuck · 01-02-2005, 14:47

Cara, dentro da pasta que vc descompactou os sources do sarg, tem um arquivo em .c que contem todas as opções pré-definidas. Não lembro exatamente qual é o arquivo. Lá da pra vc mudar na mão o lugar onde ele esta buscando o access.log ai é só compilar denovo.

Chuck

pilantrox · 01-02-2005, 14:52

é que eh o local default onde fica os logs do squid.conf ,,, mas se o seu access.log esta em /var/log/squid/access.log direciona o sarg pra a pasta certa...
a linha onde
#access_log /usr/local/squid/var/logs/access.log
access_log /var/log/squid/access.log ,,, zera o seu sarg e coloca o sarg.conf que o Spectrum postou ali ,, vai dar certinho,,,,,,

**spectrum** · 01-02-2005, 14:53

Nem precisa faz o que o mano ai em cima falou!!!

Postado originalmente por Chuck

Cara, dentro da pasta que vc descompactou os sources do sarg, tem um arquivo em .c que contem todas as opções pré-definidas. Não lembro exatamente qual é o arquivo. Lá da pra vc mudar na mão o lugar onde ele esta buscando o access.log ai é só compilar denovo.

Chuck

pilantrox · 01-02-2005, 15:07

precisa naum ,,, faz o seguinte ,,, ve onde tah o seu access.log certinho,,
tail -f /var/log/squid/access.log (se estiver nesse caminho) e ve se tah rodando trafego em cima do teu squid, dai vai onde está o sarg.conf , zera ele, pode ser com o comando
>/usr/local/sarg/sarg.conf (se estiver nesse caminho)
cola o sarg.conf do spectrum, cria o diretório onde o sarg está apontando pra gerar os relatórios e digita "sarg" no shell, sem as aspas, tem q gerar ,, se o seu trafego estiver rodando pelo squid e o sarg estiver apontando certo onde esta o access.log naum tem pq naum funcionar.........

Chuck · 01-02-2005, 16:00

Vixi....

sady · 01-02-2005, 16:02

véio.... fiz tudo isso e ele continua "ACHANDO" q o access.log ta no /usr/local/squid/....

# TAG: access_log file
# Where is the access.log file
# sarg -l file
#
access_log /var/log/squid/access.log

qq isso... não to entendo... ele não ta lendo esse arquivo, não é possível

pilantrox · 01-02-2005, 16:15

cola o squid.conf pra nos darmos uma analizada.....

sady · 01-02-2005, 16:23

aeeeeeeeeeeee o negócio é o seguinte... não sei daonde me surgiu o a idéia, mas resolvi dar "sarg --help" pra ver as opções... me apareceu a opção "-l"

blza...

fui la e digitei "sarg -l /var/log/squid/access.log" e ele gerou certo desde o dia 16/12/2004.... tudo por pastas certinho....

agora me vem a pergunta???? como é possível isso?
e pq ele não ta pegando o camingo do SARG.CONF????????

pilantrox · 01-02-2005, 16:50

como vc compilou o SARG??????? posta os procedimentos q vc usou pra tentarmos ver onde esta o problema,,,,

Problema em configuração do SARG

Ferramentas de Tópicos