Squid não carrega depois da máquina ser desligada incorretam

Pessoal eu não aguenta mais reinstalar o serviço squid no meu kurumin...
Acontece o seguinte...tudo funcionanando perfeitamente...se ocorre algum problema, como por exemplo queda de energia ou algum animal não consegue desligar o pc corretamente, o squid não carrega mais, não sei mais o que fazer ja tentei de tudo...o kurumin funciona normalmente, porém o squid não carrega...tem que formatar e reinstalar tudo denovo, agora se vc desliga o pc corretamente tudo funciona perfeitamente, uma vez desligado incorretamente não carrega mais, por favor se alguem poder me ajudar eu agradeço muito mas muito mesmo!!!!

Qual o erro que da ??? veja o erro nos logs e posta ai ..


Abraço.

desculpe a ignorancia sou iniciante em linux

seria

tail -f /var/log/message.log

:?

Na verdade vc precisa abrir o arquivo e achar as linhas do Squid.

Bem, seria interessante se você informasse o local do seu diretório ou partição de logs do squid, porém irei considerar que você possui a seguinte árvore de direórios onde o squid está gerando os logs.
/var/log/squid/cache <= diretório de logs do squid !
E que seu squid está instalado dentro do /etc/squid. Assim podemos ter uma idéia do nosso cenário.
Dentro do /etc/squid/sbin existe um arquivo chamado RunCache, ele é um script que tem por finalidade inicializar o squid.
PS.: Eu tive vários problemas como o seu, porém resolvi da forma como vou detalhar. O único problema é que perde todo o log gerado.
edite o arquivo RunCache, e encontre a última condicional onde ele verifica o número de tentativas que o script está fazendo para tentar inicializar o squid, ele faz uma comparação para 5 tentativas. Dentro dessa condicional existe uma mensagem. comente-a, e adicione os seguntes comandos:
rm -Rf /var/log/squid/cache/*.*
squid -z
Assim ele irá reconstruir o diretório de log a partir do zero, e em seguida iniciar normalmente o squid.

Agora, analizando o que você narrou na mensagem, o que pode estar acontecendo é o seguinte: Como os logs são sincronizizados com os dados que estã sendo gravados na RAM e no HD, algum seguemento da sua memória pode estar com células danificadas gerando assim um log defeituoso, e quando o squid faz a nova leitura do dietório e dos arquivos de logs, o que acontece é um arquivo danificado que ele está tentado ler.
Bem, essa é a minha idéia no momento.
espero ter ajudado.

Será que você não está com uma partição preparada somente para o squid em ext2? pode ser que por causa disso o squid não sobe, mas porque não consegue montar como leitura a partição.

Verifique em /etc/fstab e veja se encontra algo que lhe responda isso.

então o access.log fica em /var/log/squid/ o squid.conf fica em /etc/squid
não sei se é exatamente isso que vcs querem saber...como uso os scripts do kurumin para instalar o squid, to achando que talves seja algo que esse script faça...mas com relação a defeito na memória, eu acho meio dificil porque já rodei memtest por um bom tempo sem acusar nenhum erro, e se fosse um bloco defeituoso, porque o problema só aparece quando ele é desligado incorretamente...com relação aos particionamentos estou usando o seguinte reiserfs com 30000MB e um swap com 5000MB meu squid.conf está com a configuração para gravar 20480MB no cache e usando 384MB da cachemen ... vou fazer os testes e analizar as configurações que vcs me passaram e ver os resultados...vlw mesmo ... espero que consiga resolver

Citação:

---

Bem, seria interessante se você informasse o local do seu diretório ou partição de logs do squid, porém irei considerar que você possui a seguinte árvore de direórios onde o squid está gerando os logs.
/var/log/squid/cache <= diretório de logs do squid !
E que seu squid está instalado dentro do /etc/squid. Assim podemos ter uma idéia do nosso cenário.
Dentro do /etc/squid/sbin existe um arquivo chamado RunCache, ele é um script que tem por finalidade inicializar o squid.
PS.: Eu tive vários problemas como o seu, porém resolvi da forma como vou detalhar. O único problema é que perde todo o log gerado.
edite o arquivo RunCache, e encontre a última condicional onde ele verifica o número de tentativas que o script está fazendo para tentar inicializar o squid, ele faz uma comparação para 5 tentativas. Dentro dessa condicional existe uma mensagem. comente-a, e adicione os seguntes comandos:
rm -Rf /var/log/squid/cache/*.*
squid -z
Assim ele irá reconstruir o diretório de log a partir do zero, e em seguida iniciar normalmente o squid.

Agora, analizando o que você narrou na mensagem, o que pode estar acontecendo é o seguinte: Como os logs são sincronizizados com os dados que estã sendo gravados na RAM e no HD, algum seguemento da sua memória pode estar com células danificadas gerando assim um log defeituoso, e quando o squid faz a nova leitura do dietório e dos arquivos de logs, o que acontece é um arquivo danificado que ele está tentado ler.
Bem, essa é a minha idéia no momento.
espero ter ajudado.

---

Tava analizando sua colocação...pensando bem...os logs na verdade seriam sempre excluidos se eu colocar essa configuração no script de inicialização?
isso seria interessante...afinal os logs não tem muita importancia nesse meu caso até porque a máquina é para uma lan...mas sinceramente, eu não consigo alcançar o que pode estar ocorrendo de errado....

Gostaria de saber de vcs quais os arquivos de log´s que eu deveria postar aqui para que todos pudessem analizar o que está de errado , pois estou pensando em formatar ela denovo...

Outra coisa...será que seria algum problema com o kurumin 5.0?
e se eu instalar o debian 3.1 mesmo...o que vcs acham?
Onde eu acho o debian 3.1 br pois ois ftps da usp nao respondem...
Galera desculpa por tantas perguntas, mas é que eu preciso resolver isso definitavamente pois eu já reinstalei esse servidor umas 5 X nesses 60 dias que eu implatei ele na lan...

Bem pessoal vamos lá....vejam...Quando eu trouxe a máquina para casa e liguei no meu speedy notei que o serviço squid estava ativo...porem na rede ele não navegava...de outro pc eu não conseguia utilizar o squid, no proprio servidor linux o firefox que não estava utilizando o proxy navegava normalmente, então eu dei esse comando
squid -k shutdown
squid -z
squid start
squid -k reconfigure

e o meu outro pc da rede conseguiu navegar normalmente ou seja o squid voltou a funcionar...agora tenho certeza que se eu desligar ele por 2 ou 3 vezes direto o squid para.
Nesse momento vou deixar ele funcionando a noite inteira ou seja o servidor proxy vai ficar ligado...tambem andei notando que outros ips estavam usando meu proxy...vou postar os links para acesso dos log e configurações...ai coloco o link para vcs darem uma olhada...meu ip nesse momento é 201.13.79.215 se alguem quiser tentar usar o proxy para ver se o firewall está configurado de forma correta eu agradeço

VLW MESMO GALERA!!!!

cara, as vezes o squid para de funcionar se o cache tiver com alguma falha, tente reconstruir o cache em caso de falha. Também tem uma falha que eu desconfio: se vc inicia o squid sem ter acesso a rede o squid nao carrega corretamente e morre.

existe alguma forma de eu arrumar este problema...pois eu to achando que quando o squid é desligado incorretamente ele realemente não consegue ler suas pastas de cache...tem como eu incluir alguma linha em algum lugar forçando ele a reconstruir caso haja algum erro, pois fica dificil eu reconstruir porque ele fica em um cliente que tem uma lan house.Como nosso colega comendou ai em cima mas eu nao achei onde posso adicionar isso no runcache...

Não quero ser ipertinente, mas pessoal eu preciso de ajuda mesmo não acho nada na net...estou na seguinte situação

Quando desligo e ligo novamente o servidor o squid inicia mas não navega...para funcionar tenho que acessar o servidor via putty (SSH) e executar

service squid stop
squid -z
service squid start

pronto ai ele funciona, mas até onde eu sei esse "squid -z" apaga o cache tambem não é? como posso resolver esse problema?

Mais uma pra vcs analizarem...vejam que eu limpei o cache.log reinciei o pc...como era de se esperar ele nao funcionou o proxy...ai eu executei os comando e vejam as diferenças no log

ANTES DOS CÓDIGOS

2005/11/14 16:33:31| Starting Squid Cache version 2.5.STABLE9 for i386-debian-linux-gnu...
2005/11/14 16:33:31| Process ID 3320
2005/11/14 16:33:31| With 1024 file descriptors available
2005/11/14 16:33:31| DNS Socket created at 0.0.0.0, port 1024, FD 6
2005/11/14 16:33:31| Adding nameserver 200.204.0.10 from /etc/resolv.conf
2005/11/14 16:33:31| Adding nameserver 200.205.125.58 from /etc/resolv.conf
2005/11/14 16:33:31| User-Agent logging is disabled.
2005/11/14 16:33:31| Referer logging is disabled.
2005/11/14 16:33:31| Unlinkd pipe opened on FD 11
2005/11/14 16:33:31| Swap maxSize 20971520 KB, estimated 1613193 objects
2005/11/14 16:33:31| Target number of buckets: 80659
2005/11/14 16:33:31| Using 131072 Store buckets
2005/11/14 16:33:31| Max Mem size: 407552 KB
2005/11/14 16:33:31| Max Swap size: 20971520 KB
2005/11/14 16:33:31| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2005/11/14 16:33:31| Rebuilding storage in /var/spool/squid (CLEAN)
2005/11/14 16:33:31| Using Least Load store dir selection
2005/11/14 16:33:31| Current Directory is /
2005/11/14 16:33:31| Loaded Icons.
2005/11/14 16:33:31| Accepting HTTP connections at 0.0.0.0, port 3128, FD 13.
2005/11/14 16:33:31| Accepting ICP messages at 0.0.0.0, port 3130, FD 14.
2005/11/14 16:33:31| HTCP Disabled.
2005/11/14 16:33:31| WCCP Disabled.
2005/11/14 16:33:31| Ready to serve requests.
2005/11/14 16:33:31| Store rebuilding is 12.2% complete
2005/11/14 16:33:32| Done reading /var/spool/squid swaplog (33537 entries)
2005/11/14 16:33:32| Finished rebuilding storage from disk.
2005/11/14 16:33:32| 33537 Entries scanned
2005/11/14 16:33:32| 0 Invalid entries.
2005/11/14 16:33:32| 0 With invalid flags.
2005/11/14 16:33:32| 33537 Objects loaded.
2005/11/14 16:33:32| 0 Objects expired.
2005/11/14 16:33:32| 0 Objects cancelled.
2005/11/14 16:33:32| 0 Duplicate URLs purged.
2005/11/14 16:33:32| 0 Swapfile clashes avoided.
2005/11/14 16:33:32| Took 1.3 seconds (26354.2 objects/sec).
2005/11/14 16:33:32| Beginning Validation Procedure
2005/11/14 16:33:32| Completed Validation Procedure
2005/11/14 16:33:32| Validated 33537 Entries
2005/11/14 16:33:32| store_swap_size = 345580k
2005/11/14 16:33:33| storeLateRelease: released 0 objects
2005/11/14 16:41:29| Preparing for shutdown after 2 requests
2005/11/14 16:41:29| Waiting 30 seconds for active connections to finish
2005/11/14 16:41:29| FD 13 Closing HTTP connection
2005/11/14 16:42:00| Shutting down...
2005/11/14 16:42:00| FD 14 Closing ICP connection
2005/11/14 16:42:00| Closing unlinkd pipe on FD 11
2005/11/14 16:42:00| storeDirWriteCleanLogs: Starting...
2005/11/14 16:42:01| Finished. Wrote 33537 entries.
2005/11/14 16:42:01| Took 0.0 seconds (1298524.8 entries/sec).
CPU Usage: 0.694 seconds = 0.349 user + 0.345 sys
Maximum Resident Size: 0 KB
Page faults with physical i/o: 2
Memory usage for squid via mallinfo():
total space in arena: 21644 KB
Ordinary blocks: 21609 KB 9 blks
Small blocks: 0 KB 0 blks
Holding blocks: 720 KB 2 blks
Free Small blocks: 0 KB
Free Ordinary blocks: 34 KB
Total in use: 22329 KB 103%
Total free: 34 KB 0%
2005/11/14 16:42:01| Squid Cache (Version 2.5.STABLE9): Exiting normally.

DEPOIS DO COMANDO SQUID OK

2005/11/14 16:42:57| Starting Squid Cache version 2.5.STABLE9 for i386-debian-linux-gnu...
2005/11/14 16:42:57| Process ID 3786
2005/11/14 16:42:57| With 1024 file descriptors available
2005/11/14 16:42:57| DNS Socket created at 0.0.0.0, port 1025, FD 6
2005/11/14 16:42:57| Adding nameserver 200.204.0.10 from /etc/resolv.conf
2005/11/14 16:42:57| Adding nameserver 200.205.125.58 from /etc/resolv.conf
2005/11/14 16:42:57| User-Agent logging is disabled.
2005/11/14 16:42:57| Referer logging is disabled.
2005/11/14 16:42:57| Unlinkd pipe opened on FD 11
2005/11/14 16:42:57| Swap maxSize 20971520 KB, estimated 1613193 objects
2005/11/14 16:42:57| Target number of buckets: 80659
2005/11/14 16:42:57| Using 131072 Store buckets
2005/11/14 16:42:57| Max Mem size: 407552 KB
2005/11/14 16:42:57| Max Swap size: 20971520 KB
2005/11/14 16:42:57| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2005/11/14 16:42:57| Rebuilding storage in /var/spool/squid (CLEAN)
2005/11/14 16:42:57| Using Least Load store dir selection
2005/11/14 16:42:57| Current Directory is /
2005/11/14 16:42:57| Loaded Icons.
2005/11/14 16:42:57| Accepting HTTP connections at 0.0.0.0, port 3128, FD 13.
2005/11/14 16:42:57| Accepting ICP messages at 0.0.0.0, port 3130, FD 14.
2005/11/14 16:42:57| HTCP Disabled.
2005/11/14 16:42:57| WCCP Disabled.
2005/11/14 16:42:57| Ready to serve requests.
2005/11/14 16:42:57| Store rebuilding is 12.2% complete
2005/11/14 16:42:58| Done reading /var/spool/squid swaplog (33537 entries)
2005/11/14 16:42:58| Finished rebuilding storage from disk.
2005/11/14 16:42:58| 33537 Entries scanned
2005/11/14 16:42:58| 0 Invalid entries.
2005/11/14 16:42:58| 0 With invalid flags.
2005/11/14 16:42:58| 33537 Objects loaded.
2005/11/14 16:42:58| 0 Objects expired.
2005/11/14 16:42:58| 0 Objects cancelled.
2005/11/14 16:42:58| 0 Duplicate URLs purged.
2005/11/14 16:42:58| 0 Swapfile clashes avoided.
2005/11/14 16:42:58| Took 0.8 seconds (40017.9 objects/sec).
2005/11/14 16:42:58| Beginning Validation Procedure
2005/11/14 16:42:58| Completed Validation Procedure
2005/11/14 16:42:58| Validated 33537 Entries
2005/11/14 16:42:58| store_swap_size = 345580k
2005/11/14 16:42:58| storeLateRelease: released 0 objects

cara, nas máquinas que a gente tem rodando com o squid, antes dele iniciar a gente remove o cache do squid (apagando literalmente o cache) e depois roda o squid -z para refaze-lo. Sempre funciona, e refazer o cache não é algo tão ruim assim, afinal de contas, boa parte das páginas que os usuários vão acessar já não vao estar atualizadas, (como e-mail, jornais on line) e não vai fazer uma diferenca perceptivel no desempenho pro usuário final.

pois então...o meu problema é que uma vez desligado errado ele para de funcionar...por exemplo na ultima vez que eu formatei ele ficou 1 dia funcionando...fiz outro teste...
service squid stop
squid -N
funciona
service squid stop
squid -D
tambem funciona, só que eu tenho que digitar os comando via SSH
então é inviavel eu tenho que manter esse prozy funcionando sem intervenção do usuário

coloca os comando para refazer o cache nos scripts de inicializacao, antes de iniciar o squid. Eu tinha um problema semelhante, a máquina ficava em um pedaco de rede elétrica muito instavel, cai a luz duas a trez vezes por dia, nem o UPS aguentava. coloca os comando de apagar o cache e refaze-lo na inicializacao da máquina, antes de carregar o squid.

Com relação ao script para que ele apague ao cache reconstrua a arvore, não sei como faze-lo se vc puder me dar uma ajudinha !!! vlw


Estou testando ainda, mas talves possa ajudar...tenham certeza de que se eu achar a solução vou postar aqui...oque eu fiz!!
Formatei o kurumin ... na hora de atualziar o apt-get mudei o arquivo sources.list com apenas 3 mirros stable...atualizei também scripts de instalação atualizei tambem atraves do script de instalação do kurumin ai instalei o serviço squid, não mudei nda apenas a configuração relacionada a memcache e tambem acl que bloqueia outras redes..."NOTA EU NÃO" mudei nda relacionado ao tamanho e qtdade de pastas que o cache pode utilizar deixei como padrão...agora tudo esta funcionando inclusive eu posso desliga ele da tomada que o squid volta a funcionar, como estava ativando o firewall e estava encontrando problemas, não mudei nada em relação ao cache...mas vou fazer este teste pelo que notei podem ser duas coisas que resolveram.

1ª possibilidade : o tamanha do cache não foi mudade mantendo o padrão de 512mb

2ª possibilidade : as atualizações

Não sei ainda mas vou procurar concluir para postar a resposta aqui ;)

squid -z = reconstrói o cache
rm -Rf /var/log/squid = apaga os logs do squid, caso essa seja o seu diretório de logs do squid.
ATENÇÃO: é necessário para o deamon do squid antes de executar essas ações

Galera então...eu aumentei duas coisas no squid.conf

cache_mem 300
cache_dir 5120 64 64

O interessante é que até agora não tive problemas...ja desliguei a maquina apertando o power tirei cabo de força umas 3 e não tive nenhum problema até agora...será que foram as atualizações?

Quanto a limpar o cache a cada boot não acho uma solução interessante porque vou eliminar todo o cache que foi acessado nos outros dias diminuindo o desempenho do proxy...mas seria interessante criar tal script para resolver possivel problemas!