Filtro de dados

[lucianogf]

fala galera, bl'z??

galera, seguinte:

tenhamos a seguinte situação hipotética:

tenho um arquivo com os seguintes dados:

123
123
123
1234
1234
1234
12345
12345
12345

e preciso filtrar este arquivo para retirar as linhas repetidas.

o problema é q eu não lembro qual comando faz isso.
:toim: :toim: :toim: :toim: :toim: :toim: :toim:

se alguém puder refrescar minha memória agradeço :good:

valew

[lucianogf]

caramba galera...

ninguém lembra como faz isso???

[Avenger]

depende da onde vc ker fazer isso? é em bash? perl? python?

se for em bash e os dados repetidos forem sempre seguidos mesmo, você pode fazer algo assim:

#!/bin/bash
arquivo="$(cat arquivo)"
lines=$(echo "${arquivo}" | wc -l)
currline=;oldline=;
for ((counter=1; ${counter} -le $lines; counter=$((${counter} + 1)))); do
 currline="$(echo "${arquivo}" | head -n ${counter} | tail -n 1)"
 if [ "${currline}" != "${oldline}" ]; then
  oldline="${currline}"
  echo "${currline}"
  # ou: echo "${currline}" >> arquivo_filtrado
 fi
done

Depurando esse código, a idéia dele é a mesma. Acho que se vc souber qquer lingua de programação é fácil portar isso prá c, perl, php, etc.

Espero que ajude.

[lucianogf]

oo cara...

valew pela ajuda...

o script seria em bash mesmo

ainda estou me aperfeiçoando em bash script, e muitas vezes preciso de ajuda...

entendi o q o script fará, mas ele está dando erro na linha 5, erro de sintaxe...

verei se consigo corrigir o erro, mas qualquer coisa eu pedirei ajuda novamente..

valew

[Avenger]

debuguei:

#!/bin/bash 
arquivo="$(cat arquivo)" 
lines=$(echo "${arquivo}" | wc -l) 
currline=;oldline=; 
for ((counter=1; counter <= $lines; counter=$((${counter} + 1)))); do 
 currline="$(echo "${arquivo}" | head -n ${counter} | tail -n 1)" 
 if [ "${currline}" != "${oldline}" ]; then 
  oldline="${currline}" 
  echo "${currline}" 
  # ou: echo "${currline}" >> arquivo_filtrado 
 fi 
done

(plo menos aki funfow agora)

[lucianogf]

oo cara...

agora sim... era exatamente isso q eu queria...

não me lembro direito, mas acredito q a uns dias atrás eu vi em um lugar um comando faz isso, não precisava de script nenhum...

mas este aqui resolve o problema...

valew :good:

[Avenger]

Tá bom, só fica ligado que do jeito que eu coloquei, se tiver
1111
1112
1111
ele vai mostrar os tres
ele só compara se o -ANTERIOR- é igual atual. Se for, ele ignora. Eh o caso mais simples mesmo que eu abordei.
Talvez o comando que você viu foi o 'grep'... Mas se ajeitou, beleza :P

[lucianogf]

Tá bom, só fica ligado que do jeito que eu coloquei, se tiver
1111
1112
1111
ele vai mostrar os tres
ele só compara se o -ANTERIOR- é igual atual. Se for, ele ignora. Eh o caso mais simples mesmo que eu abordei.
Talvez o comando que você viu foi o 'grep'... Mas se ajeitou, beleza :P

opa... esquenta não..

eu vi como funciona o script... e o arquivo gerado fica em ordem, qualquer coisa o sort resolveria o problema...

e o comando q disse não é o grep nem o egrep...

mas desde q precisei disso não me lembro onde vi o comando e muito menos qual comando era... talvez o mesmo nem exista.. heheheh

ahh.. e soh pra vc saber o pq eu precisei deste script, é para liberar o nfs no firewall, com isso eu pego as portas e para as regras de iptables..

valew

[belvio]

cat [arquivo] | sort -u

[cleoson]

e o comando q disse não é o grep nem o egrep...

Olá!

Esse comando não seria o uniq?

:good:

[]'s
Cléoson.

[Avenger]

o [b]uniq[/u] faz exatamente o mesmo que meu scriptzinho fez (legau!) o sort, por sua vez, tirou repetecos 'à frente', deixando então só uma versão de cada amostra.

Porém o 'sort -u' 'ordenou' antes de limpar o pessoal, ao invés de apenas tirar repetecos. (ex.: se tem 111 depois de 222, e mais uns 15 111's à frente, ele só vai exibir um exemplar de '111', porém esta irá aparecer antes do '222', tirando a ordenação natural da amostra.)

[lucianogf]

e o comando q disse não é o grep nem o egrep...

Olá!

Esse comando não seria o uniq?

:good:

[]'s
Cléoson.

oooo camarada...

não lembro se era este comando "uniq" q eu tinha visto, mas este faz exatamente o q eu queria...

mas mesmo com este comando o arquivo precisa estar em ordem, pois ele compara a linha seguinte com a anterior...

neste caso existe a necessidade de utilizar o sort antes do uniq nada q eu pipe não resolva.. hehehe

valew

[lucianogf]

o [b]uniq[/u] faz exatamente o mesmo que meu scriptzinho fez (legau!) o sort, por sua vez, tirou repetecos 'à frente', deixando então só uma versão de cada amostra.

Porém o 'sort -u' 'ordenou' antes de limpar o pessoal, ao invés de apenas tirar repetecos. (ex.: se tem 111 depois de 222, e mais uns 15 111's à frente, ele só vai exibir um exemplar de '111', porém esta irá aparecer antes do '222', tirando a ordenação natural da amostra.)

cara....

agora lembrei....

soh q fui testar aqui a opção "sort -u" soh depois q respondi anteriormente...

acredito q o comando q eu vi certa vez era o sort mesmo, mas não lembrava do parametro -u....

e como meu inglês não é aquelas coisa, não adiantou eu per a manpage do sort...

e eu testei o comando aqui com o parametro -u pq não lembrava o q o mesmo fazia, ae vi o resultado... e era exatamente este q eu esperava...

acredito q agora não vou mais esquecer deste comando.. hehehehe

valew