Versão Imprimível
fala galera, bl'z??
galera, seguinte:
tenhamos a seguinte situação hipotética:
tenho um arquivo com os seguintes dados:
123
123
123
1234
1234
1234
12345
12345
12345
e preciso filtrar este arquivo para retirar as linhas repetidas.
o problema é q eu não lembro qual comando faz isso.
:toim: :toim: :toim: :toim: :toim: :toim: :toim:
se alguém puder refrescar minha memória agradeço :good:
valew
caramba galera...
ninguém lembra como faz isso???
:(
depende da onde vc ker fazer isso? é em bash? perl? python?
se for em bash e os dados repetidos forem sempre seguidos mesmo, você pode fazer algo assim:
Código :#!/bin/bash arquivo="$(cat arquivo)" lines=$(echo "${arquivo}" | wc -l) currline=;oldline=; for ((counter=1; ${counter} -le $lines; counter=$((${counter} + 1)))); do currline="$(echo "${arquivo}" | head -n ${counter} | tail -n 1)" if [ "${currline}" != "${oldline}" ]; then oldline="${currline}" echo "${currline}" # ou: echo "${currline}" >> arquivo_filtrado fi done
Depurando esse código, a idéia dele é a mesma. Acho que se vc souber qquer lingua de programação é fácil portar isso prá c, perl, php, etc.
Espero que ajude.
oo cara...
valew pela ajuda...
o script seria em bash mesmo
ainda estou me aperfeiçoando em bash script, e muitas vezes preciso de ajuda...
entendi o q o script fará, mas ele está dando erro na linha 5, erro de sintaxe...
verei se consigo corrigir o erro, mas qualquer coisa eu pedirei ajuda novamente..
valew
debuguei:
Código :#!/bin/bash arquivo="$(cat arquivo)" lines=$(echo "${arquivo}" | wc -l) currline=;oldline=; for ((counter=1; counter <= $lines; counter=$((${counter} + 1)))); do currline="$(echo "${arquivo}" | head -n ${counter} | tail -n 1)" if [ "${currline}" != "${oldline}" ]; then oldline="${currline}" echo "${currline}" # ou: echo "${currline}" >> arquivo_filtrado fi done
(plo menos aki funfow agora)
oo cara...
agora sim... era exatamente isso q eu queria...
não me lembro direito, mas acredito q a uns dias atrás eu vi em um lugar um comando faz isso, não precisava de script nenhum...
mas este aqui resolve o problema...
valew :good:
Tá bom, só fica ligado que do jeito que eu coloquei, se tiver
1111
1112
1111
ele vai mostrar os tres
ele só compara se o -ANTERIOR- é igual atual. Se for, ele ignora. Eh o caso mais simples mesmo que eu abordei.
Talvez o comando que você viu foi o 'grep'... Mas se ajeitou, beleza :P
opa... esquenta não.. :)Citação:
Postado originalmente por Avenger
eu vi como funciona o script... e o arquivo gerado fica em ordem, qualquer coisa o sort resolveria o problema...
e o comando q disse não é o grep nem o egrep...
mas desde q precisei disso não me lembro onde vi o comando e muito menos qual comando era... talvez o mesmo nem exista.. heheheh
ahh.. e soh pra vc saber o pq eu precisei deste script, é para liberar o nfs no firewall, com isso eu pego as portas e para as regras de iptables..
valew
cat [arquivo] | sort -u
Olá!Citação:
Postado originalmente por lucianogf
Esse comando não seria o uniq?
:good:
[]'s
Cléoson.
o [b]uniq[/u] faz exatamente o mesmo que meu scriptzinho fez (legau!) o sort, por sua vez, tirou repetecos 'à frente', deixando então só uma versão de cada amostra.
Porém o 'sort -u' 'ordenou' antes de limpar o pessoal, ao invés de apenas tirar repetecos. (ex.: se tem 111 depois de 222, e mais uns 15 111's à frente, ele só vai exibir um exemplar de '111', porém esta irá aparecer antes do '222', tirando a ordenação natural da amostra.)
oooo camarada...Citação:
Postado originalmente por cleoson
não lembro se era este comando "uniq" q eu tinha visto, mas este faz exatamente o q eu queria... :D
mas mesmo com este comando o arquivo precisa estar em ordem, pois ele compara a linha seguinte com a anterior...
neste caso existe a necessidade de utilizar o sort antes do uniq nada q eu pipe não resolva.. hehehe
valew
cara....Citação:
Postado originalmente por Avenger
agora lembrei....
soh q fui testar aqui a opção "sort -u" soh depois q respondi anteriormente...
acredito q o comando q eu vi certa vez era o sort mesmo, mas não lembrava do parametro -u....
e como meu inglês não é aquelas coisa, não adiantou eu per a manpage do sort...
e eu testei o comando aqui com o parametro -u pq não lembrava o q o mesmo fazia, ae vi o resultado... e era exatamente este q eu esperava...
acredito q agora não vou mais esquecer deste comando.. hehehehe
valew