From UnderLinux Wiki

Tabela de conteúdo 1 Introdução 1.1 Definição 1.2 Expressões Regulares 2 Exemplos de uso do SED 2.1 Substituição 2.2 Impressão 2.3 Deleção 2.4 Script para geração de arquivos 3 Miscelânia 4 Veja Também

Introdução

Este tutorial conterá dicas diversas de como usar o sed para problemas cotidianos e na confecção de scripts

O propósito deste manual é despertar sua curiosidade para esta poderosa ferramenta, aconselhamos seguir os links no final deste tutorial para aprofundar seus conhecimentos sobre o assunto.

Definição

O programa SED é um editor de Streams, mas o que são streams afinal?
Pense no tráfego de dados como água em um encanamento, agora pense que ao invés de gotas temos bits e que o cano é bem fino e que só deixa passar um bit de cada vez. Isso é uma Stream, bits enfileirados. Quando temos uma Stream em rede o nome muda, temos aí um Socket.
O SED é interativo?
Imagine o editor [Vim] ou o Emacs, eles são editores interativos, pelos quais vamos abrindo os arquivos a serem editados e então vamos interativamente, modificando o que queremos. O SED por sua vez pode apagar, por exemplo, a terceira linha de mil arquivos sem que tenhamos de abrir um a um, é por isso que dizemos que o SED é um editor não interativo.

Expressões Regulares

O SED pode usar Expressões regulares nos seus padrões de inserção ou substituição. Veja exemplos:

Para ler um arquivo de configuração qualquer, ocultando as linhas que iniciam com "#", ou seja, linhas comentadas
sed -e '/^#/d' /etc/services | less

O circunflexo, em expressões regulares, significa início de linha!

Exemplos de uso do SED

Veja o script abaixo, nele a cor branca bgcolor="#white" foi modificada para um cinza bgcolor="#eeeeee" e as modificações são aplicadas e então são criados os arquivos com as modificações no diretório pessoal ~/tmp.

#!/bin/bash
# Scrip para mudar background de arquivos html
# Criado: Sex 30/Dez/2005 hs 22:12
# ultima modificação: Sex 30 Dez 2005 22:15:06 BRST
for i in *.html
  do
  cat $i | sed 's/bgcolor="#white"/bgcolor="#eeeeee"/' > ~/tmp/$i
  done

Administradores de sistemas podem e devem usar o SED, pois isto poupa tempo. O scrip acima foi criado só para que a leitura de um manual (que tinha o background branco) ficasse menos cansativa.

cat arquivo.txt | sed '4q;d'

Substituições de texto (substituir as vírgulas [,] por hífens[-]):

cat arquivo.txt | sed 's/,/-/g'

Pegar somente o endereço de retorno

nslookup a.root-servers.net | tail -n 1 | sed s/Address:\ \ \ \ //

Colocar número de linhas de um arquivo em uma variável

var=`sed -n '$=' /etc/passwd`

Só para constar, outro modo de contar linhas de um arquivo seria

cat /caminho/para/o/arquivo | wc -l

Substituição

Um comando de substituição tem a seguinte sintaxe:

sed 's/texto_antigo/texto_novo/' arquivo.txt

Pode-se, retirando as aspas simples, que protegem o comando para não ser lido pelo bahs, colocar variáveis de modo que uma construção assim é possível:

sed s/texto_antigo/$var2/ arquivo.txt

as aspas simples são para que o conteúdo do comando seja interpretado pelo sed antes do Bash.
Obs: Não direcione a saída para o próprio arquivo, pois isto irá apaga-lo. Uma solução segura é fazer algo assim:

sed 's/texto_antigo/texto_novo/' arquivo.txt > arquivo2.txt
cat arquivo2.txt > arquivo.txt

insere 5 espaços em branco no ínicio de cada linha (faz o "offset" da pagina)

sed 's/^/     /'

substituir (achar e trocar) "foo" por "bar" em cada linha

sed 's/foo/bar/'             # troca somente a 1a instância de uma linha
sed 's/foo/bar/4'            # troca somente a 4a instância de uma linha
sed 's/foo/bar/g'            # troca TODAS as instâncias de uma linha

substitui "foo" por "bar" SOMENTE nas linhas que contem "baz"

sed '/baz/s/foo/bar/g'

Impressão

IMPRESSÃO SELETIVA DE CERTAS LINHAS:

# imprime as primeiras 10 linhas de um arquivo (emula o comportamento do "head")
sed 10q

# imprime a primeira linha de um arquivo (emula o "head -1")
sed q

# imprime as últimas 10 linhas de um arquivo (emula o "tail") 
sed -e :a -e '$q;N;11,$D;ba'

# imprime somente a última linha de um arquivo (emula o "tail -1")
sed '$!d'

# imprime somente as linhas que se encaixam na expressão regular 
# (emula o "grep")
sed -n '/regexp/p'           # método 1
sed '/regexp/!d'             # método 2

# imprime somente as linhas que NÃO se encaixam na regexp (emula o "grep -v")
sed -n '/regexp/!p'          # método 1, corresponde ao descrito acima
sed '/regexp/d'              # método 2, sintaxe mais simples

# imprime uma linha de contexto antes e depois da expressão regular,
# com o número da linha indicando onde a expressão regular 
# aparece (similar ao "grep -A1 -B1")
sed -n -e '/regexp/{=;x;1!p;g;$!N;p;D;}' -e h

# procura e imprime por AAA e BBB e CCC (em qualquer ordem)
sed '/AAA/!d; /BBB/!d; /CCC/!d'

# procura e imprime por AAA e BBB e CCC (nessa ordem)
sed '/AAA.*BBB.*CCC/!d'

# procura e imprime por AAA ou BBB ou CCC (emula o "egrep")
sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d

# imprime um parágrafo se ele possuir AAA (linhas vazias separam os parágrafos).
# Com o HHsed v1.5 deve ser inserido o 'G;' apos o 'x;', nos 3 scripts abaixo
sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;'

# imprime um parágrafo se ele possuir AAA e BBB e CCC (em qualquer ordem)
sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;/BBB/!d;/CCC/!d'

# imprime o parágrafo inteiro se ele possuir AAA ou BBB ou CCC
sed -e '/./{H;$!d;}' -e 'x;/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d

# imprime somente as linhas com 65 caracteres ou mais
sed -n '/^.\{65\}/p'

# imprime somente as linhas com menos que 65 caracteres
sed -n '/^.\{65\}/!p'        # método 1, corresponde ao descrito acima
sed '/^.\{65\}/d'            # método 2, sintaxe mais simples

# imprime uma parte do arquivo que vai da expressão regular até
# o final do mesmo
sed -n '/regexp/,$p'

# imprime uma parte do arquivo baseada nos números das linhas (linhas 8-12,
# inclusive)
sed -n '8,12p'               # método 1
sed '8,12!d'                 # método 2

# imprime a linha de número 52
sed -n '52p'                 # método 1
sed '52!d'                   # método 2
sed '52q;d'                  # método 3, eficiente com arquivos grandes

# imprime um pedaço de arquivo que está entre as duas
# expressões regulares (inclusive)
sed -n '/Iowa/,/Montana/p'             # é case sensitive

Deleção

# imprime todo o arquivo EXCETO a parte entre 2 expressões regulares
sed '/Iowa/,/Montana/d'

# deleta linhas duplicadas de um arquivo (emula o "uniq"). A primeira
# linha de um conjunto de linhas duplicadas é mantida, o resto é deletada
sed '$!N; /^\(.*\)\n\1$/!P; D'

# deleta TODAS as linhas em branco de um arquivo (o mesmo que "grep '.' ")
sed '/^$/d'

# deleta todas as linhas brancas CONSECUTIVAS de um arquivo exceto a primeira;
# ainda deleta todas as linhas em branco do início e fim do arquivo (emula o
# "cat -s")
sed '/./,/^$/!d'          # método 1, permite 0 brancos no topo, 1 no
                          # final do arquivo
sed '/^$/N;/\n$/D'        # método 2, permite 1 branco no top, 0 no
                          # final do arquivo   

# deleta todas as linhas em branco do arquivo, exceto as 2 primeiras:
sed '/^$/N;/\n$/N;//D'

# deleta todas as linhas em branco iniciais, no início do arquivo
sed '/./,$!d'

# deleta todas as linhas em branco finais, no final do arquivo
sed -e :a -e '/^\n*$/N;/\n$/ba'

# deleta a última linha de cada parágrafo
sed -n '/^$/{p;h;};/./{x;/./p;}'

Criei um script ao qual dei o nome del_linhas, ele aceita um ou dois parâmetros quando se usar um só parâmetro ele apaga a linha fornecida pelo usuário, quando o script recebe dois parâmetros ele apaga do primeiro até o segundo. Outro detalhe sobre este scrip é que ele atua no diretório corrente.

1 #!/bin/bash
2 # Criado em:Qua 04/Jan/2006 hs 16:51
3 # ultima modificação: Qui 05 Jan 2006 10:13:51 BRST
4 # Apaga linhas
5 # Autor: Sérgio Luiz Araújo Silva 
6 
7  if [ "$#" -lt "2"  ]
8  then     # se for passado só uma linha
9      for i in `ls *`
10      do
11        echo "apagando a linha $1 do arquivo $i..."
12        cat $i | sed ${1}d > /tmp/$i
13        cat /tmp/$i > $i 
14        rm -f /tmp/$i
15      done
16  else     # se for passado um intervalo
17      for i in `ls *`
18      do
19        echo "apagando valo de $1 até $2"
20        cat $i | sed ${1},${2}d > /tmp/$i
21        cat /tmp/$i > $i 
22        rm -f /tmp/$i
23      done
24  fi 

Os fragmentos do scrip relevantes para o estudo do SED são (na linha 12)

sed ${1}d

e na linha 20

sed ${1},${2}d

Ambos usam variáveis e portanto não se usa aspas simples. A variável

${1}

É o primeiro parâmetro passado para o scrpt e a variável

${2}

É o segundo parâmetro passado para o script.

Script para geração de arquivos

Para estudar o sed fiz um scrip que cria 100 arquivos com a data atual
caso queira pode trocar o comando de data (date) por uma string qualquer por exemplo:

echo "string que será inserida no arquiovo"

#!/bin/bash
# Criado em:Seg 02/Jan/2006 hs 21:16
# ultima modificação: Qua 04 Jan 2006 18:16:10 BRST
# Script para criação de arquivos em série
# Autor: Sérgio Luiz Araújo Silva
# http://vivaotux.blogspot.com
#
# criação da data por extenso do tipo
# seguna 2 de janeiro de 2006
# trechos precedidos com "#" não são interpretados pelo bash
#
   dia_semana=`date +%A`
   dia_mes=`date +%d`
   mes=`date +%B`
   ano=`date +%Y`
   hora=`date +%T`
   dia_hoje=`echo "$dia_semana $dia_mes de $mes de $ano"`
#
# insira arquí o texto que vai ser colocado em cada arquivo
# se for usar aspas "  proteja com contra barra "\"
#
texto="Este deve ser usado para estudos diversos, experimente
usar o SED para fazer modificações em todos os arquivos de uma só
vez, visite a página do Aurélio \"http://aurelio.net/\" vá na seção
sobre o sed \"http://aurelio.net/sed/\". Não deixe também de visitar
o manual sobre Expressões regulares \"http://guia-er.sourceforge.net/guia-er.html\"
visite o site do Thobias ele é o mantenedor das funções zz criadas pelo Aurélio
a página do Thobias é: \"http://www.thobias.org/\" e as funções zz você
encontra em: \"http://funcoeszz.net/\"
e é claro visite meu blog: \"http://vivaotux.blogspot.com\"
outro bom site é Sed por exemplos:
\"http://geocities.yahoo.com.br/cesarakg/sed-1.html\"
\"http://geocities.yahoo.com.br/cesarakg/sed-2.html\"
\"http://geocities.yahoo.com.br/cesarakg/sed-3.html\"
Como o próprio nome diz, estes links dão acesso a uma página com
dezenas de exemplos práticos sobre a utilização do SED
Para exibir cada um dos arquivos gerados com numeração faça:
cat -n arquivo[1-100].txt, onde [1-100] é qualquer um dos 100
arquivos gerados pro este script."
#
# Coloque aquí o seu nome
   autor="Sérgio Luiz Araújo Silva"
# coloque aquí a extensão dos arquivos
   extensao=".txt"
# o laço propriamente de criação dos arquivos
   for ((i=1;i<=100;i++))
     do
       touch arquivo$i.txt
       echo " " >> arquivo$i$extensao #logo abaixo o cabeçalho
       echo " =====================================================" >> arquivo$i$extensao
       echo  "  Arquivo$i$extensao" >> arquivo$i$extensao
       echo  "  Criado $dia_hoje horas $hora" >> arquivo$i$extensao
       echo  "  Autor: $autor" >> arquivo$i$extensao
       echo  "  Arquivo para testes com SED ou egrep" >> arquivo$i$extensao
       echo  "  ou qualquer outro propósito, lhe convier!" >> arquivo$i$extensao
       echo " =====================================================" >> arquivo$i$extensao
       echo " " >> arquivo$i$extensao
       echo "$texto" >> arquivo$i$extensao # neste ponto insiro o texto
       echo " " >> arquivo$i$extensao
     done

Miscelânia

Para quem usa o vim há algumas configurações úteis a serem inseridas no .vimrc

Cria um cabeçalho para scripts bash

fun! InsertHeadBash()
   normal(1G)
   call append(0, "#!/bin/bash")
   call append(1, "# Criado em:" . strftime("%a %d/%b/%Y hs %H:%M"))
   call append(2, "# ultima modificação: " . strftime("%a %d/%b/%Y hs %H:%M"))
   call append(3, "# Autor: Sérgio Luiz Araújo Silva ")
   call append(3, "# Propósito do script")
   normal($)
endfun
map ,sh :call InsertHeadBash()<cr>A

Para chamar o mapeamento acima digite ,sh

Cria um registro de alterações de arquivo

" ChangeLog entry convenience
" Função para inserir um status do arquivo
" cirado: data de criação, alteração, autor etc
fun! InsertChangeLog()
   normal(1G)
   call append(0, "Arquivo")
   call append(1, "Criado: " . strftime("%a %d/%b/%Y hs %H:%M"))
   call append(2, "ultima modificação: " . strftime("%a %d/%b/%Y hs %H:%M"))
   call append(3, "Autor: Sérgio Luiz Araújo Silva")
   normal($)
endfun
map ,cl :call InsertChangeLog()<cr>A

Para chamar o mapeamento acima digite ,cl

Insere número de linhas no arquivo atual

map ,n :%s/^/\=line('.'). ' ' <cr>

Para chamar o mapeamento acima digite ,n
Lembre-se que a insereção do número de linhas é para o caso de enviar o script para análise, setar o número de linhas para ser exibido apenas é feito assim:

" o mapeamento abaixo coloca e retira a numeração
" o sistema alterna a numeração para ativa ou desativada (boleano)
map <F11> <esc>:set nu!<cr>

Veja mais sobre o vimrc em http://aurelio.net/doc/vim/

Veja Também

• http://aurelio.net/sed/sed-HOWTO.html
• sed por exemplos
• Expressões regulares
• Comandos de 1 linha para o SED