ANLISE DE FERRAMENTAS PARA O

CONTROLE DE SPAM
Paulo Manoel Mafra
Departamento de Automac ao e Sistemas
Universidade Federal de Santa Catarina
88040-900 Florian opolis - SC
mafra@das.ufsc.br
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.1/36

Tpicos
Algumas Consideraes sobre SPAM
Abordagens Possveis para Combater SPAM
Algumas Tcnicas Utilizadas
Tipos de Bloqueio
Experincias e Testes
Problemas Enfrentados e Solues Adotadas
Concluses
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.2/36

Algumas Consideraes sobre SPAM
O que um SPAM ?
E-mail indesejado, contendo propaganda no
solicitada
Por que pessoas odeiam SPAM ?
Porque eles enchem a caixa postal dos usurios
com informaes inteis
Porque seu contedo de pssima qualidade
Porque eles consomem banda e sobrecarregam
servidores de e-mail
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.3/36

Abordagens Possveis para
Combater SPAM
Legislao apropriada
Problema: Cada pas tem a sua legislao
Taxao para o envio de e-mails
Problema: Em qual moeda seria pago, para quem,
isso resolveria o problema ?
Uso de diversas tcnicas nos servidores de e-mail
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.4/36

Diculdades Encontradas para
Combater o SPAM
Os cabealhos das mensagens geralmente so falsos
Uso de endereos IP dinmicos (xDSL, dial-up)
Muitas redes no tomam atitudes para prevenir e
combater o SPAM gerado pelos seus usurios. Essas
redes possuem usurios que utilizam o servio de
e-mail corretamente e usurios que utilizam para
enviar SPAM
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.5/36

Algumas Tcnicas Utilizadas
Tcnicas de bloqueio:
Tcnicas de bloqueio por cabealho da mensagem
Uso de greylisting
Tcnicas de bloqueio por contedo da mensagem
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.6/36

Tcnicas de Bloqueio por Cabealho
So tcnicas implementadas geralmente no MTA (Mail
Transport Agent)
Algumas dessas tcnicas podem ser implementadas
individualmente no cliente de e-mail
So compostas por:
Vericao da existncia do domnio informado
Vericao da existncia de um nome para o
endereo IP do emissor
Listas externas - RBLs
Listas internas de acesso
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.7/36

Vericao do Domnio Informado
Verica se o domnio do remetente existe
Pode rejeitar e-mails de servidores mal congurados
Bloqueia mensagens com cabealho falso (que
tenham um domnio inexistente)
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.8/36

Vericao de Nome para o
Endereo IP do Emissor
Verica se existe um nome para o endereo IP que
est enviando a mensagem
Verica se a partir do nome chega-se ao endereo IP
Bloqueia muito SPAM
Bloqueia e-mails legtimos
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.9/36

Listas Externas - RBLs
Servio mantido por terceiros
No permite um bloqueio de endereos individuais,
bloqueia por endereo IP do servidor
No garante que todas as mensagens bloqueadas
sejam SPAM
Poucos provedores respondem por queixas de abusos
RBL - Realtime Blackhole List
http://www.mail-abuse.com/
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.10/36

Listas Internas de Acesso
So listas compostas por endereos IP, por CIDRs, por
domnios ou por endereos especcos de e-mail
No utilizam nenhuma heurstica ou mtodo de
anlise estatstica
No existe o problema do falso positivo (pelo menos
em teoria)
Essas listas so classicadas em:
Whitelist: mensagens oriundas de endereos
contidos em uma whitelist so aceitas
Blacklist: mensagens oriundas de endereos
contidos em uma blacklist so rejeitadas
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.11/36

Listas Internas de Acesso
Possuem um gerenciamento manual ou automtico, a
partir de servios externos
Pode-se criar listas individuais onde o usurio
somente receber e-mails de pessoas cadastradas
nessas listas. Por exemplo, se Joo envia uma
mensagem para Pedro e o endereo de Joo no est
cadastrado, necessrio acessar um link e se
cadastrar para ter sua mensagem aceita. Isso pode
gerar problemas (nem todos os usurios aceitam)
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.12/36

Listas Internas de Acesso
Problema: estas listas no so dinmicas, precisam
ser gerenciadas
O tamanho dessas listas sempre cresce ?
Quem ir gerenciar estas listas ?
Possvel soluo: uso de greylisting
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.13/36

Tcnicas de Bloqueio por Cabealho
Bloqueio em nvel de servidor
uma implementao que bloqueia a maior parte
dos SPAMs, porm no pode bloquear e-mails leg
timos
Deve ser genrico, no pode seguir caractersticas
de apenas um grupo de usurios
Bloqueio em nvel de usurio
uma implementao voltada s caractersticas do
usurio
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.14/36

Greylisting
Uso de whitelist e blacklist com manuteno
automtica
Nem o administrador da rede nem os usurios
precisam inserir os endereos IPs nas listas
Reduz a carga no MTA
Ajuda na ltragem de vrus
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.15/36

Greylisting
O ltro baseia-se no comportamento diferente dos
servidores emissores de SPAM e servidores de
e-mails tradicionais
Servidores de SPAM enviam somente uma vez a
mensagem, se ocorreu um erro descartam. Se no
descartassem, formariam las gigantescas nesses
servidores
Servidores tradicionais seguem a RFC 821 e
reenviam a mensagem em caso de falha transiente
(cdigo de resposta 45x)
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.16/36

Greylisting - Spamd
Sistema simples, baseado em triplas contendo:
Endereo IP do servidor de e-mail que est
enviando a mensagem
Endereo do emissor do e-mail (from)
Endereo do receptor do e-mail (to)
Tempo tc de criao do registro
Tempo tr para comear a receber o e-mail (30 min
aps o tempo de criao do registro)
Tempo te de expirao da tripla (4 horas aps o
tempo de criao do registro)
GREY:10.0.0.1:<spam@spam.com>:<usuario@dominio>:tc:tr:te
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.17/36

Greylisting - Spamd
Faz-se necessrio o uso do ltro de pacotes (Packet
Filter) para redirecionar os pacotes enviados porta 25
para uma outra porta (8025) onde roda o ltro
Ao receber o e-mail o ltro verica se o endereo IP do
servidor emissor est na whitelist, se est, o e-mail
repassado para o MTA que est rodando na porta 25
Verica se o endereo IP do servidor emissor est em
uma blacklist, se est, rejeita o e-mail
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.18/36

Greylisting - Spamd
Verica se a tripla existe
1. Se a tripla no existe, cria um novo registro e
retorna uma falha temporria ao servidor emissor
2. Se a tripla existe e o seu tempo tr para comear a
receber no expirou, retorna uma falha temporria
ao servidor emissor
3. Se a tripla existe e o tempo tr expirou, ento
adiciona o endereo IP do servidor na whitelist e
atribui um tempo de 36 dias para expirao. A tripla
ca assim: WHITE:10.0.0.1:::tc:tr:te
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.19/36

Greylisting - Spamd
Temporria
SPAMD
Porta 25
Porta 8025
Ok
Falha
Mensagens
Servidor de Email Local
Servidor
de Emails
Internet
Mensagem
P
a
c
k
e
t

F
i
l
t
e
r
MTA
Envio de
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.20/36

Greylisting - Problemas
Usurios impacientes podem car insatisfeitos
As mensagens enviadas por servidores que no esto
na whitelist levam algum tempo para chegar
Alguns portais tipo hotmail por exemplo nem sempre
reenviam a mensagem pelo mesmo servidor, fazendo
com que a mensagem demore muito para chegar
O uso de mltiplos MXs pode causar problema se
cada servidor tiver as suas prprias listas. Corre-se o
risco do mail ser barrado temporariamente mltiplas
vezes, uma para cada MX
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.21/36

Tcnicas de Bloqueio por Contedo
Os ltros por contedo classicam as mensagens
atravs de uma anlise do seu contedo
O contedo da mensagem comparado com duas
bases de dados que armazenam palavras
consideradas boas(goodlist) e runs (spamlist)
As palavras tem um peso. O peso das palavras
atribudo durante o treinamento do ltro. Cada vez
que o ltro treinado o peso de cada palavra
modicado considerando o seu peso atual e o nmero
de vezes que a palavra apareceu no treinamento (a
frequncia da palavra)
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.22/36

Tcnicas de Bloqueio por Contedo
Compara-se as palavras contidas na mensagem com
essas duas bases (goodlist e spamlist) e atribui-se uma
pontuao mensagem
Mensagens que receberam uma pontuao maior que
uma taxa estipulada so classicadas como SPAM
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.23/36

Exemplo de Implementao
CTA. USURIO
Servidor de Email Local
PROCMAIL MTA
Mensagem
Ok
PASTASPAM
Spam
Filtro
Spamlist
Goodlist
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.24/36

Tcnicas de Bloqueio por Contedo
Exemplos de ltros:
Bayesian Mail Filter
http://sourceforge.net/projects/bmf
Bogolter
http://bogofilter.sourceforge.net/
Quick Spam Filter
http://www.ivarch.com/programs/qsf.shtml
SpamAssassin
http://www.spamassassin.org/
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.25/36

Problemas dos Filtros por Contedo
Barram muitas mensagens legtimas (falso positivo)
Alguns SPAMs continuam incomodando (falso
negativo)
Os SPAMs utilizam sequncias de palavras sem
sentido para confundir o ltro
Precisam ser treinados
Funcionam melhor individualmente, porm cada
usurio precisa trein-lo
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.26/36

Experincias e Testes
Foi utilizado o sistema operacional OpenBSD verso 3.5
Como MTA foi utilizado o Postx verso 2.0.19
Para o ltro Greylisting utilizou-se o Spamd, este faz
parte do sistema OpenBSD
Esses ltros podem ser implementados em qualquer
sistema UNIX
Cada tipo de ltro foi testado individualmente
Criou-se uma congurao para utilizar os ltros em
conjunto
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.27/36

Testes - Filtros por Contedo
Os ltros foram treinados com 6374 mensagens.
Foram aplicadas aos ltros 700 mensagens
produzindo os resultados mostrados na tabela abaixo:
tipos de falso falso acertos
ltros positivo negativo
BMF 2 35 663
Bogolter 1 89 610
Quick Spam 21 102 577
SpamAssassin 2 110 588
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.28/36

Testes - Filtros por Contedo
O BMF um ltro rpido e apresentou resultados muito
bons
O Bogolter semelhante ao BMF em termos de
velocidade mas no apresentou resultados to bons
O Quick Spam foi o mais rpido porm errou muito na
classicao dos e-mails
O ltro Spamassassin computacionalmente muito
pesado (utiliza uma vasta gama de testes de
heursticas) e no teve um alto ndice de acerto
Optou-se por utilizar o BMF como ltro auxiliar
individual (opcional)
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.29/36

Testes Individuais
Com o objetivo de vericar a ecincia dos ltros
selecionados, efetuaram-se testes com cada um dos
ltros individualmente. A tabela abaixo apresenta os
resultados obtidos:
ltro Mensagens Falso Falso ndice
ltradas pos. neg. acerto
Spamd 258531 0 90763 64.89%
Regras MTA 31316 8 2893 90.73%
BMF 700 2 35 94.71%
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.30/36

Testes em Conjunto
Para os testes em conjunto, alm dos ltros anti-spam,
utilizou-se o ltro anti-vrus Clamav. A tabela abaixo
apresenta os resultados obtidos da anlise dos logs
gerados durante oito dias consecutivos:
ltro Mensagens Mensagens Mensagens
recebidas entregues bloqueadas
Spamd 258531 136580 121951
Regras MTA 136580 46428 90152
Clamav 46428 45803 625
BMF 45803 44802 1001
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.31/36

Testes em Conjunto
O ndice de acerto dos ltros em conjunto foi de
99.61%
Optou-se por uma congurao padro que visa no
perder mensagens autnticas (greylisting + regras de
ltragem bsicas no MTA + anti-vrus)
Para usurios que desejam uma ltragem maior,
pode-se instalar o BMF e aumentar o nvel de ltragem
para as regras no MTA
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.32/36

Problemas Enfrentados e Solues
Adotadas
Alguns usurios deixaram de receber e-mails por
causa dos ltros mas ningum cou sabendo
Soluo: por causa disso, desenvolveu-se shell
scripts para gerao de relatrios dirios dos e-mails
que foram rejeitados por cada ltro, por usurio
Lio que se tira: ltros silenciosos so um convite
a problemas
Vericao de DNS reverso causa muitos falsos
positivos
Soluo: incluso de determinados servidores em
uma whitelist, mediante solicitao do usurio
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.33/36

Problemas Enfrentados e Solues
Adotadas
Uma blacklist externa listou um servidor importante
Soluo: desativar o uso daquela blacklist.
Utilizvamos 6 blacklists externas e hoje utilizamos
somente duas
O intervalo de tempo (tr e te) do Spamd (30 minutos e
4 horas) no era suciente para alguns servidores
reenviarem a mensagem
Soluo: ajustou-se o Spamd para utilizar tempos
de (tr e te): 18 minutos e 26 horas
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.34/36

Concluses
impossvel bloquear 100% dos SPAMs
O uso dos ltros em conjunto melhora bastante o
ndice de acerto do sistema
Podemos dividir os usurios em trs grupos: os que
no se importam com SPAM, os que odeiam SPAM e
os que no gostam mas no se importam em receber
alguns SPAMs
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.35/36

Dvidas?
Obrigado!
AN

ALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.36/36