Professional Documents
Culture Documents
sloh@zaz.com.br
wives@inf.ufrgs.br
palazzo@inf.ufrgs.br
Resumo
O imenso volume de documentos textuais armazenados em meios eletrônicos e
disponíveis em repositórios públicos ou internamente em uma organização são fontes
importantes de conhecimento. As áreas de Inteligência Competitiva e Business
Intelligence procuram explorar estas informações para descobrir conhecimento novo
e útil. Para auxiliar os processos de “garimpagem” de informações em textos,
surgiram técnicas e ferramentas para descoberta de conhecimento em textos. Neste
artigo, é apresentada uma estratégia de descoberta de conhecimento em textos para
auxiliar os trabalhos de análise em Inteligência Competitiva. A estratégia
apresentada está voltada para processos proativos. Nesta classe de sistemas,
encontram-se aqueles que iniciam a busca sem hipóteses ou sem um objetivo
completamente definido e que contam com a ação efetiva do analista interagindo com
o sistema computacional. Neste tipo de processo, o usuário tem problemas que quer
resolver mas não sabe exatamente por onde começar ou que tipo de conhecimento lhe
pode ser útil. Neste artigo são apresentados exemplos de aplicação utilizando a
estratégia proposta e discutidos aspectos que podem influenciar o processo de
descoberta.
Palavras-chave:
Descoberta de Conhecimento em Textos, Text Mining, Ferramentas para Inteligência
Competitiva
1 Introdução
Com o crescente uso de computadores interligados pela Internet, um grande
número de documentos eletrônicos estão sendo armazenados. Em sua grande maioria,
estes documentos contêm informações codificadas em forma textual, tais como
dicionários, manuais, enciclopédias, guias, mensagens de correio eletrônico e páginas
da Web. A necessidade não atendida é como aproveitar o conhecimento humano
disponível nestes documentos textuais para inferir conhecimento novo e útil [11] [3].
Em especial, a área de Inteligência Competitiva (IC) trata este tipo de problema.
A Inteligência Competitiva (IC) é uma área que busca suprir as necessidades
de informação estratégica de uma empresa [8]. No nível atual de globalização e de
informatização, as informações do ambiente interno e externo de uma empresa
tornam-se extremamente valiosas. As informações pertinentes ao ambiente interno de
uma empresa são todas aquelas relacionadas com os seus produtos, vendas, serviços,
estoques, empregados e fornecedores. Já o ambiente externo pode ser compreendido
como o mercado em si e suas tendências, novas tecnologias de produção, a opinião e a
satisfação dos clientes em relação à empresa e às ações da concorrência.
Quando disponíveis publicamente, essas informações podem ser analisadas por
qualquer pessoa de forma lícita. Portanto, coletar e analisar essas informações antes
que os concorrentes o façam é extremamente importante para que uma empresa
mantenha sua posição no mercado. Torna-se cada vez mais obrigatória a utilização de
métodos e ferramentas de inteligência competitiva, correndo-se o risco de se perder
posição mercadológica, caso a empresa não as utilize.
A prática da inteligência possibilita aos empresários estarem sempre bem
informados e preparados para minimizar riscos, antecipar crises e tornar seus produtos
mais competitivos. Por outro lado, por existir uma quantidade muito grande de
informações textuais disponíveis sobre o ambiente externo de uma empresa, aliado ao
fato de essa informação não ser facilmente tratável e analisável, o conhecimento
necessário à tomada de decisão e ao posicionamento estratégico de uma empresa não
é facilmente identificado.
Neste sentido, a área de inteligência busca suprir suas deficiências adotando
técnicas provenientes da área de recuperação de informações, extração de informações
e descoberta de conhecimento em textos.
A área de Recuperação de Informação – RI – (Information Retrieval) tem por
objetivo encontrar documentos que contenham informações relevantes às
necessidades definidas por um usuário em uma consulta [28]. Entretanto, neste caso, o
usuário necessita examinar os documentos resultantes para encontrar informação, o
que é uma tarefa demorada. Já a área de Extração de Informação – EI – (Information
Extraction) estuda metodologias, técnicas e sistemas que possam encontrar dados
específicos dentro de textos. Tais sistemas extraem automaticamente valores de
atributos, tais como campos de um banco de dados. Infelizmente, em geral, tais
sistemas são muito dependentes do domínio, isto é, só apresentam bom desempenho
com certas classes de documentos [10]. Além disto, para criar tais sistemas é
necessário desenvolver muita engenharia de conhecimento, examinando amostras de
textos para identificar como a informação é codificada em frases da língua natural [6].
A partir destas dificuldades, surgiu a área de Descoberta de Conhecimento em
Textos (KDT – Knowledge Discovery in Texts) [12]. No âmbito comercial, esta área é
conhecida como Text Mining. Nas propostas iniciais (por exemplo, em [12], [13], [14]
e [18]), a estratégia básica de KDT era orientada para a aplicação da técnica de
associação ou correlação (comum em Data Mining) sobre características extraídas do
texto (em geral, termos usados no texto ou palavras-chave associadas ao texto). Pode-
se entender a área de KDT como a aplicação de técnicas e ferramentas
computacionais com o objetivo de auxiliar na busca de conhecimento novo e útil
disponível em coleções textuais.
Neste artigo, é apresentada uma estratégia de KDT para auxiliar trabalhos de
Inteligência Competitiva na análise de coleções textuais. A estratégia apresentada está
voltada para processos proativos. Na seção 2, é apresentada resumidamente a área de
IC e suas estratégias. A seção 3 apresenta as principais técnicas de KDT. Já na seção
4, é apresentada uma estratégia para descoberta proativa de conhecimento. Na seção
5, serão apresentados exemplos de aplicação desta estratégia em problemas relativos a
IC e Business Intelligence. Os aspectos que podem influenciar o processo de
descoberta são discutidos na seção 6.
2 Inteligência Competitiva
Os objetivos da inteligência competitiva são: promover o saber-fazer
tecnológico e científico de uma empresa, país ou região; detectar riscos e
oportunidades no mercado exterior e interior; monitorar as ações dos concorrentes
(modos de pensar, técnicas, cultura, intenções e capacidades) e definir estratégias e
ações que devem ser tomadas a fim manter sua estabilidade [8].
Os métodos de inteligência que são utilizados atualmente na área de
administração surgiram durante a segunda guerra mundial e foram muito utilizados e
aperfeiçoados durante a guerra fria. Com o fim da guerra fria, as pessoas que
trabalhavam nos departamentos de defesa passaram a ser contratados pelas grandes
empresas para trabalhar em seus departamentos de pesquisa, desenvolvimento e
marketing.
Basicamente, a atividade de inteligência consiste na aplicação de métodos de
vigília do ambiente externo de uma empresa, buscando monitorar as atividades dos
concorrentes, identificar novos produtos e tecnologias que possam ser aproveitados
pela empresa. Grande parte das informações necessárias ao processo de inteligência
pode ser obtida em fontes públicas (órgãos públicos e na própria Internet) [23]. Com
isso, não há o risco de se ser acusado de espionagem inicial (mas, há o risco de um
concorrente também coletar informações).
b) Bolívia:
- multinacionais: o texto aponta a participação de empresas multinacionais no
setor;
- genético: apesar do termo aparecer somente neste texto, pesquisas genéticas
também são citadas no Paraguai (uma observação significativa é que não se fala
em produtos transgênicos em nenhum dos textos);
- carência: a Bolívia aponta a falta de infra-estrutura como um desafio;
- alguns tipos de produção foram citados somente neste texto, entre eles: castanha,
café, borracha e lhamas (produção de gado deste tipo).
c) Brasil:
- cerrado: apontando esta região como a mais promissora nos próximos anos.
d) Chile:
- fertilidade: do solo é um problema pela escassez de água;
- capitais estrangeiros: o texto fala que o capital estrangeiro tem chegado de forma
significativa.
e) Paraguai:
- artificiais: é apontado o uso de pastagens artificiais.
f) Uruguai:
- agrotóxicos: fala-se na generalização do uso;
- alguns tipos de produção foram citados somente neste texto, entre eles: malte,
arroz, cevada e couro.
6 Conclusão e Discussões
Este artigo apresentou uma proposta para aplicação de técnicas de descoberta
de conhecimento em textos (KDT) em problemas de Inteligência Competitiva (IC). A
proposta segue uma estratégia proativa, isto é, defende o uso de técnicas de KDT sem
que seja necessário ter precisamente definido um objetivo. Assim, o analista de
informações não precisa definir, previamente ao processo, que informações são
importantes. A estratégia proativa se contrapõe ao paradigma reativo com a finalidade
de tornar a descoberta um processo exploratório, onde o analista poderá descobrir
informações novas e úteis durante o processo.
O diferencial desta proposta é que ela libera o analista de definir precisamente
um objetivo ou que informações lhe serão úteis. Isto permite às pessoas ganharem
tempo no processo de descoberta, iniciando sem hipóteses. Mas a principal vantagem
do processo proativo está em que o analista não é influenciado por suas próprias
hipóteses iniciais. Sendo o processo iniciado sem um objetivo preciso, as hipóteses
que vão sendo levantadas durante o processo podem levar a descobertas novas para o
analista, algo em que ele não teria pensado se utilizasse um processo reativo.
Os benefícios dos processos de KDT serão cada vez mais notados com o
aumento de documentos eletrônicos disponíveis internamente às empresas, sejam eles
criados a partir de documentos em papel ou diretamente em computadores. Além
disto, o crescente uso da Internet tem aumentado o volume de informações
publicamente acessíveis em páginas Web. Entretanto, somente com o auxílio de
ferramentas computacionais, os analistas de IC e Business Intelligence poderão fazer
uso adequado das informações disponíveis e encontrar eficientemente conhecimento
novo e útil.
Nas aplicações realizadas, pôde-se perceber que há certos cuidados que devem
ser tomados para que os resultados do processo de descoberta possam ser confiáveis.
[24] sugere que problemas podem ocorrer devido a 5 tipos de imperfeições:
• informação incompleta: quando faltam detalhes de informação (por
exemplo, atributos sem valores);
• informação imprecisa: devido à diferença de granularidade (por exemplo,
datas com referência ao dia ou somente ao mês);
• informação incerta: quando não pode ser provada;
• informação vaga: devido a imprecisões do vocabulário;
• informação inconsistente: por exemplo, quando há valores contraditórios.
Assim, o primeiro cuidado é com a representatividade da coleção textual. Para
interpretar os resultados, assume-se que os textos são completos (contêm todas as
informações relevantes) e verdadeiros (fiéis à da realidade). Se os textos não foram
escritos ou elaborados corretamente ou de forma compatível com a análise sendo
feita, o conhecimento descoberto pode não valer para todos os casos. Este cuidado
deve ser tomado, por exemplo, na aplicação relativa a textos sobre o Mercosul.
Com relação ainda à representatividade da coleção, num trabalho de
Inteligência Competitiva é importante determinar bem o período de tempo sobre o
qual será feita a análise. Por exemplo, no caso do marketing político, os textos foram
extraídos de períodos diferentes (1997 e 1999). Então, os resultados do processo de
descoberta estão condicionados aos eventos e fenômenos que ocorreram próximos a
estes períodos. Decisões ou ações tomadas durante o ano de 1998 certamente
influenciaram os eventos descritos na subcoleção de 1999. Desta forma, a análise
conjunta das duas subcoleções (sem discriminações) pode levar a hipóteses
distorcidas.
Também deve-se ter atenção com o estilo e a linguagem usados nos textos. O
uso de sinônimos e variações léxicas podem levantar falsas hipóteses. No caso do
Mercosul, houve preocupação com este problema durante a análise de termos
exclusivos (resultantes da técnica de diferença).
Outro cuidado a ser tomado é com respeito a termos negativos. No caso do
benchmarking, a expressão “unlike clustering” poderia levar à falsa conclusão de que
a técnica de agrupamento (clustering) estava presente no texto em questão. Para
resolver este problema, foi usado um método de classificação que evita tais
distorções.
7 Agradecimentos
Este trabalho é parcialmente apoiado por CAPES e CNPq.
8 Referências Bibliográficas
[1] AAMODT, Agnar & NYGARD, Mads. Different roles and mutual
dependencies of data, information and knowledge - an AI perspective on
their integration. Data & Knowledge Engineering, v.16, n.3, Setembro de
1995.
[2] BAEZA-YATES, Ricardo e alli. A model and a visual query language for
structured text. In: String Processing and Information Retrieval: A South
American Symposium - SPIRE’98. Proceedings... 1998.
[3] BOWDEN, Paul R.; HALSTEAD, Peter; ROSE, Tony G. Extracting
conceptual knowledge from text using explicit relation markers. In: IX
European Knowledge Acquisition Workshop. Proceedings... Lecture
Notes in Artificial Intelligence, 1076. Maio de 1996.
[4] CALLAN, James P. Passage-level evidence in document retrieval. In: VII
International ACM-SIGIR Conference on Research and Development in
Information Retrieval. Proceedings... London: Springer-Verlag. 1994.
[5] CHEN, Z. Let documents talk to each other: a computer model for connection
of short documents. Journal of Documentation, v.49. n.1, Março de 1993.
[6] CHINCHOR, Nancy; HIRSCHMAN, Lynette; LEWIS, David D. Evaluating
message understanding systems: an analysis of the third message
understanding conference (MUC-3). Computational Linguistics, v.19, n.3,
Setembro de 1993.
[7] CHOUDHURY, Vivek & SAMPLER, Jeffrey L. Information specificity and
environmental scanning: an economic perspective. MIS Quarterly, Março
de 1997.
[8] CLERC, Philippe. Inteligencia económica: retos actuales y perspectivas.
Paris: UNESCO, 1998. 322-335p. (Informe mundial sobre la informacion)
[9] COWIE, Jim & LEHNERT, Wendy. Information extraction. Communications
of the ACM, v.39, n.1, Janeiro de 1996.
[10] CROFT, W. Bruce. Machine learning and information retrieval. In: COLT
Conference. Proceedings... Julho de 1995. (invited talk). Online in
http://www.ee.umd.edu/medlab/filter/
[11] DAVIES, Roy. The creation of new knowledge by information retrieval and
classification. Journal of Documentation, v.45, n.4, Dezembro de 1989.
[12] FELDMAN, Ronen & DAGAN, Ido. "Knowledge Discovery in Textual
Databases (KDT)". IN: 1st International Conference on Knowledge
Discovery (KDD-95). Proceedings ... pp. 112-117, Montreal, Agosto de
1995. Disponível por WWW em http://www.cs.biu.ac.il:8080/~feldman/
[13] FELDMAN, Ronen & HIRSH, Haym. Exploiting background information in
knowledge discovery from text. Journal of Intelligent Information
Systems, v.9, n.1, Julho/Agosto de 1997.
[14] FELDMAN, Ronen & DAGAN, Ido. Mining text using keyword
distributions. Journal of Intelligent Information Systems, v.10, 1998.
pp.281-300
[15] GOEBEL, Michael & GRUENWALD, Le. A survey of data mining and
knowledge discovery software tools. ACM SIGKDD Explorations, v.1,
n.1, Junho de 1999.
[16] KASZKIEL, Marcin & ZOBEL, Justin. Passage retrieval revisited. In: XX
International ACM SIGIR Conference on Research and Development in
Information Retrieval. Proceedings... Philadelphia: ACM Press, 1997.
[17] KUHLTHAU, Carol C. Inside the search process: information seeking from
the user's perspective. Journal of the American Society for Information
Science, v.42, n.5, Junho de 1991.
[18] LIN, Shian-Hua et al. Extracting classification knowledge of Internet
documents with mining term associations: a semantic approach. In:
International ACM-SIGIR Conference on Research and Development in
Information Retrieval (SIGIR-98). Proceedings... 1998.
[19] McKEOWN, Kathleen & RADEV, Dragomir R. Generating summaries of
multiple news articles. IN: International ACM-SIGIR Conference on
Research and Development in Information Retrieval. Proceedings...
Seattle, 1995.
[20] MOENS, Marie-Francine & UYTTENDAELE, Caroline. Automatic text
structuring and categorization as a first step in summarizing legal cases.
Information Processing & Management, v.33, n.6, Novembro de 1997.
[21] MOSCAROLA, Jean; BAULAC, Yves; BOLDEN, Richard. Technology
watch via textual data analysis. Note de Recherche nº 98-14, Université de
Savoie. Julho de 1998.
[22] MOSCAROLA, Jean & BOLDEN, Richard. From the data mine to the
knowledge mill: applying the principles of lexical analysis to the data
mining and knowledge discovery process. Note de Recherche nº 98-15,
Université de Savoie. Setembro de 1998.
[23] NASSIF, Mônica Erichssen Borges & CAMPELLO, Bernadete Santos. A
organização da informação para negócios no Brasil. Perspectivas em
Ciência da Informação, Minas Gerais: Escola de Ciência da Informação.
v.2, n.2, 1997. p.149-161.
[24] PARSONS, Simon. Current approaches to handling imperfect information in
data and knowledge bases. IEEE Transactions on Knowledge and Data
Engineering, v.8, n.3, Junho de 1996.
[25] SALTON, G. & McGILL, M. J. Introduction to modern information retrieval.
McGraw-Hill, 1983.
[26] SCHAFFER, Doug et alli. Navigating hierarchically clustered networks
through fisheye and full-zoom methods. ACM Transactions on Computer-
Human Interaction, v.3, n.2, Junho de 1996.
[27] SOUZA, Inguelore Scheunemann & BELARMINO, Luiz Clovis (eds). Anais
do Seminário Estratégia Agroalimentar para o Mercosul. Pelotas:
Universitária-UFPEL / EMPRAPA-Clima Temperado / IICA / SARGS,
1999.
[28] SPARCK-JONES, Karen & WILLET, Peter (eds). Readings in Information
Retrieval. San Francisco: Morgan Kaufmann, 1997.
[29] VEERASAMY, Aravindan & HEIKES, Russell. Effectiveness of a graphical
display of retrieval results. In: XX International ACM SIGIR Conference
on Research and Development in Information Retrieval. Proceedings...
1997.
[30] WATTS, Robert J. & PORTER, Alan L. Innovation forecasting.
Technological Forecasting and Social Change, v.56, 1997.
[31] WEBBER, Alam. O que queremos dizer com conhecimento. In:
DAVENPORT, T.; PRUSAK, L. Conhecimento Empresarial. 1998. p.1-
28.
[32] WILLET, Peter. Recent trends in hierarchic document clustering: a critical
review. Information Processing & Management, v.24, n.5, 1988. pp.577-
597.
[33] ZANASI, Alessandro. Competitive Intelligence though datamining public
sources. Competitive Intelligence Review, Alexandria, Virginia: SCIP.
v.9, n.1, 1998.