DATA WAREHOUSE, BUSINESS INTELLIGENCE AND DATA MINING

67

DATA WAREHOUSE,  BUSINESS INTELLIGENCE  AND DATA MINING 
 

Is NEXT CHAPTER of  our FREE

BOOKS in PDF at

http://www.business-intelligence-secrets.com/business-intelligence-pdf

To  better  understand  how  decisions  and  decision  making  processes  impact  business  performance they need to be first  understand and defined. So, in this  book we will briefly  make introduction into world of Decisions together with Information Systems because they  should be analyzed together, not separated!                 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

                                         

DWH/BI/DATA MINING FUNCTIONALITIES

68

6 DWH/BI/DATA MINING  FUNCTIONALITIES 
  In this chapter   Introducing DWH, BI, Data mining  Limits and advantages  Description of functionalities        There are many books that go much deeper into DWH/BI/Data  mining topics. Aim of this chapter is not to compete with many  excellent materials. Aim of this chapter is to look with users eyes  (business side) and through users requests on named Information  Systems. This approach is more understandable to parties tried to  define their needs and to implement systems. Literature for this  approach is neglectable.  In this chapter, first of all, authors are trying to explain what  DWH/BI/DM actually is, how it functions and what role has it in  companies. Afterwards authors will after several brief explanations  try to explain strategic advantage and role of DWH/BI/DM.   Then will be shown example from practice how with data browsing  tool knowledge from data is created. Chapter also describes 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES     advanced techniques of discovering knowledge from area of statistics and data mining.     Since it DWH, BI and DM are separate solutions but also very integrated, in first part of  chapter authors analyse them separately but in second part of chapter DWH/BI/DM are  described together since they are very tightly integrated.     

69

6.1 Myths and legends 
 

      “DWH will solve everything”    „Push the button and everything will appear on screen“    „It’s fancy. Our competition has it. Why shouldn’t we have it too?“    „System will solve generated problems instead of us.“     Do following statements sound familiar? Well, might sound cheap but this are everyday  statements before projects start in every level of company.   

 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

        But, this is…     …totally…      

DWH/BI/DATA MINING FUNCTIONALITIES

70

WRONG!   
This should never be impulses to jump into waste projects like DWH and BI, because  DWH/BI implementation looks more like operation on many internal organs at same time. It  is big construction site with many workers on it. 

 
DWH/BI and Data mining are not magical solutions.     Brief demystification…    DWH is central integrated data repository designed for reporting, and for keeping  history. Many core business systems and ERPs are burdened with reporting requirements  and because of them reduce operative performance quality. Examples are many where  response time of application is critical and should not be slowed down by reporting  demands. DWH serves to take data from production, store it and prepare data for reporting  and analytics.   Step before DWH is creating data repository and create reports. Since DWH has very  low successful implementation/operation rate app. 40% it is very reasonable to stay on step  before like preparing only data repository and act like DWH but with far less functionalities.    BI solution is in simple words reporting and analytic interface consisting of forms,  diagrams, OLAP cubes and similar and are based upon data repositories like DWH. Primary  function is to publish data in user friendly form. Behind BI interface run logical data sets like  OLAP cubes combining data dimensions and interconnect data from production systems.   Data mining solutions serve to find hidden – new data (trends, segmentations,  behaviors, patterns, tariff simulators and etc.) not visible with ordinary analytical tools. Data  mining brings true value add to business.      

6.2 About DWH, BI and Data mining 
 

6.2.1 DWH Introduction 
  As long as owners, managers, investors exist, exists also aspiration of this persons to  penetrate into core knowledge behind figures from business.     This is important.  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

         

DWH/BI/DATA MINING FUNCTIONALITIES

71

With development of accounting during 19th century reports were stabilized that  could serve as basis for company status analysis. During 20th century with standardization  raises comparability. In latest years of 20th century, with emerge of new applications for  every business process, quantity of information grew exponentially compared to previous  data quantities, also grew number of reports with goal to reach core company status.  Companies that manage to understand trends on markets modify business and prosper  competitively on market.    For example, if company wants to analyse sales of 5 articles from product portfolio  for 10 customers, revenue & costs in last 5 years it will result at least with 1800 numbers  (one paper filled with figures). Without computers and tools for this simple task analysers  would have big work to do. PC is help in this example but number of process supporting  applications multiply tremendously in big corporations. Available data quantity is also  enormous that additionally complicates analysis.   During 70s appeared first applications supporting data analysis. They had many  deficiencies like user interfaces, integration with production systems – source systems and  common lack of power to store and process and this was why they were not in massive  usage. With appearance of Lotus 1‐2‐3 and Excel emerge possibilities for users to create own  models for business analysis. Model is based upon sets of attributes with goal to present  values of attributes in future or attributes for estimation and comparison with other  attributes. In 80s appeared so called executive information systems (EIS) applications with  promises to provide requested information to management for efficient business. Big  problem was to fill applications with data, import time was very long. Beside initial data load  in cases of dynamic market and environment time to adopt and add new data into models  from sources was very long. Even today EIS products are still sold because as tools upon  whose results decisions are made. People tend to make own life easier instead of making  others life easier, in this case easier life of those to prepare data from sources for the tool.   During 90s SQL language spreads on market for accessing data in databases. This was  trigger for ETL tools to appear on market, designed to automate data import process.  Interactive tools developed in parallel to access organized data for management.                                    © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

                High          Users    interaction      1992 

DWH/BI/DATA MINING FUNCTIONALITIES

72

2002 Data mining – sugestions and  solutions)  1996 MIS – data analysis

EIS – data analysis

1985  Low  Low 

    Data agregation (sum and    average)          Reporting      High Analytical capabilities         Figure 12. Development of management information tools. 

First implementations of BI software happened in second part of 90s. It is important to  mention that BI system in sense of knowledge generation is the source system. There are  two types of knowledge BI/DWH systems provides:      • Knowledge resulted from aggregations of historic data (quantitative)  • Knowledge resulted from models implemented on DWH and implemented through BI  system.       

6.2.2 What is DWH? 
  The Data Warehouse  is database of special data structure allowing relatively quickly  and simply complex query performance upon larger data quantities.      Classical production system is first of all designed for data entry. Main request on  production system during data entry is to allow company operative and not interrupted  work. On the other hand DWH is designed for quick and simple access to huge data  quantities. This functionality makes DWH suitable for making DSS ‐ Decision Support System.   

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

73

Daily stored data into production systems at the end should serve to management.  Administrative structure of the company should be able to extract useful information from  large amounts of data, and use it for evaluating the results achieved, planning and making  business decisions. For this purpose it is necessary to ensure a quick and easy access to data  stored in complex structures of production systems. Data Warehouse provides exactly such  mode that is faster and easier access to information, review and analysis of large amounts of  data, with a time measures of the reach of seconds or minutes. When building data warehouses implementers face specific problems that do not  encounter in the construction of production (transaction‐oriented) information systems. Most of the problems are associated with the construction of systems for the extraction of  data. That is periodically automated data transfer from the source to the destination of the  production data warehouse. Some of the problems that are encountered in the  construction of the warehouse are: Gathering of different data from multiple sources (multiple production systems)  implemented on different platforms. Quick detection of changes occurred in the source system. Iterative nature of model building data warehouses and thus iterative nature of  building the software system for the extraction. Problems related to the construction of data model is quite well described in the  literature and is not a problem too. On the other hand, problems related to extraction of  data represent the biggest challenge, making the process of building extraction system takes  between 70% and 90% of the total time required for the construction of warehouses. When  combined with problems that arise because of the iterative nature of building models and  data extraction systems, building DWH system is becoming the system which is very difficult  to accurately determine time of the construction. This is one of the reasons why the  projects are building data warehouses, as shown in practice, largely subject to the failure6.  

6.2.3 What is BI? 
  One non standard approach would be to see what users on Google primarily search for  under term Business Intelligence. Best is to see through wonder wheel, Figure 13. Google  wonder wheel results for term Business Intelligence.   

                                                       
6 Citation ‐ Edin Hadžavdić, Master's Thesis: Building DWH in changing environment, University in  Zagreb, 2000. 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

74

 

 

   
Figure 13. Google wonder wheel results for term Business Intelligence 

  Users for term “business intelligence” mostly mean and use: dashboards, OLAP7,  data mining, warehouse, analyst, vendors for BI. This is pretty much very good description of  what standard BI solution does...                                                           
7 Online Analytical Processing, approach invented to rapidly answer multi‐dimensional analytical  queries 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES 75     Hans Peter Luhn for the first time, in 1958, described Business Intelligence as „the ability to  apprehend the interrelationships of presented facts in such a way as to guide action towards  a desired goal”. 8     “Business Intelligence is not a single product, not a technology nor methodology.    Business Intelligence combines technologies, effective methods, products to organize key  data needed for profit improvement as well as performance improvement. Business  performance can be boosted by certain actions and decisions based on business analyses and  information focused around key business processes.”9     Business Intelligence is also known as competitive intelligence. Information used in BI  serves for Decision supporting ‐ making and acting toward business performance  improvement. Main focus is on key business processes. In order to support key processes  like strategy, marketing, sales and similar BI needs referential data feed from core  production systems like CRM, ERP and similar. Therefore BI is tightly connected with DWH or  data repositories in practice.     Common belief is that standard BI solutions as already presented (OLAP, dashboard,  analytics...) will help to improve main intention of owners and top management and that is  business performance by income increase and reduced costs.     ☺    Standard BI solutions can give approach to core data in very comfortable way... but  this is far away from insider information that is usually needed to significantly move  business. BI will shorten data calculation, data access but will not give new value to  information. Standard BI cannot analyse in detail and thorough financial data flow (revenue  and costs). Special modules and solutions are needed and not standard what BI offers.    Immediately after standard BI solution is applied business will experience business  first BI effect, standard BI solutions increase data awareness and that is excellent  functionality, Business will feel positive effects of BI apply. Second wave, BI effect, is not  pleasant, information needs will explode and with usage of too many queries, different  approaches, views over data consequence will be data hyper production, data overload, data  clutter or data tsunami. Standard BI cannot synthesis information, BI can only analyse  information.    Standard BI solutions can in very limited manner and in area of only non financial  performance indicators support:  monitoring, budgeting, forecasting, controlling and planning;                                                          
8 Source: http://hubpages.com/hub/what‐is‐Business‐Intelligence (26.4.2010)  9 ibid 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

76

revenue generating processes – for example – marketing, channel management,  campaign management and of course sales;   operating processes – like – manufacturing, logistics, inventory management,  customer service, order fulfilment and billing.     All named operations are very limited and might mislead positive efforts in project  starts of BI solutions. Many failed in belief that standard BI solutions are very powerful.                        

6.2.4 What is Data Mart? 
  Market Data (DATAMART) is a component of the data warehouse.  Data Mart is or is  not designed as a component of a large data warehouse.  Therefore, the market data for its  functionality is complete and can exist for them as standalone model. It is data and logical  standalone “island”.  It usually covers a certain part of the company's operations, aimed at a  particular  group  of  users  (e.g.  data  mart  bookkeeping,  marketing,  sales).    The  rule  would  separate market data must be on separate computers‐servers because they themselves are  in some way logically separate entities.     

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

77

Figure 14. Datamart example – material accounting 

 

   

6.2.5 Difference between DWH and production system 
  The  main  differences  between  production  systems  and  data  warehouses  are  summarized in the following table10: 

                                                       
10 Quote ‐ Edin Hadžavdić, Master’s thesis: Izgradnja skladišta podataka u promjenjivim uvjetima,  Sveučilište u Zagrebu, 2000. 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

78

Classical production information  Data Warehouse system        The main purpose   Data entry by the operative   Read data (reporting) of the  business.  Data storage.   administrative structure of the  Organization and minimization  company.   of possible errors in input    Basis for strategic and everyday  decisions.          User type    Operational companies    Administrative structure of the  company.          Mode / operation   The working hours: a large   The working hours: a small number of  which is carried  number of small transactions  transactions performed by reading a  out of the system   that generally perform a smaller  very large amount of data.   amount of input data.    The non‐working hours: a small  number of transactions performed by  reading and enter a very large amount  of data (data extraction).          Input data    Manual entry of individual   Automated entry of large amounts of  records from the operative  data collected from the source,  business.   production systems.          The frequency of   Continuous intake during   Periodically enter (once daily, weekly,  data entry   working hours.   monthly ...) at a time when the source  system is loaded.  
Table 1 Classical production systems vs. DWH differences

6.3 DWH importance 
  Advantages Data Warehouse brings to information reporting system are: Merging of different data from multiple sources (multiple production systems)  implemented on different platforms. Quick detection of changes occurred in the source system.

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

79

Iterative nature of model building data warehouses and thus iterative nature of  building the software system for the extraction. Error detection in production system Long‐term storage of data (typically 5 to 10 years) in relation to production systems  (typically 1 to 2 years) Aggregation of data is an important feature of the data warehouse. The information  system of companies in many cases consists of multiple subsystems, physically separated,  and built on different platforms. Such non‐integrated information system is a major  problem for the system of reporting within the company. The problem of timely collection of  necessary data, the inconsistencies among the reports obtained from various sources  covering the same area of business within the company, are reporting inadequate. Data  Warehouse does unite all existing data sources and makes them accessible in one place. Just the process of collecting and combining data from all available sources is the most  difficult task in building a data warehouse. Each component of the production information system is a potential source of data  for data warehouse. Only the data warehouse does not allow a direct, manual entry of data  into it. Manual entry of individual records in the data warehouse is not allowed, nor  necessary, because the data is already entered the production information system company  (it is the basic purpose of the production system). On the other hand, input data in the data  warehouse is done automatically, periodically and in large quantities. For example, can be  made decision to import data at the end of each working day from any available source and  to make data aggregation and transferred to the data warehouse. This work will perform  software system that must build and run in defined time intervals. While the individual data  (data warehouse refresh period) may be one day, week, or as month depending on how up  to date data is needed. In the time between two refreshes, the data warehouse database is  calm ‐ not any data entry is done, but only read from the database storage of data. Of  course, here users encounter the fact that the warehouse data always have the old data  from yesterday or last week or month. This may seem like a disadvantage but the purpose  of data warehousing is such that the state does not seek what is precisely in real time. Data  Warehouse uses administrative structure (experts, controllers, management) of the  company and generates following questions:   "How much I earned in the last month, when it comes to foreign business partners of the  realization of what is charged in the same period the previous year" or   "What are the most problematic categories of users in terms of return the loan and how  much is the average delay in the case of married male with more than two children? ". Daily data warehouse refresh period is quite sufficient for the first question, while  the monthly period more than good for the second question that takes into account the  historical data that can reach up to ten years ago. One day delay can make a significant  difference. Moreover, as between two refresh does not perform any input into the data  warehouse database, reports made at that time will certainly be consistent, which may not  be the case with statements from the production system in which the data fluctuate due to  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES 80     the continuous input. Of course, if users ask question: "What is the status of bank account?” then users will not use the data warehouse but production information system that shows  what the situation just in this minute or second.

Production systems 

Program systems for  periodical warehouse  refresh 

DWH database 

     

External  data 

Figure 15. Coarse DWH import scheme 

  6.3.1 Preconditions for building systems for data transfers 
  Detailed elaboration of the process of data transfer can start only after it meets  following conditions: Defined as (initial) requirements of users in terms of necessary data. Availability of  persons who are sufficiently familiar with the structure and content  of the source system. The source system is not able to build or modify the logical structure. First requirement means that there is at least a scratch data model, i.e., a list of  measures and dimensions that the user wants the data warehouse database. Without  fulfilling  requirement obviously cannot go into the design phase of the reach of data. Often  the case in practice is the idea; let us create a data warehouse ‐ it will tell everything about  our business, the desire to buy a data warehouse "out of the box" by various distributors of  such software, etc. Unfortunately, without knowing what the company wants to know, move  into the construction of the warehouse project means project collapse. Second requirement is extremely important. Because of the complexity of the  sources, it is very difficult to find information, or to determine the exact algorithm to obtain  information without a good source familiar with the system. When somebody knows the  source system and is not always available for team building data warehouse, team can easily  ignore some important facts related to the complex structure and content of source data a  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES     result of incorrect data retrieval algorithm. If this situation is repeated for several times in  the project of building a warehouse, consequences are constantly changing code, and thus  necessarily delaying the project. Reasons for the third set of conditions are obvious. If the structure of the source  system is not stable, the algorithm reach the data may be subject to frequent change. This  deadline cannot be disregarded, which leads to user dissatisfaction, etc.  

81

6.3.2 DWH live and analytical tools 
  Working with data warehouse can be seen as two separate parts. One is the  automated process of daily data import and the other is an interactive work users with  applications where the data source is data warehouse. Data Warehouse has a certain amount of time in which the data is refreshed. Typically, the data warehouse updated once a day, and to relieve hardware resources to be  carried out mostly at night and not disturb the normal operation. Update data is completely  automated and requires no action from the people. In case of any mistakes in the  production system was in the process of refreshing the relevant people are automatically  notified (builders warehouse developers and administrators). Tools for interactive viewing of data warehouse (which is already implemented and  running) are different from tools to build a data warehouse and are commercially available  products or custom applications. These programs are modified to work with data  warehouses and are intended as support for administrative decision‐making, etc. They differ  from OLAP tools mainly because they are more customized to company for which they  modified and for reports what company needs. The results of these programs basically are  on the summary level and do not deal with the details like individual records (for example,  typical reports are by region rather than by customer reports "from first to last”, these  reports users must expect from the production system rather than data warehouses).   Speaking in general, the production system should have the better answer to the analytical  and data warehouse to the question of synthetic character.  

6.3.3 DWH as vicious cycle of quality 
  Decision support systems like DWH have become a common tool for a better  introduction into own business in most of the world, and the major companies. Fact that  should be kept in mind is that investments in data warehouse are large, often larger than in  typical applications used in company. Initial costs might seem not so big investment, but  should be counted once built warehouse does not work on its own and requires the  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES     attention of one or more persons depending on DWH size and number of users who use it.   Adding working hours of few people who are engaged in data cleansing identified as  ''garbage'' and optimization of response time to queries and similar jobs for which DWH  raises initial costs for several times. Without these processes data warehouse becomes  rubbish. On the other hand, engaged and responsible persons for the data warehouse must  be of the same companies that know how to operate production systems ‐ sources of data  for data warehouse. Depending on the number of such sources and the time and  comprehensiveness of data in the warehouse such employees are often very valuable to  company. Warehouse with respect to its role in detecting not logical data (errors are much  easier to perceive in the character of tools for data access) can be seen as a proof reader of  production systems. Categorizing problems identified by the process of analysis and  reporting in general it is possible to install additional business rules to reduce and lower  incorrect entries in the production system. During the data extraction process, data can be monitored and filtered (data  cleansing). Data that have not passed the filters are candidates to be the data trash ‐ error.  For example, the simplest filter by entering the date of payment for a party looking to  whether the date in the current year. In most production systems during the year 2000 for  various reasons known to find the 1900th year. Filters can be more complex, some of them  may be conditioned by the business process (non‐existent customer cannot make a  payment) and statistically. For example, it is likely an error if one day we have over 120.000  USD. at a certain point of sale YYY where otherwise charged 10.000 USD. 110.500 USD  intake of the application is acceptable, but it is already known that the workers in data entry  can make mistakes. That is why it makes sense to build in a warehouse a warning system  that tells sale of the site YYY is out of statistical framework. Scheme of one such process of data extraction through the filter is shown in Figure  16. Data cleansing. These filters are installed in the extraction software.   Production   system1  Statistical   filter 

82

Produkcijski sustav 1

Statistički filtar

Data  Skladište podataka warehouse  Production   Produkcijski sustav 2 System2 
Skup poslovnih business  pravila

Set of 

rules 

Privremeno Temporary  područje area 
Figure 16. Data cleansing 

 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

               

DWH/BI/DATA MINING FUNCTIONALITIES

83

6.3.4 The strategic value of Data Warehouse 
   The company in its daily operating‐production systems collect large amounts of data. These data can be of various structures, such as the data ‐ person Y  on 23.3. paid  200 USD  for subscription service or as Z ‐ sales in continental region A has stagnated at 11% compared  with the same period of previous year.  Data provide a picture of what happens in a  particular segment of business enterprises.  After the data was collected next important step  is transformation into knowledge.  Knowledge enables company to base important decisions  for future business.  For example ‐ service XX shall be deactivated because it creates a loss of  12% per month.  Based on sales data that is obviously outdated and unattractive service.   Data Warehouse is a valuable tool and knowledge system for people in business  decision‐making processes. This means sooner decision makers start to begin to make  decision based on available data stored in the company, company will sooner benefit  (benefit achieved from the project before the Data Warehouse). Therefore imposes the  need to buy almost as soon as possible data warehouse solution that is in the package. Unfortunately this is not possible, i.e. it is possible in a narrow sense, but for now lets call  this finished product ‐ storage. For example, Data Warehouse contains insurance information back fifteen years. The  amount of data can contribute in shaping users knowledge of enterprise business processes  through data mining11. It is possible to find simple things such as which services during the  last n‐years were profitable and which carry long‐term loss. Some services should be viewed  through a long series of years to see whether the investment in the service was worth. On  the other hand, users can learn complex data that could not be assumed at the beginning of  DWH project, like the streets with riskiest insurance of burglaries and which are safe. In this  way DWH users can establish premium paid by the insured, etc. On the other hand, which  falls under the control role, system can identify workers who often make mistakes when  entering data (if added dimension for each employee entering data in the stock). Commonly thought that the amount of stored data such as measured in a Terabyte‐in  data warehouses are important and quality should be forgotten. Say that has 4 TB of data  on 1.5 million users in some way justify DWH team being proud of the installed information  system, but also recalls the hundreds of reports that were generated before (and are still),  and none of them do not really read and recognizes report structure value, reports are  valued only the number of pages are printed.  With such approach 4 TB of data itself is                                                         
11 Data mining ‐ A class of database applications that look for hidden patterns in a group of data that  can be used to predict  future behaviour. (www.webopedia.com). 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES 84     actually slightly useful information and that is only a large amount of numbers that are in the  warehouse from which there is little use if they are of low quality.   The primary question for the management of company should be to have a clear  picture of what the data warehouse will serve for. Data Warehouse together with BI may  be a way to display the data from production systems that are already adapted for entry but  not to the analysis of data. Another often neglected aspect is the fact that the data warehouse system serve for  the documents storage. Of course data warehouse is usually both but the question is which   role is primary. Production system periodically deletes data, and if not then it is slow. If  production system does not delete data and is still fast hen it’s the case where hardware is  at the time of purchase prepaid and unnecessary. It is certain that they do not have to keep  data about payment of permanently disconnected customer. On the other hand these data  can be useful in statistical processing. It comes to other essential functions of a data  warehouse ‐ to the prediction of customer behaviour based on previous behaviour. Production system can meet most requirements required ‐ report (although they are more  complicated to produce compared to reports on data warehouse technology) but they do  not contain historical information, statements made without the necessary historical context  for this function will never satisfy users. Reporting in the classical sense and prediction of customer behaviour (such as objective  analysis generally) justify the investment into data warehouse. Prediction of client  behaviour production systems cannot efficiently provide.   

6.3.5 Successful implementation of DWH project? 
   Researches show that about 50 ‐ 60% of data warehouse projects fail to set goals.  About 70% of the failed warehouses were built with own forces. Why is this so and what are  the reasons that company own forces are unable to build a data warehouse? Here are some  reasons: There is no insurance sponsor of management structures. Top management must be interested in building a data warehouse if the analysis  proves the validity of its construction and it must be supported with resources. Top  management support is manifested through the sponsors of the project. BI is primarily  intended for people who make decisions in the company. If they do not want to use to use  it, the project simply collapses. In company does not exist a sufficient number of people who can devote 100%  of building data warehouses.

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

85

Should know that the construction of a typical warehouse takes 1 to 2 years and  usually mobilize 3 to 10 people. Allocating enough resources and ''do not bother them'' with  operational problems through such a long period is usually impossible and if it is possible  then these people definitely were not valuable for existing production systems and were in  excess of the beginning. Involvement of external vendors to build a data warehouse with employees  inside the company. Idea behind is that IT within the company knows better than the external data and  processes in companies, but the fact is that the external IT experts are not burdened with  company problems, as well as to the nature of their business have a greater and wider  experience, especially if are for long time involved in data warehousing. For example  external specialized IT experts on the basis of these requirements often know how to  recognize future problems and know what to do for their removal before the actual need  arises. As already stated the construction by own forces succeed in only 30% of cases and  because there is a real danger of failure of building data warehouses if company does not  engage specialists outside the company. Possible resistance within the company in introducing new technologies ‐ BI in  regular operation. Resistance can be manifested from the leadership structure to the lowest levels. Resistance is inevitable and if it is too big data warehouse project will fail. Staff and  management who will mostly use applications based on data warehouse technology must be  open to new information technologies.      

6.4 Knowledge creation from data 
6.4.1 Performing knowledge from data ‐ OLAP tools  
  Production (ERP) systems usually contain a large amount of data that follows the  business, and it is necessary for its smooth flow. In this chapter authors will try with a  concrete example, after brief introduction, to illustrate the difference between knowledge  and stored data. Let's look at the following components of an information system company, as  illustrated in the Figure 17. ERP ‐ DWH ‐ Portal. Distinguish the production system to support  the business (the bottom of the pyramid, characterized by a large number of users,  containing information and information (re) combination provides the content that is  meaningful information. In the middle is middle management level together with data  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES 86     warehouse. Number of warehouse users is much less, typical users of data warehouses are  heads of departments, department plans and analysis, and whose task is to deal with  aggregated information in the monthly reports, etc. At the top, the amount of information is  reduced, at the very top senior management is not asking for a large amount of information.  Well established system of key performing indicators of business are located at a single site  (e.g., Portal, or other tool to view aggregated data, balance scorecard application, etc.)  should be sufficient to manage the enterprise management.

 
Figure 17. ERP ‐ DWH ‐ Portal

  It is often the case that management borders with large amount of information,  asking for larger and larger monthly reports in order to read only the overall result at the  end of a set of reports, etc. There is quite an important role of indicators, which however  needs to know to set up an enterprise, but it should be the basis of short‐term top  management decision‐making. What is a key indicator (KPI = Key Performance Indicator)? The key indicator is  unambiguously and clearly a number of whose growth or decline is unambiguously  interpreted as a positive or a negative shift in the quality of a segment of the functioning of  the company. Unfortunately, even for the industry there is no universal system of indicators,  since some of the indicators are common (e.g. Financial indicators) but some are a result of  competitive advantages (what distinguishes the company in the market) and must describe  increase or decrease in the segment in which the company differs from others in the market,  which means that they must be developed internally in the company. © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

87

As moving towards the top of the pyramid business model increase undeterminable  state compared to the bottom of the pyramid. So, at the bottom of the pyramid one rule  can be defined as "With dispatch and loading goods invoice is issued for the customer”. This  policy is relatively easy to implement in application, where after confirmation of take over  these documents invoice is printed in application for the goods in shipping. According to the  top of the pyramid rules become less determined, because unfortunately can not be said  that increase in marketing costs by 25% mean (necessarily) an increase in sales of 10%, or  any other formula defined percentage. Can be said only (and not for sure) that increasing  marketing means increased sales. At the top of the pyramid prevailing external influences  on the model (ie cost substitutes on the market) towards the bottom of the pyramid,  enterprise influences are increasingly coming to the fore. Data Warehouse is the place to  meet these influences and therefore should be consolidated into a meaningful set of all the  information generated by the company as a whole.

6.4.2 Taking knowledge from DWH 
  Data Warehouse is a database with denormalized structure as described in previous  chapters. The model of the warehouse must be translated for the user (if not out of the  design of certain table) on a business language. Users must be able to choose the customer  and the product and see a sale, and it should be presented transparently to the user without  cryptic names characteristic for design of RDBMS. In the event that can enlarge the amount  of information (e.g. all accounts in last 3 to 4 years) to display proper grouping by subjects in  the business process (department, customer, employee, item, price, quantity sold, etc.)  amount of information is created in the user's mental model. Thus, modelled information  becomes knowledge. It is knowledge that can be derived on the amount of the statistical  basis of its characters. How this process works in practice is best illustrated by a series of  images from one example system developed for the local distributor of food products.    In Figure 18. Selling articles can be seen as selling items at distribution centres where  goods come out from all the warehouses for Ice cream products. From the product overview  it’s easy to spot that cities A and B distribute more Ice cream products than others. It's sort  of claim that comes on the basis of large amounts of information, a claim that working on  the printing invoice in any business unit (for the impossibility of comparison), we cannot  impose because the horizon of information is relatively limited at the bottom of the  pyramid.  

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

88

Figure 18. Selling articles 

 

    Can be stated that conclusion has been made from converting knowledge about sale.  Ice creams are better sold on north coast compared to other selling regions. For more  serious conclusion deeper analysis of historic data is needed. In a longer period of time and  in the picture below for example Milk industry products can be seen that the sale during the  summer is much better. As the graph also present, can be concluded sale during the summer  goes about 40% better.      More to say, data view should be expanded for a longer time interval in order to test  the hypothesis that we have just presented, it can be seen under the Figure 20. WH – Milk  industry sales  2003 

Figure 19. WH – Milk industry sales  2004 

 

 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

89

Figure 20. WH – Milk industry sales  2003 

 

    The conclusion can be made (perhaps even wrong) that all the products of company  are sold more during summer. Now can be tested same thing for meat industry, where can  be also noted significant increase of sales in August.  Here's also a version by the daily  distribution, but through a longer period of time.  Sales drop in winter is noticed!  Drawn  curve describes the seasonal oscillation, and in some ways follows the mental model ‐ a  better summer – worse winter.    

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

90

Figure 21. WH – Meat industry sales 

 

  What is shown here is a time dependency of selling brands, but the model provides  considerably more and that is possibility of dynamic deepening inquiry into the details.  Of  course, users could be interested where in RIJEKA is a better sale, and where the most goods  are sold. Now it is known where to ask and what is sold there.  In Figure 22. WH ‐ Example of  digging deeper ‐ query, and then under Figure 23. WH ‐ Example of digging deeper ‐  "to see  a deepening asked to answer what is selling so well.                                          © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

           

DWH/BI/DATA MINING FUNCTIONALITIES

91

        To see what are prerequisites for DWH, Business Intelligence and Data Mining  download our FREE

BOOKS in PDF at

http://www.business-intelligence-secrets.com/business-intelligence-pdf

                               

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

92

Figure 22. WH ‐ Example of digging deeper ‐ query 

 

 

Figure 23. WH ‐ Example of digging deeper ‐ query   

    One of very common analysis of universal character for each company is ABC 5  analysis (of customers in the observed case, although by its nature is not related to each  element of the business process), which is relatively easy to display in a simple report. Data 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES     storage system should provide by its features simple creation of this report.  ABC analysis  targets the relative importance of observed elements classified in business processes,  specifically in this example by customers.  The fact that most of the revenue brought small  number of customers (large accounts) and that they therefore should be given more  attention and consider them important customers. Loss of any of them would significantly  and visibly reduce income of the company.   

93

Figure 24. WH ‐ ABC analysis of customers (with deleted names behind third place) 

In Figure 24. WH ‐ ABC analysis of customers (with deleted names behind third place)  can be seen that 60% of traffic make first twenty customers. It is also a comparison of the  ranking by total income and profit. What can be concluded from the analysis, what  knowledge can be made on the basis of that? Can be concluded that leaving of any of the   customers from group A (see last column in  Figure 24. WH ‐ ABC analysis of customers (with  deleted names behind third place) revenue company will be compromised. Can be also  noticed those who are at relatively high‐ranking RUC, for example customer on 24th place. The buyer is in the eighth position of bringing revenue to company. Those customers are  very important. Quality key indicator tells about how many of these customers have gone.   Can be looked for important customers upon such KPIs like customers whose rank (RUC) ‐  rank (total)> 5 during the last year, and that their purchases have declining trend. Such KPIs, and its increase means that company feel problem directly in the profit  and it can be built into the system of indicators. In this illustrated example large amounts of  data stored in the model allow interactive analysis of customers and work with such a large  data set. Users come to knowledge of business processes, on the strength and weaknesses  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES     of sales, and about how relatively easy can use this data structure for senior management  reports.

94

6.5 Advanced methods – data discovery (Data mining) 
6.5.1 Introduction into data mining processes 
What is data mining? The term data mining (DM) is considered a class of applications  processing a large amount of data looking for hidden patterns and regularities that can be  used to predict future behaviour. Data mining term is relatively wide and covers a larger set  of methods arising from mathematical statistical methods, but also other processes which  people used without computers assistance.     Some typical examples are:     Decision tree constructed from the history of the membership, with purpose to  decide whether a potential member will get a credit card or loan or not;  Finding regularities in the behaviour of tourists in order to provide them different  models of discounts, and thereby attract new customers   "Diapers and beer" ‐ looking at transactions from the retail environment to conclude  why consumers often buy diapers and beer. Why is it so and its cause? This is not the  aim of sellers, but to find more familiar types of customers and offer them something  "more".  In search of human genome  DM methods helped in discovering the causes of many  hereditary diseases (e.g. diabetes genes responsible for its formation)      Data mining has resulted in several scientific disciplines whose multidisciplinary synergy  achieved combining the effects of which are important:     Statistics   Artificial intelligence ‐ especially the so‐called resort. "Machine learning"   Research algorithms for clustering   Visualization techniques   Databases     Statistics is at the heart of most data mining methods, and some believe other data  mining methods are also part of standard statistical analysis. Area of machine ‐ learning is  used to enable software to learn some of the models themselves, especially in the case of  neural network etc. Algorithms for clustering are described later in Chapter 6.5.3 DM  clustering, and visualization techniques are important to prepare data, more or less easily  come to a conclusion without too much help of mathematical apparatus. Fact is data sources  in this case are almost always located in the database, and that they are part of the process 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES 95     preceding analysis, part of the preparation of data. It is necessary to mention here that this  is less interesting but vital part of data mining.     Data mining process can be divided into several important steps:      1. Data collection   Longest process in time perspective. If having in the event a production  data source, its preparation may require a long period, even a few months. Extracting details in this process often requires a very good knowledge of  ERP systems, and considering that they are object of work, bigger set of  data has to be prepared in order to get more relevant results. Also it’s very  usual it comes to transactions such as payments for POS terminals must be  also prepared. These are all large quantities data that even only handling  with them is relatively big problem. 2. Data cleansing   Cleaning of garbage data is also a long process and it has to be done on a  set of rules with the attributes that are used for analysis. Typical examples  of sex ('M', 'F'), years (18 .. 100) where are evicted all rows that contain  some obviously false attribute values appeared for any reason, mostly by  mistake. 2.1. Creating a  In the domain of machine learning data set is divided into 2 groups ‐ set for  test set learning, and the second part group set to test the hypothesis. With the  first group computer ‐ DM algorithm (e.g., neural networks) learns. Later  results are tested and compares with the second set of results that are  known well. Goal is to judge how well DM algorithm learned and foresees  results. 3. Pattern  DM in the narrower sense ‐ the execution of the algorithm recognition 4. Evaluation  Not every discovered fact is true. Very often due to lack of a testing data  and visualization  set, the results of mining are not relevant. Are results relevant or not  of results should be decided by expert for area of analysis.
Table 1. Data mining most important functions 

Data mining software can help companies of different industries in the prediction of  behaviour of their customers. Take for example credit card house. DM software is often  used for so‐called "fraud detection", ie to recognize the fraud on the cards (preferably  before they occur). How does it work? Take into account the historical behaviour of  members, which has its own habits in n‐number visible from his past transactions. With the  example described below, can be seen that the buyer based on habit from past transactions  to buy goods from 50 to 400 USD. Most of the goods were purchased in stores such as  "retail chains”. So the customer buys food and similar goods. Rare are transactions with a  low amount of purchases and other types of point of sale. Suddenly appears in the type of  trade transaction is marked as a luxury goods with a very high amount of the transaction.  Can be concluded that the difference from the average amount is high, the distance from  the position in graph square where most purchases are also very large. The transaction  (although it may be entirely legal if the buyer intends to engage and buy engagement ring)  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES     can be considered (at least spoken) suspected. Is it really the result of theft and the thief  attempts to quickly and easily buy goods payable in the form of gold / jewellery, etc?

96

          Luxury stores             Restaurants                 Amount of transaction   

Type of store 

Other stores 

Retail stores 

Figure 25. Mapping the credit card transactions in the two‐dimensional system 

    Can be concluded that many DM techniques have their application in various aspects of  company business such as: Fraud Detection Customer Segmentation Sources for business decisions ...

As part of further analysis there will be a brief overview of some important methods  and possibilities of their application. Special attention will be paid to describe clustering  methods, and methods that may not fall in any group of Knowledge Discovery ‐ Visualization.  

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

97

6.5.2 Role of DWH in data mining  
  WH systems can be seen as typical and very good source for the DM software.  Since  the data are structured in tables only needed thing is a team to start DM. DWH provides very  easy access to data, what is not the case in production systems. DM team members no  longer have to know the specific organization of the production company systems, but have  a lot of data structured and prepared.  Otherwise, this part of the job consumes a lot of time.     In the case of WH systems, the process of DM preparation is significantly shorter.  DWH shortens and eases DM implementation.   

6.5.3 DM clustering 
  John Snow (1813‐1858), the London doctor after graduated school was admitted for  an assistant surgeon in Newcastle‐on‐Tyne in a private school. After that, attended  Huntierian School of Medicine in London. 1844 received the Royal College of Surgeons of  England. One work that he made is interesting in the context of clustering. In 1849  published the paper "On the Mode of Communication of Cholera (way cholera spread),  where he explains that cholera is spreading through contamination of drinking water. Official theory was cholera spread through the air, or breathing in the vicinity of patients. Unfortunately, J. Snow had no opportunity to confirm his theory, and accidents came very  quickly. Cholera epidemic in 1854 in London, provided the conditions for research. At that  time, London received water from the two companies. One of them was   

Figure 26. The Incidence of cholera for the fourth London 1854th 

 

   water pump the Thames upstream of London and the other downstream. J. Snow made the  folder where he marked incidence of cholera for the part of London. Site is today in the  picture below. We can threaten to dash the very common one in the London area, but  appear in distant places. With the help of the marked area and discussions with the ill and  their families successfully locate the source of infection at the pump in Broad Street. © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

98

Today his work may not seem revolutionary, but the way the data set was made  upon ideas later helped in the early stages of the suppression of countless epidemics. The  intention was to draw an interesting parallel, and show that one method, which is similar to  reiterate today with the help of computers, spread the knowledge of scientists of that time  and created a significant foundation for the development of science. Imagine cases of  cholera as transactions in the system, each with its own attributes, daily movement, of  address, etc. What has worked J. Snow was then a manual clustering.

Figure 27. Cholera frequency in London blocks 1854. 

 

    Mathematical clustering basis    Set of points can or cannot be considered as cluster.  Take a set of points and  determine their mutual distance in n‐dimensional space.   In short if x i = [x 1, x 2, ..., x n] and y = [y 1, y 2, ..., y n] can state:

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

         L =

DWH/BI/DATA MINING FUNCTIONALITIES

99

∑ (x
i =1

n

i

− yi ) 2

Therefore, it is necessary to form n clusters, taking into account the distance of  points in the cluster from the centre of the cluster is smaller than other points. There  remains the problem of how to find the centre of clusters, so called centeriode. Let’s see  the picture:      

Figure 28. Points and clusters 

 

    In the first step, points 1 and 2 assign the role of centerioda in two corresponding  clusters. When inserting next point 3, which is close to point 1 centeriod cluster moves to a  point "a". Then, point 4 is closer to point 2 and allocate the cluster containing the point 2  with time to adequately centeroide moves to point "b". Adding 5 points which is closer to  the point "a" than "b" and the centeriod moves to a point "c" and point 5 is assigned to the  cluster that now contains (1, 3, 5). This is an example of the assumed two clusters. Of  course at the beginning of the algorithm for a large number of points can be defined and the  expected large number of clusters. Problems that need further steps to solve in the n‐dimensional space (for example, Internet  is a model of clustering represented as 10 8‐dimensional space). It is possible to conclude that clustering is not new technology that came with appearance of  powerful computers, but very good technique for spotting patterns of behaviour and  anomalies of these forms bounce. Once determined patterns of behaviour, determining clusters ‐ a framework for  behaviour, can easily recognize the anomaly and to know what to expect in the statistical 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES     proving standards. What can be get is new knowledge about the behaviour of elements in  the system.    

100

6.5.4 Other methods 
  Today, really a large amount of techniques powered with computers are trying to be  presented as data mining.  Description of these methods require deep analysis and thats  why according to authors opinion most important methods will be described in following  chapters in order to show that there are many applications that support various forms of  decision‐making and the various models of suggestions.  How do they affect knowledge  discovery?  Methods are improving mental model, as well as other methods of data mining  can be conceived as a proposal for later models build on it own, either by taking it from the  computer, simplified and suitable for the human brain.   

6.5.5 Decision trees 
  Decision tree is not necessarily related to computer data mining techniques. Decision  trees for simpler examples can be drawn on paper, and only a tree is an excellent tool that  helps to determine which way to go even if the decisions are similar and not easy to  immediately see what is optimal.  Of course it is a computer help here, as well as technology  of visualization mainly oriented to the handling of large amounts of data.  Various programs  help to decide on different ways to handle decision trees. Basic concept consists of the initial  questions which are then in detail split with sub questions into branches. Basis for  computation is usually historical data. Decision tree give values from which it is possible to  conclude a probability, or evaluate on ourselves in case result does not provide probability.   Demonstrated by the example of  Figure 29. Decision tree (Vanguard software) is case of  deciding price strategy with the introduction of new products.   

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

101

 
Figure 29. Decision tree (Vanguard software) 

 

  

6.5.6 Neuron nets 
  Neural network consists of large amounts of cells associated with a large number of  connections.  Cells are divided into three main groups of cells:     input units, which receive information to be processed,   the output returns from the information system network,   and between them are hidden cells.      If analogy is made with human brain, the input cells are those that accept  information, such as parts of the sensory receptors (for example motor output neurons  responsible for movement) and hidden ones which are vast majority and are in fact cells in  the brain.   

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

102

Input cells  Ulazne celije

Hidden cells Skrivene celije
Figure 30. Example of Neuron net 

Output cells  Izlazne celije

  Each cell has a front entry value representing a input value to the network. These  cells send the activation value of the hidden cells with which it is associated. They even  calculate the activation value based on all given incoming values. This signal is transmitted  to countless times through the levels of hidden cells. Sooner or later, the signal propagates  to all the output cells, filling them with output values. Activation algorithm is dependent on  the strength of the connection, the connection weight values, etc. It is possible to accept  negative values, representing inhibition of signal coming from elsewhere. Activation  functions, in principle, are not too complex mathematical models, and basically summarize  the contributions of all incoming connections, where the contribution to the account  depending on the value ponder connection that it contributes with activation multiplied by  the value that carries the connection at that moment. That number is usually calculated to  adjust to being in the limits between 0 and 1, and propagating in the next step further. It is  possible to restore the value of certain rules to 0 if the threshold value of touches. It is thought that in this way is possible to achieve a certain form of cognitive  behaviour of the computer. How to account for all cells in the same way, the connection  pondered values have in the process crucial role.

Described network is called a "feed forward" network and in order to make it more  realistic model should include a large number of hidden cells. Process in the human brain  occurs in parallel, and speed of thinking does not depend in any way on the number of  connections (if ignoring signal propagation), while the concept of the computer is completely  reversed, it is sequential. Computer must calculate weighted (pondered) values in each cell  one by one, which of course in the case of a large increase in hidden cells results with slow  work. The speed of the brain in the analogous process is the slowest connection speed and  the speed calculation is the number of cells x speed connection (calculating weight values).  The computer repeated signal gives the same output, while in living organisms somewhat  different exit. Even simple organisms learn to ignore repeated stimuli, which can be  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES     achieved by various levels of neural networks, etc. Can be concluded that, although built  with the idea of imitation of the nervous system, neural networks computers are still not  able to replace the functioning of even primitive nerve system. Interest to work with neural networks show, beside IT experts and analytic users,  philosophers who believe that based on such models can be partly explained by the flow of  cognitive processes in humans. Stated that the neural network shows the ability to learn is  particularly important when considering and discovering new knowledge and the legality of  the information with which every company has.  

103

6.5.7 Visualization 
  Visualization is the process where conclusion is based upon the properties of a large  set of data visually presented with the help of computer tools.  How is the visualization of  method character best method to display images, and not described with math as before  mentioned method of clustering, here will be shown a way of categorizing and knowledge  discovery in a very simple example.  Visualization is a very important process and gives very  good results because human eye in a relatively well‐presented material quickly reveals the  rules.  Good examples are the graphs as a way to display numeric values from a table where  a lot faster distinguish jumps, anomalies, etc.    First step in the process of DM is definitely data collection.  This is a relatively familiar  for most people, but also can be displayed for the attributes having something that is not  part of the wider population standard knowledge, e.g. information on the cultivation of  vegetables.  Core idea is about the idea of mental models which are based on relatively  unrelated attributes concludes somewhat unknown, possibly a future based on the past.   How is human nature to want to penetrate into what will be, „after the crystal ball“, among  other things calls for help and computer.  So, let's look at how can conclude something visual  way?            6.5.7.1 DM – Visualization – Data collection    Available are information about different attributes of the car.  Attributes of the  models are typical attributes by which customers decide on the car, price, number of  horsepower, dimensions, characteristics of the engine and look like the following figures:   

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

104

Figure 31. Price – revolution per minute for given horse power ‐ height 

 

Figure 32. Same as previous figure, rotated     

 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

105

Figure 33. Visually segmented graph 

 

As shown on the graphs can be recognised several important things.  Most of the cars  to conclude from the Figure 32. Same as previous figure, rotated around and marked with   red curve, where some may conclude that highest cars are those with maximum power for a  relatively low number of required rpm.  At the top are different vans intended, among other  things, for people transport.  In particular the highest car is shown to the right.  From this we  can conclude that the height and number of rpm are correlated.  Should take into account  that the whole process is only visual and consists of the rotation graph of visual recognition  and legality.  On the computer it is only adjustment of data visualization.  Figures can be  further analysed with the coloured regions on the graph and can be distinguished into three  to four regions.  Most of the cars are somewhere in the yellow box marked in the figure  Figure 33. Visually segmented graph which behaves according to rules that senior cars for  maximum engine power demand less number of revolutions. Differ now red marked area  where have scattered a few obvious specific models.  These models have high price, and are  not among the higher vehicles.  Can be said that the most expensive cars are actually low on  the graph.  On the graph marked with white dot is the Lamborghini Diabolo. It is obvious that  there are some cars that are in the red box set ‐ segment of low... as a niskoturažni.   Otherwise, it is common for the observed four Bentley models.  What still catches the eye  are two round recorded segment that also do not fall so to speak anywhere, marked with  blue and orange.  Orange‐marked cars are distinguished by their height and the price, it is  not the case with most others. It is relatively unusual car, it is Hummer.  Hummer in the  example as can be noticed that eye easily isolates gatherings meaning something suspicious  for analyst.  Additional check, after finding that it was a Hummer, and users may conclude  not to consider Hummer as "cars".  The blue marked set of data is Jeep.  This example was  created with the aim to show a completely different analogy, which has already been  mentioned. Imagine to replace the role of the axis and the frequency of purchase become the  type of trade, the amount to be paid in the store, and one axis can be projected as a set of  goods sold in a particular trade. It is expected that the "cluster" or clusters are created and  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES 106     recognized visually more easily. What will most certainly be interested in such analysis is to  recognise person who often (usually) purchase consumer goods in stores with low prices  pays a very high amounts. Why is this interested? Because visual anomaly is more odd than  anomaly presented with other methods. Careful examination of similar cases in the bank it is  possible to detect12 money laundering, fraud, etc.

 
Figure 34. Highest car in analysed set of cars

In this example, indicating the process of research data using visual method, seeking  to draw attention to the fact that despite the relatively large and expensive programs and  algorithms, human brain with more or less modestly prepared set of data is capable very  quickly  to give quite good results.  

6.6 DWH and Decision supporting system 
  What is very important to mention that the custom data model, based on the model of  data warehouse, allows a simple application of commercially available tools for data mining  and visualization tools that are used for data aggregation. As the knowledge discovery is  concerned, the whole problem should be seen in two important aspects that describe the  basic way to discover knowledge.                                                        
12  In fact it is a step further, as part of recognition is left to mathematical algorithm. In the first phase  formed the final, to expect a small (3 ‐ 5 ‐ 15), number of clusters (clusters, if we look at them  visually). Each of these clusters calculate focus, then calculate for all points of the total distance  from the cluster center of gravity. Those points that are at the top of the list are obviously suspicious  because they were farthest from the groups (mold) in set of normal transactions. 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

        Knowledge resulted from historical data

DWH/BI/DATA MINING FUNCTIONALITIES

107

Knowledge resulted from historical data is kind of knowledge managers collect and it  is more often called experience. Having experience in sales is to know how certain products  had performed with their typical set of attributes in the market in some point of time of sale,  what was sold and what was not. Persons involved in the process have built a mental  model, based on the attributes of the market (of circumstances, saturation, phase of the  product and all those associated with marketing) and product attributes. This mental model  is later applied to new products, and more or less successfully on the basis of analogy with  the existing model of creating idea of what is worth and what is not worth to invest in the  broadest sense. What data warehouse in this case provides ‐ it is structure optimized for  reporting and data aggregation, and display such data, which simplifies the process of  creating such mental model, and explain improvement of  model where the typical answers  to the questions ‐ where is sale better, what is better sold and etc.

Knowledge resulted from the model based on the DWH database and implemented  through a BI solution Knowledge resulted from the model builds on previously mentioned experience. After the mental model is created it is transferred to the computer and the computer learns. Such a model is still used in the prediction of behaviour of the market. Another aspect of  the model is testing the model with a completely new combinations of attributes, where  model if it is good gives information about something what previous knowledge did not had  access to. That is something users only imagined or suspected. In the case of the model  (implemented through the application program) in the state to perform its task in real time,  it is possible to automate some of the typical tasks that are performed by users. It just  means that on the basis of learning from history, implementation model in practice, learned  knowledge is put into operation to improve work and thus reduce cost, which is of course  always management wish of each company. Finally its worth to mention that techniques described here are similar to techniques  used to display data before the computer usage era. Where computer actually started  helping is relatively easy development of models (especially in the data mining) where from  large amounts of data models began to discover regularities. Models are not implemented  by users but by application itself (neural network).    

6.6.1 Effects of DWH system as IS subsystem 
  DWH has been described so far in terms of Information System subsystems. Assumptions for the implementation of this subsystem in the work depends largely on the  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES     primary purpose of the system. Despite it is a strategic decision making tool and  development, it is used primarily in the operational reporting. DWH structure is adapted for reporting. Upon this structure, which has wide range of  aggregated data from different subsystems, it is possible to implement a range of intelligent  solutions that help in strategic decision‐making. Using same data can at higher levels make  completion with external information available on the market like data about competition  and similar. This tool is a powerful to support manager for decision‐making. Should be distinguished structure of the database (data warehouse in the true sense  of the word), and tools designed for reporting. In addition to the tools that serve for ad‐hoc  reporting there are numerous tools that allow what‐if modelling, data mining etc. and to use  data collected in the data warehouse structures. Figure below shows a complete system,  data warehouse and advanced tools that use data from data warehouses. Together they  make standard Decision Support System. BI  FCBI  Operative  reporting  Planning and  what‐if modeling  BI  DSS and strategic  decisioning  Data mining 

108

DWH 

Application1 

Application3 

Application n 

Application2

Application4

Company Information System
Figure 35. IS with DWH subsystem and applications on DWH 

Significance of this system is primarily of strategic character. This implies that DWH  system consists of database and is essential for feed of BI applications (call it the DSS system,  or MIS system, which was also employed). With regard to the strategic nature of the DWH  subsystem, based on data from the subsystems, it is in some way strategic advantage (or  disadvantage) in company business. BI and FCBI are marked here for better understanding  relation with DSS. FCBI will be analysed in detail in next chapter.

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

109

Should not also be ignored fact of supporting character of DWH system in terms of  automation of reporting. Automation of reporting is much easier to recognize as a direct  benefit, although it should be a supporting role. Users can quickly recognise that for some  reports that were prepared “manually” now produce for less time. Large systems are trying to solve non arrangement in the system (entropy) with reduction of  information quantity about the non arrangement.  Characteristics of DSS   Strategic    The primary strategic tool that helps in decision making.  Decisions are based  either on historical analysis of the observed information necessary to issue a  decision, either on the basis of more sophisticated tools that allow what ‐ if  simulation.      Automation of reporting. Release production systems for their purpose ‐ data  Operating  entry and not for demanding reporting.    Hopefully  Through a strategic decision company should gain a competitive advantage and  thus a better chance of quality survival in the market  
Table 2. DSS characteristics 

6.6.2  DWH as source for strategic decision making 
  Strategic decisions are based on longer‐term forecasting than tactical.  They cover  period long enough to encompass the development of certain new products, entering new  markets.  During operative decision making process attention has been focused on the  immediate future, for tomorrow, the next few days or weeks. Attention of tactical decision‐ making is focused on growth and on the period of the fiscal year focuses on efficiency.   Strategic decision focused on the prediction and the consequences of such potential and  actual changes in the environment that could significantly affect the behaviour and activities  of the organization.   

6.6.3 How can DWH / DSS systems be strategic tools?  
  Main objective of strategic planning for the area of information technology is to  connect systems with business strategy of company. IS role is supporting strategy, one of  the tools of its implementation. Role of DWH and DSS in this scheme is primarily for  informational purposes as feedback. Such system is adjusted to give a report on how well  company keep within the course target of business strategy. This system should be  differentiated from operational reporting, which is intended for everyday work and used to  perform primary functions of the company (print payment slips, print invoices, debt buyer,  card specification, etc.)

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

110

  Good strategic plan is development of the base system as a whole. DWH system will  first point to deficiencies in the IS and the inability to provide adequate information. What  does it mean anyway? It is a fact that manager/analyst in analyzing data investigates causes  of a situation (for example situation is why sale of units A is non‐profitable) wants to get as  much as possible data about unwanted situation.  Digging into data is very common situation  that leads to the answer "we do not know, we do not know exactly, and so on." This is the  most common cause that some series of business events are recorded collectively and not  separately. This fact leads to the impossibility of obtaining accurate information. Example: Many companies grown during of 90s introduced IS, often colloquially mashed up  with the term ERP. IS was composed of modules for billing and general ledger (bookkeeping  module). Frequent situation was that the financial module began to take care of booking  various aspects of basic services by introducing more and more analytical recording. As IS  was growing spontaneously and not as a result of the company planned expansion IS  developed after business requirement pressured much management.    

  Information System is always late in relation to the business  requirements, and thereby supporting role is reduced, because of  the constant deficiency.  
    After the introduction of the DSS system deficiencies quickly (at first at all important  analysis) arise to the surface. “We cannot make this and this, there is no data for the costs of  xxx by business units, we have the old state debt to the buyer, we only now that a buyer  claims this is the first time that late, etc.” DSS is not all mighty and book is full of notes what to be careful about, what is  possible and what is not with each module. Excellent DSS is possible to make but there are  many things that have to be considered.   Decision Support Systems  Decision Support Systems (DSS) are set of Information Systems and processes that  support decision‐making activities by accessing, preparing, shaping, presenting and  delivering data important and relevant to make decisions. DSS uses raw data, reports,  documents, experience, knowledge from Business Performance Management  Systems, External data, Knowledge Management Systems, Data repository, BI, Data 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

111

mining and similar information subsystems. In addition DSS also uses management  feelings, folk‐wisdom and similar experiences.     Major benefits of DSS is in creating competitive advantage and generating evidence  for decision making. In addition DSS automates managerial processes increases  organizational control. For the last, encourages analysis and exploration, helps in  discovery of new approaches. 13    Management Information Systems  A management information system (MIS) should be treated same as DSS but some  authors consider it as a separate Information subsystem. According to them main  functionality is to apply internal controlling mechanism on other information  subsystems engaging people, documents, and procedures by management  accountants to solve business issues like costs per single product or service, costs of  new strategy and similar.14  In addition to these scenarios using the standard DSS provides a quantification of  simple analytical assumptions, which are part of the decisions in company. These decisions  have some of  assumptions, premises and they are based on information such as sales, sales  growth, market share of company sales in total sales market, etc. This information from  DWH system must be available, and easily reachable.

 

                                                       
13 Source: http://en.wikipedia.org/wiki/Decision_support_system  14 Source: http://en.wikipedia.org/wiki/Management_information_system 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

                                     

DWH/BI/DATA MINING FUNCTIONALITIES

112

Enlargement of  procurement IS? 

Procurement Strategic plan  DWH

IS xxx  
        Figure 36. Example of IS‐development projects emerging from the strategic plan 

 

   Term easily achievable has strategic importance in the enterprise, and therefore the  data structure in DWH system (aggregation, use of multidimensional methods of information  storage, etc.) has a crucial importance. Choice of data storage technology that can also be  crucial, because certain technologies allow mentioned benefits. Easily achievable means everything is stored into DWH in proper way in practice. This is  never the case for complex IS consisting of hundreds of production systems. It is  “impossible” to store everything into DWH due to:  • • • Too many tables in production systems (i.e. thousands)  Too many data are exchanged between production systems  Not all information are core information, many are not needed for reporting to  management but are for operations and processes 

         

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

         

DWH/BI/DATA MINING FUNCTIONALITIES

113

  To conclude, DWH can never be up to date and store  everything for easily achievable information in complex  environment.  
      Ad‐hoc reporting is a term that refers to the way of making reports that are  acceptable and simple for analyst and middle management in form of fast retrieval of  information regarding some of the concepts in the business enterprise (sales, debt, cost, and  the business / strategic unit, customer, item, time, etc.) In choosing to save the data in relational model, so‐called star model (star schema),  data are relatively easily attainable, but getting data in the institutions that collect large  volumes of transactions in their business can be painfully long and therefore really  unproductive. On contrary when saving data in multidimensional OLAP database retrieval is  almost instantaneous. For companies that do not store large number of transactional data it is enough to  apply relational model. Expected increase in business (access to other markets as a result of  a strategic orientation towards regional expansion of the company) can justify the  investment in licenses of multidimensional databases. In case of buying what is currently not needed and not in alignment with corporate  strategy, choice will be wrong and chosen technology will quickly be needed to be replaced.  This investment can be considered as poor investment.      

6.7  Example of DWH as standard 
  Setting DWH as standard in company means to choose and use one source for reports,  plan and other processes for management. DWH can be in case of limited resources in  company main source and not the only source.      

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

                                             

DWH/BI/DATA MINING FUNCTIONALITIES

114

Business (BI) 

Finance (FCBI)  Consolidation  Analysis 

DM  modules /  reports 

BI  modules /  reports 

ERP cross  modular  reports 

Profitabi lity ABC 

MDM  Planning  Reporting 

DWH 

ERP 

         

CRM 

Call  center 

Cash  system 

Billing 

… 

Figure 37. Example of DWH as a standard in company 

  Rules:    DWH is unique source system for all data projects from finance and business area.  Users reach data from DWH through OLAP cubes, direct extractions/queries.   Power users from finance and business make OLAP cubes, standard and ad‐hoc  reports for portal.  Business and data definitions must be consolidated and verified.   Process of consolidation is realized through Business Dictionary.  Changes on definitions and that can have consequences on historic data must be  realized according to predefined process in order not to lower credibility of historic  data.                

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

115

6.8  Failure‐success factors of DWH/BI projects 
   Research show low implementation rate of DWH systems and many existing DWH  projects going out of date (about 40%). Here are some  reasons:    No sponsor secured for project on top level management. Top management needs to  be interested for DWH building. BI is first of all intended for decision makers and their  experts. If they don't want it project will collapse. On the other hand project is expensive  and without solid hard support on top level project will stay sooner or later without  resources.      Company does not have enough own people that can be 100% dedicated to project.  Typical DWH implementation lasts  at least 1‐2 years and engages 3‐10 experts. And off  course those people have to be „no border“ from everyday activities. This is very hard and  almost impossible for many companies. If company had this people then those people were  not valuable for existing production systems and were just a bourdon.      Engagement of only own resources without external experts and consultants since  they know best own processes can lead to pitfall. External IT experts are not loaded with  company problems and have much broader knowledge and experience especially if they are  specialised for DWH and what is very important they know what problems will appear in  future and how to prepare for them now.    Make substitutions of certain functionalities in DWH/BI instead of buying finished  solution. There is always a great threat that DWH/BI tries to resolve certain problem that is  already much better solved in certain system but not implemented in company like product  management, CRM, Master data management or similar. Trying to make substitution in  DWH/BI/Data mining is always temporary, limited solution and therefore will collapse after  each change. Although this solutions have to be installed before DWH/BI implementation.  Other approach will most certainly destroy DWH project.    Resistance from inside company, from top management levels to lowest  administrator levels. Users that will mostly use DWH have to be open to new technology.        „If we build it users will come“. DWH/BI build from IT side has little or no business  connectivity with real world. Result is business users percept it of little or no value solution.      „We do not have data quality problem“. Gartner predicts many current companies  with DWH/BI solution will have limited acceptability or will be total failure as a direct result  of data quality problem neglecting.      „Our vendor of corporate applications will provide best solution“. Companies  estimate 'one‐stop‐shop' is best for them and in matter of price. Solution from vendor has to  be compared with solution of best company in this industry.     

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

116

„BI projects have to evolve“. Wrong. BI has to evolve, but BI projects have to start  and to be finished.     „Can be outsourced“. Outsource only non‐core DWH/BI business not everything.      Out of the box solution are expensive sometimes more then building DWH from  scratch, data has to be transformed in such a way that it fits out of the box solution, and that  is most of the job in creating BI solution, so more or less expenses can be compared if not  bigger.    

6.9  Basic functionalities 
  Doesn’t really matter does company has BI or even data mining solution. Important is  to have solutions that meets it’s important expectations, not a solution no one wants to use,  and never underestimate resistance to change in mankind. In this chapter authors try to  reveal best of BI/DWH/Data mining functionalities and are not going into analysis of  technical architecture, theory and similar. Many books and articles are already written about  it. Authors approach is to describe functionalities from user side. Described functionalities  grouped by modules serve as idea catalogue for output KPIs and are data feed for FCBI and  TCC. Also  standard DWH/BI is mostly business world and far less financial world in mean of  processing data – platform used for reporting upon transactions in productive systems and  for analytics.        Some of following functionalities can be bought as independent solutions and  therefore are much better to be implemented in independent applications then in  DWH. Decision makers should count with following dilemma, is temporary solution better  resolving functionalities in DWH and BI or permanent solution – buying module.      Some of functionalities that DWH/BI/Data mining might be used for: central  repository place, easy managing and analysis, aggregation/grouping, prediction models,  visualization of trends, graph manipulation, alarm and threshold system, geographical data  mapping actual/forecast/variance comparison, diagrams, e‐mail notification, linking with  documents, benchmarking.    In addition is a list of requirements toward DWH that can give quite beneficial results.         

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

117

6.9.1  Contact management 
  Contact management should be integrated into DWH by giving Business units analytic  information  ‐  figures  base  for  future  actions.  Although  Contact  Management  should  be  supported with information at customer level multidimensional view over:   inbound/outbound contacts15;   different sales channels   customer inquiries, faults and complaints in any type of form16   Newsletter  do not contact option  etc..     

6.9.2  Campaign management and monitoring 
  It’s  always  great  to  include  campaign  management  and  monitoring  processes  into  DWH. For analytical purposes named processes consume lot of resources  from production  systems  and  therefore  it’s  much  better  to  transport  them  into  DWH  or  similar  data  repository  system  for  reporting.  Good  to  be  included  are  past  contacts,  customer  types,  segments,  customer  behavior,  campaign  response  history,  different  campaign  response  separation, combination with campaign costs data and similar.      Campaign management supports following functionalities:    automation of all retention programs  resolves conflicts  predicts marketing costs for budgeting purpose  keeps reasonable RoI for marketing campaigns                                                                                 
15 Calls; direct mail, invoices  16 mails, calls, fax, personally and etc. 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

                                                         
 

DWH/BI/DATA MINING FUNCTIONALITIES

118

Audience Treatement Update

Update

Output  processing

Automated  Fulfillment  campaign activities
Response  analysis Call center  printing

Load  response  data Capture  response  data

Contact  made

Figure 38. Example of one Campaign Process Flow Chart. 

   

6.9.3 Customer behaviour recording and predicting  
  One  of  very  useful  feature  of  DWH  and  Data  Mining  can  be  customer  behaviour  recording and prediction. This functionality should enable looking for changes in profitability  over  time,  finding  changes  in  product  portfolio  and  tracking  trends  (what  happened  last  month,  year;  comparison;  finding  anomalies;  comparing  forecasts  and  actuals).    Following  elements  are  part  of  customer  behaviour  and  influence  churn:  complaints,  customer  responses  and  similar.  This  should  result  in  identifying  patterns  of  behaviours  that  can  predict a change in profitability or possible churn of customer to competition.     Functionalities supported in DWH:   Standardised  data  model,  transformations,  derived  variables  and  data  preparation  (ETL) procedures for churn analysis  Predefined reports for churn analysis  Advanced  analysis  functionalities  like  retention  offer  estimation,  churn  prediction,  scoring list and similar.  © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

119

Implemented quality monitoring mechanism       

6.9.4 Lifetime value of customer analysis 
  Refers only to highly complicated industries like telecommunications and banking. DWH  should  support with supply of basic information mostly for FCBI solution:     Customer acqisition cost  Average amount each customer spends per period (month, quarter, year)  Products and services purchased  Average time with and characteristics of customer life cycle. Time remaining in the  customer's life cycle  Retention costs  Profit from average customer   Understand  the  combinations  of  behaviour,  cost  and  revenue  that  are  profitability  drivers.     

6.9.5 Customer segmentation/customer clusters 
  Customer  segmentation  is  essential  part  of  CRM  solutions  –  production  systems  but  propagation  of  its  data  is  of  crucial  importance  in  ordinary  work  of  DWH/BI/DM  which  should  afterwards  provide  base  to  analyse  data  per  customer  segmentation.  Results  and  reports  analytically  supported  in  DWH/BI/DM  based  on  different  criteria  like  customer  behaviour, purchase history, customer demographics and other variables are reference for  determining which customers are potential for specific product types and offer. DWH/BI/DM  is supporting cross‐sell and up‐sell activities in sales and marketing and allow fine‐tuning of  the way how products are packaged and priced to fit customer requirements per customer  segments. Results should be making fine tuned and profitable campaign activities.    DWH/BI/DM should provide customer point of view.   Central  analysis  of  customer  data  and  making  parallel  hierarchy  grouping,  different  customer  segmentation,  grouping  and  grouping  based  on  current  needs.  Compatible usage with other stored data in data repository.  Usage in advanced analytical functionalities (like: payment risk, cross sell‐ up  sell, churn ratio, revenue assurance and etc.)  Behavioural segmentation support  Segmentation verification mechanism and reporting     

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

         

DWH/BI/DATA MINING FUNCTIONALITIES

120

6.9.6 Payment risk 
  DWH/BI/DM has to support complete analysis or in limited range, drill down and  profile accounts at multiple levels—across various attributes—to determine such factors as:    • Total revenue at risk and total  • High‐risk accounts and subscribers  • Low‐risk, high‐value accounts and subscribers.  • Accounts in various age bands (30 days, 60 days, 90 days past due).  • Account types that contribute to the most debt and how they were acquired.  • Patterns and trends in usage and credit ratings across various segments.  • Demographic or organizational profile of the most delinquent customers.  • Proportion of default cases by payment method. 

6.9.7  Cross‐sell and up‐sell 
  Finding links between customers in order to increase sales and identify customers that  are more likely to adopt new products or services by concentrating on the customer  products formed by using direct interactions (communications) between consumers.   

6.9.8 Other functionalities 
  DWH/BI/DM should be also capable to give answers directly or by support FCBI with data in  following segments:    • Pricing Analysis and optimization, measuring the impact of pricing on buying  behavior;   • Market share estimation for new price plans;   • Analysis of re‐pricing impact (WHAT‐IF analysis and simulation)    • Parallel  Multi‐level  granulation  –  using  predefined  groupings  from  production  systems and possibility to make own, parallel hierarchies.  • Order  lifecycle  tracking,  tracked  orders  trough  different  systems  in  end‐to‐end  process.       

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

         

DWH/BI/DATA MINING FUNCTIONALITIES

121

6.10  Myths and legends after implementing DWH/BI 

  Myths will appear as soon as DWH/BI/DM are implemented or are partly  implemented. Actually they will appear together with production phase. In eyes or  customers that do not work directly with DWH and do not understand completely its role  many myths will appear and unfortunately they can be dangerous and funny. Reasons why  rumours are made could be mostly because people don’t understand it, like to make bad  buzz in company, like to make jokes, do want to make damage to others and similar reasons.  They do not perceive that hole in ship can sink complete ship. Danger appears form  persistent negative perception and rumours for majority of employees influencing Board.  After sometime Board could say, system costs, generates permanent problems and is not  functional. Whatever it means… Practically this attitude of Board could mean silent death of  DWH/BI/DM.    “DWH is guilty why we cannot get required figures!”   Its more than 99% possibility that production systems in common data exchange do not  generate required data and DWH cannot produce data that is not stored in production  systems. If process‐reporting mistakes on level of production are not fixed then DWH cannot  completely fix problems. Can make limited temporary solutions like code patches but this is  purely temporary and to be advised as good.  Further it’s very likely that production systems  have trash data and need to be cleaned. But perception is that DWH delivers bad data.     „I cannot believe that you super advanced and sophisticated new system do not support  simple operation as data mapping”.  Well  obviously  here  customers  do  try  to  transfer  functionalities  from  table  calculators  to  DWH/BI/DM.  This  is  not  comparable  since  Excel  is  IS  black  hole  –  it  is  not  a  database.  Functionalities that are so simple in Excel are not so easy to implement into BI tools or other  IS systems. Same is for functionalities from IS are not applicable on table calculators. They  simply cannot support numerous functionalities. It is not ok to compare them… 

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

    DWH/BI/DATA MINING FUNCTIONALITIES       “DWH is guilty for KPI definitions, we give once again several figures for same KPI”.    Already described in Chapter 5.1.2 and 5.2 but worth once again to say that people tend to  talk about only very general descriptions of KPIs and compare not comparable. It is a  problem of wrong decisions terminology and very rarely of system.    “DWH/BI/DM have needed data, they have everything”  It is utopia, utopistic expectation since it’s only a system with many limitations.   

122

There is no absolute automation, press button and get everything. It's a myth.  
    Once again    “DWH is guilty for everything.” DWH is regular guilty system for process problems in  reporting and for process problems in production systems. It is hard to fight with this  rumours without help of board member, sponsor and to make positive internal marketing.    Same myths can be applied for FCBI as specialised BI solutions.                               

     
© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

123

Instead of Summary – Important notes 
     

Never, never…  Implement DWH/BI in parallel with big changes or upgrades of  production systems, core business applications, like ERP.    Don’t forget to implement „old diseases ‐ old reporting  deviations“ back into reporting logic, otherwise reporting will  face collapse. Implement once again asthma, cardiovascular  disease or other disease and slowly remove it out. Many  managers have related own goals with data from production  systems and any sudden significant changes are not welcome. 
  Not all DWH solutions are same. Some have very quick ad‐hoc query  support for larger number of users. Almost immediate. Some DWH  solutions don’t have such speed.      ERP has powerful reporting but in many cases reports with queries for huge data  quantities extract sometimes in hours. ERP is slower and its primary design is not for  reporting but to gather and combine data from many input points. Therefore it is reasonable  to transfer demanding data extractions out of ERP. Catch is not where to transfer it… best is  to DWH (sometimes directly to FCBI depending on process requirements and specifics).  Catch is where to process ERP data, where to prepare data for report… In production system  or in DWH…        

It is wrong to process complex17 ERP extractions in DWH/BI. In this case  DWH should serve only as repository. Only simple extractions should be processed  in DWH/BI. Complex ERP extractions should be processed in FCBI or ABC module.             
                                                       
17 Complexity in sense of restoring huge numbers of relations between exported data. Many relations  between data in extractions means data from many different tables. Best examples are SAP  modules. “Complex” report may relay upon ten of thousands tables...  

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

       

DWH/BI/DATA MINING FUNCTIONALITIES

124

DWH/BI solution can serve for processing of complex extractions to certain level.  With growth of requirements temporary solution will collapse and it is upon  decision makers to weight such action. Action results in  significant DWH/BI customization supported with lot of  expert/finance resources.       
 

Do not restore data logic – process logic in  DWH/BI unless there is no other option. It’s a  temporary solution. Change in production system  requires additional effort to maintain code in DWH/BI.  Best is to force data consolidation and reconciliation on  production system level. This is permanent solution.   DWH/BI system is for reading and delivering data, not  for creating data. 
   

BI/DWH/Data mining solution is mostly supply  of non financial data for FCBI and TCC with aggregated numbers – KPI’s.  
             

       

© Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

             

DWH/BI/DATA MINING FUNCTIONALITIES

125

  To  read  more  about  prerequisites  for  DWH,  Business  Intelligence  and  Data  Mining download our FREE

BOOKS in PDF at

http://www.business-intelligence-secrets.com/business-intelligence-pdf

                                      © Copyright Gabriel I.S.  www.business‐intelligence‐secrets.com 

Sign up to vote on this title
UsefulNot useful