You are on page 1of 29

Tems Investigation Test Procedures

 
 
 
 
 
 
 
TEMS INVESTIGATION 
TEST PROCEDURES 
 
 
 
 
 
Drafted by: Ufuk Yurtsever Date: 12.01.2008

Reviewed by: Kerem Özyetkin Date: 21.05.2008

Reviewed by: Orhan Uzgidim Date: 23.05.2008

Reviewed by: Zaid Salman Date: 26.05.2008

Approved by: Ufuk Yurtsever Date: 27.05.2008

 
 
 
 
 
OPTIMUM NETWORK SOLUTIONS INC. 
 
 
 
 

Optimum Network Solutions Inc.


1
Tems Investigation Test Procedures

 
 
 
 
 
 
 
CONTENTS: 
 
 
1‐ INTRODUCTION 
2‐ SETTING UP THE EQUIPMENT 
3‐ SETTING UP TEMS INVESTIGATION 
4‐ GSM VOICE CALLS 
5‐ SCANNER MODE 
6‐ DEDICATED MODE 
7‐ IDLE MODE 
8‐ GPRS TESTS 
9‐ HOTSPOT(LANDMARK) TESTS 
10‐BENCHMARK TESTS 
11‐SINGLE SITE CHECK 
12‐GLOSSARY 
 

Optimum Network Solutions Inc.


2
Tems Investigation Test Procedures

 
1‐INTRODUCTION: 
This  document  is  prepared  to  be  used  as  a  manual  while  preparing  for  and 
performing a GSM and/or GPRS‐EDGE test by the Drive Test Engineer/Technician. 
The  drive  test  tool  described  throughout  this  document  is  TEMS  Investigation 
version 7.1.3 and 8.1.3 
 
By  completing  this  document,  reader  will  be  able  to  setup  a  drive  test  kit,  to 
perform a GSM, GPRS, Hotspot (Landmark), Swap or Benchmark drive test. 
 

 
Typical DT Setup 
        
 
 
 
 
 
 
 
 
 
 
 
 

Optimum Network Solutions Inc.


3
Tems Investigation Test Procedures

2‐SETTING UP THE EQUIPMENT 
In order to be ready for a drive test, the following equipment should be ready:  
1. A laptop PC with at least one USB port.(mandatory) 
2. A USB HUB (1 to 4) (preferably a PCMCIA Express USB hub)  
3. TEMS Investigation SW (7.1.3 and 8.1.3 are used as of today) (mandatory) 
4. TEMS Investigation Dongle(mandatory) 
5. An  MS  compatible  with  TEMS  SW  i.e.  Sony  Ericsson  W600i,  K600,  K790, 
K800.. (mandatory) 
6. Data cable for the MS(mandatory) 
7. A  GPS  (Garmin  Etrex  Legend,  Delorme),  GPS  shall  have  NMEA  0183 
interface. (mandatory) 
8. RS232 to USB Converter (if GPS interface is RS232) 
9. External antenna adapter for the MS (if needed)  
10. External antenna for the MS (if needed) 
11. Car Holder for the MS(optional) 
12. Inverter (to supply power for PC during the test) (mandatory) 
13. A simcard for the operator to be tested(mandatory, except scanner test) 
 

External Antenna Adapter    PCMCIA Express 4 port USB HUB 

Car Holder for K790      0 dB Gain External Antenna

Optimum Network Solutions Inc.


4
Tems Investigation Test Procedures

3‐SETTING UP TEMS INVESTIGATION 7.1.3:  

The first thing to know is the communication port to the MS is connected,  the way to do 
that is by opening device manager and looking for the connected modems. After finding 
the correct modem related to our phone, go to properties, advanced tab, and advanced 
port properties.  
 
The below picture depicts this process, as easily seen the com port for the modem here 
is Com13. 

Searching for the correct Com port for the Phone Modem. 

Next step is opening TEMS Investigation program. There will be two consecutive ports in 
the TEMS Port Configuration window, in the Ctrl & Config Tab. The smaller port will be 
assigned to DC (Data Cable) and the bigger port will be assigned to MS (Mobile Station)  

Below is the example for that process: 

Optimum Network Solutions Inc.


5
Tems Investigation Test Procedures

3.1‐SETTING UP TEMS INVESTIGATION 8.1.3:  

By connecting the USB cable to the PC. MS will be assigned as MS1 and DC will be 
assigned as DC1 automatically.(There is no need for port configuration (manually)) 
 
Below is the example for that process: 
 

 
 
After identifying the equipment, MS1, DC1, GPS, the test can be started. 
 
 

Optimum Network Solutions Inc.


6
Tems Investigation Test Procedures

4‐GSM TESTS: 
An MS is always in CS Mode when performing Voice Call.  The steps of an ordinary 
GSM Voice Call is listed below: 
 
1. Idle Mode (MS is not in a call, only cell reselecting along the way) 
2. Call Initialization (Number dialled) 
3. Call Attempt  
4. Dedicated Mode  
5. Call Setup 
6. Call Established 
7. Handover 
8. Call end 
9. Idle Mode 

 
GSM Voice Call Steps. 
 
 
 

• Scanner Mode 
In GSM tests MS can be used in different modes: 

• Dedicated Mode 
• Idle Mode 
 

4.1‐SCANNER MODE: 
 
In scanner mode, we usually give a number of frequencies to be scanned by MS. e.g. 
in Vodafone network it is 21‐30, 40‐79.  
 
Let’s go over the steps to setup an MS in scanner mode. First of all, there is no need 
to use a SIM card for an MS to be used in scanner mode. After connecting the MS to 
TEMS  investigation  we  will  use  this  button  ( )  to  enter  the  frequencies  to  be 
tested. The below window opens: 
 

Optimum Network Solutions Inc.


7
Tems Investigation Test Procedures

 
Check decode BSIC, and click channel selection. Decoded BSIC information is used for 
identifying the transmitting base station 
 

 
As depicted above enter the frequencies to be tested, e.g. this time it is entered 21‐
30, 40‐79 for BCCH carriers of Vodafone. 
 
After that click this button ( ) to start scanning. When you choose scanner tab in 
TEMS Investigation the below screen appears. 
 

Optimum Network Solutions Inc.


8
Tems Investigation Test Procedures

 
 
As  illustrated  above,  you  can  see  all  the  frequencies  under  test  from  strongest  to 
weakest at the top window, all frequencies from 21 to 79 in the number order on the 
middle window and the respective signal strengths of the strongest frequencies on 
the bottom left window. 
 
Only thing left is to push the record button and start frequency test while recording 
the log files. This mode is usually used in Landmark (Hotspot) tests. 
 
4.2 ‐DEDICATED MODE: 
 
In  dedicated  mode,  MS  performs  a  voice  call;  there  are  two  types  of  DEDICATED 
MODE calls generally accepted long call and short call. 
4.2.1 – Long Call: 
 
The usual way to start and stop the calls manually, but it is recommended do it is by 
preparing  a  command  sequence  (with  long  call  Duration)  in  order  to  automatically 
start and stop voice calls.  
Also most of the operators usually ask for definite call duration during the tests. 
 
In long call MS performs a call continuous duration, some Operators ask for a long 
call that the MS performs a call (like 15 minutes) and waits 15 seconds to start the 
second call.  
 
4.2.1 – Short Call: 
 
The way to do this is that you should prepare a command sequence to automatically 
start and stop voice calls. 

Optimum Network Solutions Inc.


9
Tems Investigation Test Procedures

 
In short call MS performs a call with short call duration (like 180 seconds) and waits 
15  seconds  to  start  the  second  call.  (Call  duration  is  depending  on  the  Operator 
request) 
 
Long  call  is  usually  preferred  to  check  the  drops  or  HO  failures  along  the  test, 
whereas short calls usually preferred to check the call setup KPIs, like, Call Setup 
Success rate, Blocking. 
 
 
 
 
 
 
 
There are two examples for long and short calls below: 
 

 
Short call example 
 
 

Optimum Network Solutions Inc.


10
Tems Investigation Test Procedures

 
Long Call example 
 
 
Difference of `short call` and `long call` is only the duration (e.g. 3 minutes for short 
call and 15 minutes for long call) 

During the test, the process shall be as follows; 

1‐ Push record    ( )  button and choose an appropriate filename for the log 
file. i.e. 0608_2.log. 

2‐ Start Command Sequence by pushing run button ( ) 
3‐ Wait for the end of the sequence.  

4‐ Push the stop button  ( ) 
 
 
 
5‐IDLE MODE : 
 
In  idle  mode  tests  the  aim  is  to  record  the  behaviour  of  the  MS  while  it  is  in  idle 
mode, it is not preferred to use idle mode for coverage recording. However, one can 
have the cell reselection characteristics of the area if idle mode MS is used. 
 
In idle mode test, there is no need for a command sequence.  Only thing to be done 
is record and stop to save a log file. 
 

Optimum Network Solutions Inc.


11
Tems Investigation Test Procedures

6‐GPRS TESTS 
 
GPRS  tests  are  done  for  measuring  pocket  data  transmission  from  the  selected 
locations or sectors by the customer. 
 
GPRS SESSIONS:  
 
The  normal  mode  MS  uses  for  voice  calls  are  “Circuit  Switching  Mode”.  However, 
GPRS  Sessions  take  place  while  the  MS  is  in  “Packet  Switching  Mode”.  Hence,  in 
every GPRS session MS has to switch to PS Mode, and get back to CS Mode when the 
session finishes. The general description of a typical GPRS FTP Session is as follows:  
 
1‐ PS Attach  
 
2‐ PDP Context Activation  
 
3‐ Session Start  
 
4‐ Session end  
 
5‐ PDP Context Deactivation  
 
6‐ PS Detach  
 
The  below  excerpts  from  TEMS  Investigation  8.1.3,  Signalling  Tab,  Events  window 
shows two consecutive FTP sessions with all the above listed events occurring in 
order. 

Optimum Network Solutions Inc.


12
Tems Investigation Test Procedures

 
Two consecutive FTP sessions from TEMS Investigation 8.1.3. 
 
Usually FTP and Ping sessions are used to test the GPRS network performance. In FTP 
test there are two files, one in the FTP server, one in the PC collecting the data in the 
field. These two files are uploaded and downloaded through the MS using GPRS and 
the  throughputs  are  recorded  in  the  logs.  In  Ping  test,  large  numbers  of  pings  are 
sent from PC to server to see the success rate. 
 
MS CONFIGURATION FOR GPRS TEST 
 
MS shall be setup for the GPRS connection. These settings are available in the web 
sites  of  all  GSM  operators.  A  data  account  shall  be  created  with  the  necessary 
username and passwords. MS shall be in “CS Only” mode in order for us to see PS 
attach and PS detach events in all the sessions. If the MS is left in “PS and CS” mode 
there will be no PS Attach and PS Detach event in the GPRS sessions. 
 
Below are the settings for Vodafone TR network for a Sony Ericsson K790 MS to be 
enabled for GPRS service: 
Data Account Name: Vodafone  
Data Account Type: PS data 
APN: Internet  
Username: vodafone  

Optimum Network Solutions Inc.


13
Tems Investigation Test Procedures

Password: vodafone  
Login Request: OFF 
Allow calls: Automatically  
IP adress: … 
DNS adres: … 
Authantication: None, PAP, CHAP selected 
Data Compression: Off 
Header Compression: Off 
After these settings are done in the MS, there is more to be done on the PC side.  
 
• connect the MS to the PC,  
 
• in network neighbourhood, create a new connection,  
 
• connect to the network at my workplace,  
 
• dial up connection,  
 
• choose the modem related to the MS, i.e. Sony Ericsson K790 data modem,  
 
• give the connection a name i.e. Vodafone,  
 
• the number to be dialled is *99#.  
  
After creating this new data connection, we shall try to connect to internet through 
GPRS.  If  the  result  is  positive,  we  may  go  on  to  configure  out  test  equipment  with 
TEMS Investigation. 
 
 
EQUIPMENT CONFIGURATION FOR TEMS INVESTIGATION8.1.3 
 

Right click on MS1 Air Interface for reaching equipment properties 
 
 
 
 
 
 
 

Optimum Network Solutions Inc.


14
Tems Investigation Test Procedures

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Check the “off” box in the GSM EDGE Capability tab. 
 

 
Doubleclick on  “Data” for opening properties window. 
 

Optimum Network Solutions Inc.


15
Tems Investigation Test Procedures

 
Set Packet Capture to “On” and Packet size to “Full packetsize” 
 
 
COMMAND SEQUENCE  
After successfully connecting the MS to TEMS SW, the Command Sequence shall be 
prepared. The below figures will depict the command sequence lines written for the 
Vodafone TR Static GPRS Tests: 
 
Three  types  of  GPRS  test  command  sequences  will  be  used  due  to  customer’s 
request: 
1‐ Comprises of 10 FTP Sessions(5 DL and 5 UL) and 1 ping Session(Stationary) 

2‐ Comprises of 20 FTP Sessions(10 DL and 10 UL) and 1 ping Session(Stationary) 

3‐ Comprises of 10 FTP Sessions(5 DL and 5 UL)(mobility) 

 
1‐Command  sequence  below  comprises  of  10  FTP  Sessions  (5  DL  and  5  UL)  and  1 
Ping Session (500 pings, 32KB each). In FTP DL, a 240k file is downloaded from FTP 
server, while in FTP UL a 40k file is uploaded to FTP server. There are wait commands 
lasting  for  5  seconds  in  between  all  the  sessions  and  wait  commands  lasting  for  3 
seconds between all start and stop record commands. 
 

Optimum Network Solutions Inc.


16
Tems Investigation Test Procedures

 
Command sequence and FTP DL details 
 

 
FTP Uplink details 

Optimum Network Solutions Inc.


17
Tems Investigation Test Procedures

 
PING details 
 
2‐  Same  command  sequence  with  only  FTP  session  count  difference  above  (10  UL 
and 10 DL) 
 
3‐ Command sequence below comprises of 10 FTP Sessions (5 DL and 5 UL). In FTP 
DL, a 240k file is downloaded from FTP server, while in FTP UL a 40k file is uploaded 
to  FTP  server.  There  are  wait  commands  lasting  for  5  seconds  in  between  all  the 
sessions and wait commands lasting for 1 seconds between all start and stop record 
commands. 

 
Command sequence and FTP DL details 

Optimum Network Solutions Inc.


18
Tems Investigation Test Procedures

 
FTP UL details 
 
During the test, the process shall be as follows;  
 
1‐   Start Command Sequence by pushing run button( ) 
 
2‐   Wait for the end of the sequence.(for a static GPRS test) 
 
3‐  Wait  for  a  wait  command  and  stop  sequance  by  pushing  stop  button 
( ).(for a mobile GPRS test) 
 
4‐ After finishing the test:  
‐ There will be 3 log files with the name comprises of date and log number 
for stationary tests. i.e  0521_01, 0521_02 and 0521_03.  
First one is DL session log file, second is UL and the last one is Ping session 
log file.  
 
‐ There will be several log files named as above. Log files ending with odd 
numbers are DL and the others are UL log files. 
 
 
For the sectorel tests, name the files using format below: 
‐ CLName_CellID_DDMMYY_LogNumber .  
i.e “CL17_22198_21052008_01” 
 
For the location tests, name the files using format below: 
‐ CLName_LocationName_DDMMYY_LogNumber.  
i.e “CL17_Hacettepe_Tip_Fklts_21052008_02” 

Optimum Network Solutions Inc.


19
Tems Investigation Test Procedures

 
For the mobile tests, name the files using format beolw: 
‐ Mob_CLName_StartingTime_DDMMYY_LogNumber 
i.e “Mob_CL17_1435_21052008_03” 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Optimum Network Solutions Inc.


20
Tems Investigation Test Procedures

9‐HOTSPOT (LANDMARK) TESTS 
 
Hotspot tests are for measuring the strongest frequencies at the test location. 
 
Before starting to the hotspot (landmark) test, tester has to set up 2 MS. One will be 
used for Idle Mode and the other for Scanner Mode.   
 

During the test, the process shall be as follows; 

1‐ Push  record      ( )  button  and  choose  an  appropriate  filename  for  the  log 
file using the format as shown below 

‐ MIPrinx_LocationName_MS_DDMMYY_LO1 

i.e “227166_Esenboga Havaalani_MS3_21052008_01” 

2‐ Wait for at least 5 minutes.  
3‐ Push the stop button ( ) 

Test will be repeated in two or three places near the location as shown below if it’s 
possible. 
 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Optimum Network Solutions Inc.
21
Tems Investigation Test Procedures

10‐BENCHMARK TESTS 
 
Benchmark  tests  done  for  comparison  of  network  (Vodafone)  with  other  networks 
(Turkcell and Avea) and measuring strongest frequencies in blacklisted locations. 
 
There are two ways to make Benchmark tests: 
‐ With one MS and Scanner 
Test repeats three times at the same route with each provider as  
MS1 Vodafone MS3 Scanner (with scanner frequencies 21‐30, 40‐79) 
MS1 Avea MS3 Scanner (with scanner frequencies 512‐586[1800],  
1‐6, 33‐38) 
MS1 Turkcell MS3 Scanner (with scanner frequencies 10‐19, 81‐120) 
Name the logfiles using format as shown below 
« siteID_MS1_VF_MS3_SCN_DDMMYY » 
« siteID_MS1_AVEA_ MS3_SCN_ DDMMYY » 
« siteID_MS1_TR_ MS3_SCN_ DDMMYY » 
 
 
‐ With two additional MS and Scanner 
Only  one  test  shall  be  done  using  all  providers  at  same  time.  In  this 
scenario,  three  MSs  will  have  three  different  simcards  and  scanner  will 
scan all the frequencies belonging to the different operators.  
 
Example: 1‐6, 10‐30, 33‐38, 40‐120 [900], 512‐586[1800] 
 
Name the logfiles using format as shown below 
« siteID_MS1_VF_MS2_TR_MS3_AV_MS4_SCN_DDMMYY » 
 
 

Optimum Network Solutions Inc.


22
Tems Investigation Test Procedures

 
11‐SWAP TESTS 

Swap  tests  are  done  for  checking  sites  after  swapping  that  has  been  done  by  the 
operator for cabinets, antennas or equipment on sites for newer ones or for another 
vendor.  Site  check  is  being  done  to  find  out  possible  problems  which  can  occur 
during swap procedure. 
 
Generic problems listed below; 
 
  ‐Cross connection (Or partial cross connection) 
 
  ‐Hardware problems 
 
  ‐Missing neighbours 
 
  ‐Database problems (Coordinate, Azimuth faults) 
 
Swap test procedure consists of two kinds of tests: mobility and static. During swap 
test, two command sequences are used, each for one type of test. 

  Mobile  test  is  done  by  making  dedicated  mode  test  on  a  route  around  the 
site, command sequence should be as below, 
 

Optimum Network Solutions Inc.


23
Tems Investigation Test Procedures

 
Mobile test command sequence details (Dedicated 150 s / Idle 30 s)
Static test is done by making dedicated mode test in points in front of every 
sector on site, command sequence should be as below, 
 

Optimum Network Solutions Inc.


24
Tems Investigation Test Procedures

 
Static test command sequence details (Dedicate 20 s / Idle 10 s). 
 
Drive test routes and other important matters 
 
In mobile test, we should follow below procedures: 
 
  ‐Two circles around the site, one small and one big, if it is possible (Tester will 
decide the range of circles, according to coverage of site). 
 
  ‐ Detailed test for every sector in coverage areas of sectors. 
 
  ‐DT Engineer should check HO from each sector to neighbour cells and back 
(Neighbours here shall be cells in the other sites, collocated cells are always defined 
neighbors). 
 
  In static test, we should follow below procedures: 
 
  ‐Static call point should be in front of the sector and signal strength should be 
good (Between ‐45 dbm and ‐65 dbm). 

Optimum Network Solutions Inc.


25
Tems Investigation Test Procedures

 
Example for mobility and static swap test routes. 
 

During mobility test, the process shall be as follows: 

1‐ Push record   ( ) button and choose an appropriate filename for the log file 
using the format as shown below 

‐ mobil_siteid_YYYY_MMDD_01 

i.e “mobil_984_2008_0516_01” 

2‐ Start Command Sequence by pushing run button( ) 
 
3‐ When  mobility  test  finish,  wait  for  a  wait  command  and  stop  sequence  by 
pushing stop button ( ). 
 
4‐ Push the stop button ( ) 

Optimum Network Solutions Inc.


26
Tems Investigation Test Procedures

During the stationary test, the process shall be as follows: 

1‐ Push  record      ( )  button  and  choose  an  appropriate  filename  for  the  log 
file using the format as shown below 
 
‐ static_siteid_YYYY_MMDD_01 (For first sector) 
 
i.e “static_984_2008_0516_01” 
 
2‐ Start Command Sequence by pushing run button( ) 
 
3‐ When stationary test finish, wait for the end of the command sequence. 
 
4‐ Push the stop button ( ) 

After finishing the test: 
 
Tester  should  prepare  an  excel  report  for  each  site  which  has  been  tested  and  all 
files copied under one folder. File names should be as below: 
 
‐Folder Name; 
 
  SW_siteid_MM.DD.YYYY logs 
 
  i.e“SW_984_05.16.2008 logs” 
 
‐Excel Sheet; 
 
  CLXX_siteid_MM_DD_YYYY 
 
  i.e”CL08_984_05_16_2008” 
 
‐Mobil Logs; 

mobil_siteid_YYYY_MMDD_01 

i.e “mobil_984_2008_0516_01” 

‐Static Logs; 

static_siteid_YYYY_MMDD_01 (For first sector) 

i.e “static_984_2008_0516_01” 

Optimum Network Solutions Inc.


27
Tems Investigation Test Procedures

 
 
 
GLOSSARY  
 
PDP Context 

A PDP (Packet Data Protocol) Context is a logical association between a MS (Mobile 
Station) and PDN (Public Data Network) running across a GPRS network. The context 
defines aspects such as Routing, QoS (Quality of Service), Security, Billing etc.  

 
PS ‐ Packet Switched  

In a packet switch networks, data may be transferred by dividing it into small blocks 
or pieces known as packets. Each packet contains information in its header to allow 
it to be routed by packet switches across the network. This is a more efficient means 
of transferring data. An example of a packet switched network is the Vodafone.  

 
Circuit Switching  
 
Circuit switching is a process in which a dedicated physical circuit path must exist 
between sender and receiver for the duration of the call. The switch is employed to 
connect the various physical paths that make up the end to end connection. 
Switching takes place within Layer 2 of the OSI (Open System Interconnection) 7 
layer model. 
 
Call Initialization 
 
Call initializing is the step of dialling number for starting a GSM voice call. 
 
Call Attempt 
 
In  a  telecommunication system,  a  demand  by  a user for  a connection to  another 
user. This is the second step of starting a GSM voice call. Note: In telephone traffic 
analysis, call attempts  are  counted  during  a  specific time  frame.  The  call‐attempt 
count includes all completed, overflowed, abandoned, and lost calls. 
 
Call Setup 
 
Call  setup  is  the  step  comes  after  call  attempt  that  caller  starts  to  hear  the  calling 
tone until called user answers the call. 
 
Call Established  
 

Optimum Network Solutions Inc.


28
Tems Investigation Test Procedures

Call established is the step that the called user accepts the call. GSM voice call starts 
with this step. 
 
Handover 

Handover (handoff) is switching of an on‐going call to a different channel or cell.  

There are four types of handovers 

• Switching channels in the same cell. 
• Switching cells under control of the same Base Station Controller (BSC) 
• Switching cells under the control of different BSCs, but belonging to the same 
Mobil service Switching Center (MSC) 
• Switching cells under control of different MSCs.  

The first two types of handover, called internal because they involve only BSC, and 
MSC is notified only on completion of the handover.  

The last two types of handover, called external because they involve MSC.  

MSC (Mobile services Switching Center) 

The  MSC  performs  the  telephony  switching  functions  for  the  mobile  network.  It 
controls  calls  to  and  from  other  telephony  and  data  systems,  such  as  the  Public 
Switched  Telephone  Network  (PSTN),  Integrated  Services  Digital  Network  (ISDN), 
public data networks, private networks and other mobile networks. 

 BSC (Base Station Controller) 

The BSC manages all the radio‐related functions of a GSM network. It is a high 
capacity switch that provides functions such as MS handover, radio channel 
assignment and the collection of cell configuration data. A number of BSCs may be 
controlled by each MSC. 

Optimum Network Solutions Inc.


29

You might also like