The Role of Transmedia in Interactive 

Systems 
Dr. Sepi Chakaveh
School of Engineering & Technology
University of Hertfordshire

Brunel
3 February 2010
 Introduction
• Media Technology
• A personal journey through Media Technology
– Multiserve Project
– Streaming Technology
– Content Creation for E‐Learning
– Virtual Studio Technology
– Digital TV
• Thinking out of box
• Media Synergy
• Metadata & Transmedia
• Multiplatform Devices 
• Some Practical Examples

SC 2
 What is Media Technology
• Media Technology is a new and an emerging research field 
which was formed on the back‐bone of a number of traditional 
technologies, such as 
– Broadcasting, 
– System Engineering, 
– Networking, 
– Computer Graphics & Imaging, 
– Data Processing and 
– Artificial Intelligence. 
• Although all the above have been well established research 
themes, they were only converged to form the new innovative 
Media Technology field after the birth and subsequent 
popularity of the Internet. 
 Background
• Media Technology first emerged as Broadcasting & Information 
Technology came closer.
• Broadcasters' Interests
– More viewers
– Pay less for channels hired – reduce the costs
– Look for alternative and additional services
• IT Companies Interest
– More Services mean More costumers
– Exploit the existing Infrastructures
– Telephony alone would not Justify
• Internet was the obvious catalyst for this process.
 Technology in Media Convergence 

3ELE0082 CBIR- SC 5
 Internet as Catalyst

• Internet via Satellite
• Digital Media could be transported on the Internet
• Transport Video & Audio IP Packets
• Compression Methods
• IP Protocol 
• Emergence of Streaming Technology
A personal journey
Multiserve Project
Streaming Technology
 Cape Architecture
(State of Pennsylvania Center for Advancing Partnerships 
in Education)
Cape Typical E‐Learning Portal
Virtual Studio
 Virtual Studios
Definition:
A Virtual Studio (VS) is a Movie Studio that allows 
the realtime combination of people or other real 
objects and computer generated environments 
and objects in a seamless, virtual reality‐like 
manner.
In Virtual Studios real sets are replaced by 
computer generated sets.
The real camera presepective is then integerated 
within the virtual scence. 
 Virtual Studios
Motivation:
No storage areas
Easily changing  scenes 
Almost unlimited possibilities in design and application of sets
Special Effects
Direct Interaction with the scene (live)

Elements:
Blue Room
Tracking Systems 
Virtual Set
A Virtual Studio
A Virtual Studio
A Virtual Studio
Blue Room
 Video Tracking

Video tracking is the process of locating a moving 
object (or several ones) in time using a camera. 
A Virtual Set
 Real, Foreground and Background 

FG (Camera) BG (Computer) FG+BG (Mix)

 Remote Controled 
Operation of Robotic cameras.
Enhanced TV
 Enhanced TV
• Videotext (or "interactive videotext") was one of the 
earliest implementations of an "end‐user 
information system". 
• From the late 1970s to mid‐1980s, it was used to 
deliver information (usually pages of text) to a user 
in computer‐like format, typically to be displayed on 
a television.
• In 2002 we developed the first Digital Teletext
engine for the second German National 
Broadcasters.

3ELE0082 CBIR- SC 24
BBC Analogue TELETEX
ZDF Analogue TELETEX
 Digitext Infotainment Portal for ZDF 
(German Second National Broadcasting Comp.)
Thinking out of Box
 The Media Revolution

z Media production has gained a diversity of

information acquisition which goes far beyond the
pure audio or video recording.
z This is due to:
− Digitisation
− Convergence of IT and TV
− Increasing channels for media distribution

3ELE0082 CBIR- SC
 Digitisation

z Analogue (restricted to given standards):
− any innovation would imply a tremendous change 
throughout the whole chain (including
production, broadcast, consuming)

z Digital (anything is possible):
− audio 
− video (any image resolution/frame rate)
− additional metadata and backward channel

3ELE0082 CBIR- SC
 Increasing distribution channels

z Radio, TV (DVB‐T,S,C,H)
z Internet (web sites, pod cast, etc.)
z CD, DVD
z database services
z etc.

3ELE0082 CBIR- SC
 Convergence of IT and TV

z Current Broadcaster situation:
archive
− Radio:  production broadcast

− TV:  production broadcast archive

z Proposed Broadcaster situation:
broadcast
production archive internet
DB
oth. exploit.

3ELE0082 CBIR- SC
 Media Synergy & Edutainment

• When discussing  Interactive Applications the Internet and  PC 
are the obvious media & platforms coming into mind.
• Because of technological advancement in IT a new 
phenomena called “Media Synergy” was formed.
• This means it is now possible to interact with a content on 
various platforms such as TV & Mobile similar as that of PC.
• Also if we have some connectivity (i.e. mobile or interactive 
TV), networked applications are possible.
• In here the content are called Infotainment, Edutainment, 
etc.
Interactive Edutainment Systems

Content creation, Integration & Delivery
Chakaveh et. Al 2002
Edutainment & Media Synergy Market Place
• Communication & Technology Companies 
• TV networks (Public/Private)
• Content producer for IPTV applications
• Independent TV content producer 
• Film (Technology) 
• Education Sectors
• Consumer Services Sectors 
 Transmedia
z Transmedia as defined by Henry Jenkins in his 2006 
book “Convergence Culture”, is storytelling across 
multiple forms of media with each element making 
distinctive contributions to a viewer/user/player's 
understanding of the story world. 
z In Engineering or Media Technology, Transmedia
refers to a Multiplatform application e.g. BBC iPlayer
which can be transported across various platform 
such as PC, Mobile and the Internet.

3ELE0082 CBIR- SC
 Holistic Approach using Metadata 
z Metadata appears at all phases of the media 
productions, distribution and consumptions, such 
as:
− At the pre‐production phase:
story boards, background information from research,
editing (e.g. at new production systems)

− During the production:
time and location of a take, 
tracking data of camera 
motion etc.

3ELE0082 CBIR- SC
 Increasing need for Metadata
The post‐production phase:
z Editing protocols (e.g. cut lists),
z Implementation of interactive mechanisms.
During the broadcast:
− Consumer's interaction feedback
For archiving:
− Cut lists, 
− Content descriptions,
− Keywords, 
− Cross links,
− Accounting due to digital rights, etc.
3ELE0082 CBIR- SC
 Attempts to setup Standards
For example, MPEG‐4
Provide solution for different types of metadata:
Audio visual content, 
Graphics profiles, 
Scene graph profiles, 
MPEG‐J profiles,
Object descriptor profiles, 
IPMP, etc.
Problems: 
Too complex to be fully implemented by all devices,
Automatic enrichment of recorded video images is difficult.
Therefore:
MPEG‐4 is only partly established on the market.
3ELE0082 CBIR- SC
Initial Trials iTV
Interactive TV
Delayed (e.g. Voting, Feedback)
‐ Telephone/Fax
‐ Post
‐ Internet/Email
Live (e.g Voting, Dialogues, Games)
‐ Telephone
‐ Internet

Voting Results
Questioners
Statistics, Video-Play
Local Interaction
Home TV

Broadcast
Network Set Top Box

Playout Modulation
Center

Multiplex

Applikation Data MPEG

Playout Playout Encoder

3DK
Plug-In

3DK
(Virtual Studio)
Local Interaction ‐ Clickable Video

•Normally interaction is build into 
a content in the form of Clickable 
Video.
•Using VS , you may define Hot 
Spots in the content.
•However the typical senestive 
band is too wide.
•Remote contol has normally no 
2D cursor.
•Potential post‐production 
problems
Local Interaction – Hot‐Spots
Live  Interaction
Home TV

Broadcast Set Top Box Internet

Network

Return
Playout Modulation Channel
Center Server
Multiplex Socket
Socket

Socket ... Socket

Applikation Data MPEG
Playout Playout Encoder Serialization

3DK db - API
Plug-In

3DK
(Virtual Studio) 3DK
Plug-In
XML Data Base
Live Interactivity – Voting
Remote Live  Interaction – Changing Time
Remote Live  Interaction – Changing Time
Examples
Your Vote 02
 Your vote 02 –
Enhanced Information Access

Chakaveh & Geuer 2003
 Your vote 02 –
Enhanced Information Access
 Your vote 02 –
Enhanced Information Access
ZDF – Politbarometer Programme
 Voting on iTV
• iTV voting has proven to be very popular with the UK 
Viewers
• X Factor
• Strictly Come‐dancing 
• Proms Conductor
• Who wants to be a Millioner
• In here the clickable GUI is connected via back 
channel to a remote server.
• This process normally is regarded as “delayed 
voting”.
Delayed Interaction ‐ Voting
Home TV

Broadcast
Set Top Box Internet
Network

Return
Playout Modulation Channel
Center Server
Multiplex Socket
Socket

Socket ... Socket

Applikation Data MPEG
Playout Playout Encoder Serialization

3DK db - API
Plug-In

3DK
Data Base
(Virtual Studio)
Interactive TV
Voting using The Red Button
Blues Clues
BLUES CLUES 
MARILYN
 MARILYN 
Multimodal Avatar Responsive Live Newscaster
MOBILE TV
 Digitext Infotainment Portal for ZDF 
(German Second National Broadcasting 
Comp.)
 CitizenMedia Objectives
• User‐centric approach for 
• Applications
• Services
• Systesm
• Infrastructure
• Technology & Architecture
• Development of Audio‐visual system to enable non‐
professional users to co‐create networked applications
• User generated content
• Collaborative project
• Non‐technical people should be able to operate and 
apply the system
• End‐to‐end service delivery, network & operational scalability
Current Development
 Weather Map Example
z Real‐time talent gesture recognition 
for immediate control

3ELE0082 CBIR- SC
Real‐time object recognition for graphical 
adds

3ELE0082 CBIR- SC
Real‐time sports tracing for graphical adds,
game analysis, etc.

3ELE0082 CBIR- SC
Real‐time sports tracing for graphical adds,
game analysis

3ELE0082 CBIR- SC
Real‐time sports tracing for graphical adds,
game analysis

3ELE0082 CBIR- SC
 LIVE Objectives
• New non‐linear multi‐stream 
‘shows’ to stage live media 
events such as the 2008 
Olympic Games in Beijing.
• Development of Interactive 
Systems for Professional 
Broadcasters to analyse data 
Live
• Provision of services for TV 
consumers
• End‐to‐end service delivery, 
network & operational 
scalability (integration of TV, 
Mobile, PC event´s content
Future Applications
 London Olympics
z Metadata support during Live Sports Events
(Oylmpics 2012)
z Direct viewer feedback into the production site
z Audio and video analysis supporting the
production of the live video streams and the
archiving

3ELE0082 CBIR- SC
Future “One Possible”
Applications
UK Prime Minister TV Debate!!!
 Thank You !!!
Any Questions Please ???