I’m very pretty proud to announce that I’ve released my book about Swoozy – The semantic Television a new AI-based interactive system that provide viewers with a new way to interact with video content and enable them to efficiently search for background knowledge. Watching television belongs to the most popular activity of the Germans, even before the use of the radio and the internet. This book addresses the research question of the parallel usage of television and internet as well as the use of the semantic web in this context with the focus on information search and user-centered interactions that should be intuitively performed in front of the television
In my book the following research challenges are investigated:
- A detailed analysis of the current technical approaches in the field of Smart TV.\newline Thereby current possibilities in the field of interaction, design and possible extensions will be outlined.
- The extraction and recovery of detailed semantics out of a video or a live broadcasted TV program through automatic annotation mechanisms and the usage of combined text and video based extraction methods.\newline
- The goal of this analysis is to determine what kind of information can be currently extracted from existing DVB streams and how the semantic web through services such as DBpedia or Wikidata can enrich this extracted information.
- The design and realization of an innovative television based graphical user interface to enable interaction with video content.
- In addition, the graphical user interface displays heterogeneous results from the web in an interactive form.
- The development of a set-top-box based software called Swoozy, which allows the technical connection of semantic information with the graphical user interface.\newline
- The latter goes graphically and technically a step further than the current TV-App concept.
- The distributed cloud-based approach of the processing shows that it can be used within a television production system. Dedicated tools provide editorial support for tasks such as the annotation or the description of multimedia content.
And last but not least the focus is on the conception and implementation of such a system and on the technical realization of a connection between (nonlinear and linear) videos, cloud-based services and semantic processing.
Here is the abstract in German
Fernsehen ist die beliebteste Aktivität der Deutschen, immer noch vor der Nutzung des Radios und Internets. Doch die Art und Weise fernzusehen, hat sich in den letzten Jahren stark verändert. Dieses Buch befasst sich mit der spannenden Thematik der parallelen Benutzung der Medien Fernsehen und Internet bzw. des semantischen Web, mit dem Fokus auf einer Suche und benutzerzentrierten Interaktionen, die intuitiv vorm Fernsehgerät durchgeführt werden können. In dieser überarbeiten Version seiner Dissertation führt der Autor zuerst eine detaillierte Analyse der heutigen technischen Ansätze im Bereich Smart-TV durch. Dabei werden ihre Möglichkeiten in puncto Interaktion, Design und funktionaler Erweiterbarkeiten präsentiert. Zusätzlich wird das System namens Swoozy, welches die Grundlagen des neuen interaktiven semantischen Fernsehens (Semantic TV) setzt, detailliert vorgestellt. Durch die technische Realisierung von Swoozy wurde eine nahtlose Verbindung zwischen (nicht- bzw. linearen) Videos, den Cloud-basierten Diensten und der semantischen Verarbeitung geschaffen. Somit erhalten Zuschauer durch das semantische Fernsehen eine neue Möglichkeit mit Videoinhalten zu interagieren und effizient nach Hintergrundwissen zu suchen.
Interested? You can buy the book at Amazon.de!