Themen
Einführung und Systeme
Die Einführung macht eine kurze Bestandsaufnahme visueller Überwachungssysteme:
- Was erhoffen sich die Protagonisten?
- Was leisten aktuelle Systeme im Forschungsbereich?
- Wie sind die Systeme aufgebaut?
Ziel dieses Abschnitts ist, sowohl Ziele und Funktion als auch die Komponenten von Überwachungssystemen kennenzulernen. Die einzelnen Komponenten werden dann im weiteren Verlauf des Seminars vertiefend besprochen. Dabei geht es neben dem Verständnis des Verfahrens an sich auch darum, ob die Erwartungen erfüllt werden.
Literatur
Bewegungsverfolgung
Unter "Tracking" versteht man die kontinuierliche Verfolgung der Position von Objekten (z.B. Autos oder Menschen) in einer Folge von Videobildern. Für viele Überwachungsanwendungen ist das Tracking der erste Schritt, alle weiteren bauen dessen Ergebnissen auf.
In diesem Abschnitt betrachten wir die einfachste und robusteste Klasse von Trackern, sog. "Blob"-(Regionen)-Tracker. Diese suchen in einer Videosequenz für jedes Bild erneut die am besten passende Region von Pixeln im Bild, z.B. anhand der (hoffentlich charakteristischen) Farbverteilung oder anderer, meistens einfacher, Features. Interessante Probleme für diesen Fall sind:
- Wie geht man damit um, wenn sich das Aussehen über die Zeit ändert? (z.B. durch Drehungen oder Verformungen)
- Wie lassen sich mehrere ähnliche Objekte auseinanderhalten? (insbesondere bei temporärer gegenseitiger Verdeckung)
- Wie genau sind die Tracking-Verfahren?
- Wie lässt sich diese Aufgabe effizient lösen?
Ziel ist es, ein Verständnis für das prinzipielle Problem der visuellen Mehrdeutigkeit zu entwickeln und probabilistische Methoden kennenzulernen, mit denen es gehandhabt werden kann. Weiterhin werden wir einige grundlegende Bild-Features kennenlernen.
Literatur
- A Comparative Evaluation of Template and Histogram based 2D Tracking Algorithms
- Pfinder: Real-Time Tracking of the Human Body (vergeben)
- Kernel-Based Object Tracking (vergeben)
- BraMBLe: A Bayesian Multiple-Blob Tracker (vergeben)
- Towards automated wide area visual surveillance: tracking objects between spatially-separated, uncalibrated views (vergeben)
- Counting People from Multiple Cameras
Detektion
Um in einem Bild interessante Objekte -- zwischen all den uninteressanten Bildpartien -- herauszupicken, werden Detektionsverfahren verwendet, die auf bestimmte Objektarten trainiert wurden. Dies können zum einen relative große Regionen sein, ähnlich wie beim Tracking der Personen, zum anderen aber auch kleinen Objekte wie z.B. Gesichter.
Schwierig sind dabei Bildstellen die den interessanten Objekten ähneln, aber etwas anderes abbilden, und zu den sog. Falsch Positiven führen. Ein Lernverfahren das sich als besonders geeignet erwiesen hat, mit diesem (und vielen anderen) Problem in effizienter und effektiver Art und Weise umzugehen ist das sog. "Boosting", das wir daher hier auch explizit vorstellen wollen, um dann einige praxisrelevante Teilaspekte zu betrachten. Als Themen schlagen wir vor:
- Der bekannteste Boosting-Algorithmus AdaBoost
- effizienter Auswertung der Boosting-Kaskade
- Nutzung zeitlicher Features
- Training mit minimalem Vorwissen
Ziel ist hier, das Problem der Detektion zu beleuchten. Es ist immer wieder schwierig, zwischen Detektionsgüte und Trainingsaufwand abzuwägen. Ebenfalls wird uns beschäftigen, wie man den Nachteil des Boostings (hoher Trainingsaufwand) durch Kombination mit anderen Lernverfahren ausgleichen kann. Last, but not least, ist die Betrachtung zeitlicher Features gerade für Überwachungsszenarien von großem Interesse.
Literatur
Identifikation
Die Identifikation dient dazu, das gefundene Objekt mit einer speziellen Instanz in Zusammenhang zu bringen, z.B. ein Gesicht mit einem Namen zu verbinden oder ein Nummernschild zu lesen. Diese Aufgabe ist wegen der großen Varianz schwierig, z.B. ändern sich Gesichter stark über Zeit und bei verschiedenen Ausdrücke und Nummernschilder sind oft aus ungünstigen Winkeln aufgenommen, verdreckt, o.ä. Eine, keinerlei Anspruch auf Vollständigkeit erhebende, Auswahl an Themen:
- Gesichtserkennung
- Gesichtskategorisierung (m/w, "Ethnie")
- Nummernschilder lesen
- Nummernschilder in Zusammenhang mit Automodellen interpretieren
Ziel dieses Abschnitts ist, einen Eindruck von den Möglichkeiten und Einschränkungen von Objektidentifikation bei hoher Varianz zu vermitteln. Einerseits ist eindrucksvoll, welche Unterschiede rein ansichtsbasiert zu ermitteln sind, andererseits gibt die hohe Fehlerrate Anlaß an automatischen Systemen zu zweifeln.
Literatur
Interpretation
Unter Interpretation versteht man Ermittlung von Ergebnissen im Sinne des Gesamtsystems, bei einem Überwachungssystem also die Erkennung der beobachteten Aktivitäten.
Literatur
- Action Recognition Homepage / Datasets
- Human Activity Recognition from Video: modeling, feature selection and classificator architecture
- Video Surveillance of Interactions
- Recognition of Multi-agent Interaction in Video Surveillance
- Action As Objects: A Novel Action Representation
- The Recognition of Human Movement Using Temporal Templates
- Detecting Abnormal Gait
Bewertung
Bei der Bewertung wollen wir sowohl die Zielerreichung als auch die soziale Akzeptanz betrachten, d.h.
- Können die Systeme die selbstgesteckten Ziele erreichen?
- Sind die Systeme gesellschaftlich sinnvoll und akzeptabel?
Für die erste Frage wollen wir sowohl Evaluationsergebnisse diskutieren als auch das Auge für (absichtsvolle) Lücken in wissenschaftlichen Veröffentlichungen schärfen. Letztere sind oft typisch und können auf nicht direkt erwähnte Einschränkungen der vorgestellten Techniken hinweisen.
Die zweite Frage ist schwer eindeutig zu beantworten, da sich sowohl Gesellschaft als auch Technik im Fluss befinden. Wir werden uns ihr aber über Essays der einschlägigen Bürgerrechtsorganisationen und TA-Büros nähern.
Literatur