TY - JOUR 
A1 - Pérez Martínez, Luis
T1 - Object online preclassifier for video streams using GMM

Y1 - 2020
UR - http://hdl.handle.net/10317/9031
AB - [SPA] Cada día hay disponibles más y más datos y esta tendencia no para de crecer.
Por ponerlo en contexto, en 2019 cada minuto son subidas a YouTube más de
400 horas de video. El 99,5% de los datos generados no se analizan debido a
falta de recursos [1]. Toda esta información se hace imposible de analizar y
visualizar manualmente, por lo que es necesario estudiar y emplear nuevas
técnicas de análisis de información y videos.
El objetivo de este proyecto es estudiar la viabilidad de aplicar técnicas de
inteligencia artificial para obtener, analizar y clasificar información extraída de
videos de modo desatendido. Es decir, sin partir de unos datos etiquetados
previos.
En concreto, nuestro objetivo es ser capaz de identificar y agrupar objetos en
movimiento en un video, y todo ello del modo más simple posible y con la
mínima intervención humana.
Para la realización del estudio hemos utilizado videos disponibles online. En
este documento se recoge en concreto la aplicación para detectar peces en un
acuario y diferenciar cuántas especies distintas hay. Ésta es simplemente una
aplicación demostrativa, pero que ilustra potencialmente los pasos de
resolución para otro tipo de problemas similares.
En un primer paso hemos detectado objetos en movimiento extrayendo un
modelo del background a partir del video. Los objetos en primer plano son
aquellos que se mueven entre frames, y pueden ser peces, plantas u otros
objetos móviles. En un segundo paso estos objetos se uniformizan a un tamaño
fijo y como imágenes en escala de grises. Tras ello se compara el objeto con un
modelo Gaussiano multidimensional creado a partir de un grupo de imágenes
de peces. Obsérvese que este paso requiere intervención humana, pero es más
simple que un modelo supervisado donde se requieren también etiquetar
imágenes negativas. Por último, aquellas imágenes que superan este test son
agrupadas con un modelo de mixturas gaussianas (GMM), usando el método
del codo para determinar el número total de clusters (especies). Todo este
algoritmo se ha desarrollado mediante Python con las librerías de OpenCV y
Keras/TF.
Para concluir se puede afirmar que con la tecnología actual y utilizando las
capacidades del lenguaje de programación Python y las librerías disponibles de
inteligencia artificial es posible realizar un sistema que de forma semiautónoma
pueda realizar un análisis de la información contenido en videos o imágenes.
Palabras clave: Big data, Inteligencia artificial, Python, GMM, Autoencoder,
OpenCV, Clasificación, Aprendizaje Supervisado.
[ENG] Every day more and more data are generated, this trend does not stop growing
up. In 2019, more than 400 hours of video are uploaded to YouTube every
minute. 99.5% of the data generated are not analysed due to lack of resources
or techniques[1]. All this information becomes impossible to analyse and
visualize by hand. Therefore, is necessary an evolution of information and video
analysis techniques to apply.
The objective of this project is to study the viability of apply artificial intelligence
techniques to obtain, analyse and classify information extracted from videos.
To carry out the study we have been used online videos available. This document
specifically collects the application to detect fish in an aquarium and
differentiate how many different species there are. This is a simple
demonstration application, but potentially illustrates the resolution steps for
other similar types of problems.
In a first step we have detected moving objects by extracting a model of the
background from the video. The objects in the foreground are those that move
between frames, and can be fish, plants or other moving objects. In a second
step these objects are standardized to a fixed size and as grayscale images. The
object is then compared with a multidimensional Gaussian model created from
a group of fish images. Note that this step requires human intervention but is
simpler than a supervised model where negative images are also required to be
labelled. Finally, those images that pass this test are grouped with a Gaussian
mixture model (GMM), using the elbow method to determine the total number
of clusters (species). All this algorithm has been developed using Python with
the OpenCV and Keras / TF libraries.
To conclude, it can be stated that with current technology and using the
capabilities of the Python programming language and the available artificial
intelligence libraries, it is possible to create a semi-autonomous system that can
perform an analysis of the information contained in videos or images.
Keyword: Big Data, Artificial Intelligence, Python, GMM, Autoencoder, OpenCV,
Clustering, Classification, Supervised learning
KW - Ingeniería Telemática
KW - Inteligencia artificial
KW - Artificial intelligence
KW - Análisis de datos
KW - Data analysis
KW - 1203.04 Inteligencia Artificial
KW - 2209.90 Tratamiento Digital. Imágenes
LA - spa
ER -