NovATIca: núm. 237, julio-octubre 2016. Big Data

Big Data y sistemas de recomendación
David C. Anastasiu (1), Evangelia Christakopoulou (2), Shaden Smith (2), Mohit Sharma (2), George Karypis (2)
(1) Departamento de Ingeniería Informática, San Jose State University, California (EEUU) (2) Departamento de Ciencias de la Computación, Universidad de Minnesota (EEUU)

Resumen: Los sistemas de recomendación son hoy en día ubicuos en el mercado y tienen una enorme importancia comercial como se evidencia a partir del gran número de empresas que comercializan soluciones de sistemas de recomendación. Los sistemas de recomendación exitosos usan datos de compras pasadas y datos de satisfacción para realizar recomendaciones personalizadas de alta calidad. Las enormes cantidades de datos disponibles para los sistemas de recomendación actuales hacen necesaria una reevaluación de los métodos que se usan para calcular recomendaciones. En este artículo, proporcionamos una revisión de los sistemas de recomendación de la era Big Data. Destacamos los algoritmos de recomendación prevalentes y como éstos se adaptan para operar en entornos de computación paralelos y distribuidos. En el contexto de los sistemas de recomendación, centramos nuestra discusión en dos retos específicos: Cómo ampliar las búsquedas de los vecinos más cercanos y cómo desarrollar los métodos de recomendación enfocados a factores latentes con especial énfasis en la factorización de tensor.

Palabras clave: Big Data, computación paralela, escalado, factorización de tensor, modelos de factor latente, sistemas de recomendación, vecinos más próximos

Vuelta a inicio

Estudio sobre la escalabilidad del algoritmo de agrupamiento estructural paralelo para redes en Big Data
Weizhong Zhao (1), Gang Chen (1), Venkata Swamy-Martha (1), (2), Xiaowei Xu (1)
(1) Universidad de Arkansas, Little Rock, Arkansas (EEUU); (2) Cuberon Inc. Sunnyvale, California (EEUU)

Resumen: Las redes se han empleado habitualmente como estructuras de datos para representar datos complejos. Muchas aplicaciones aprovechan la(s) representación(es) de la(s) red(es) (denominadosnormalmente grafos) para tratar con los datos. SCAN (Agrupamiento Estructural para Análisis de Redes) es uno de los algoritmos complejos para agrupar los nodos de una red. El algoritmo SCAN se ha ampliado para trabajar con Big Data, pasando a llamarse algoritmo PSCAN (SCAN Paralelo). En este trabajo utilizamos el algoritmo PSCAN con un conjunto de datos disponible públicamente, derivado del sitio de la red social Twitter, para investigar la eficiencia, en términos de precisión y complejidad temporal, del algoritmo. Analizamos la red Twitter con más de 40 millones de nodos de usuarios y 1,4 mil millones de relaciones de seguidores/seguimientos, usando PSCAN en un clúster Hadoop con 32 ordenadores. El resultado muestra que PSCAN detectó con éxito comunidades interesantes de personas que comparten intereses comunes. Además, se han creado varias redes artificiales usando el generador de referencias LFR para entender la escalabilidad del algoritmo PSCAN con las redes de Big Data. Una evaluación empírica usando tanto las redes reales como las virtuales, demostró un rendimiento excepcional en términos de precisión y tiempos de ejecución.

Palabras clave: Algoritmos de agrupamiento de red, Big Data, estructuras de comunidad, Hadoop, MapReduce.
Vuelta a inicio

Introducción a la analítica de texto con Spark
José María Gómez Hidalgo
Analytics Manager de Pragsis Bidoop, coordinador de la sección técnica “Acceso y recuperación de información” de Novática

Resumen: Con el creciente volumen de datos textuales existentes en las corporaciones y generados por los usuarios, se hace cada vez más necesario ser capaz de procesarlos y analizarlos con tecnologías escalables en volumen y en tiempo real. Una de las tecnologías Big Data más consolidadas actualmente, la plataforma Spark, proporciona funcionalidades que permiten el desarrollo rápido de sistemas capaces de clasificar documentos de manera automática, utilizando algoritmos de Aprendizaje Automático. En este artículo explicamos este tipo de sistemas, describimos cómo Spark puede ayudarnos en su desarrollo, y mostramos un ejemplo de aplicación al análisis de sentimiento, que es una de las tareas de clasificación de texto más populares hoy en día.

Palabras clave: Análisis de sentimiento, analítica de texto, aprendizaje automático, clasificación de texto, procesamiento del lenguaje natural, Spark, Spark MLlib, Spark Streaming.

Vuelta a inicio

Cómo mejorar el conocimiento de tu audiencia: Experiencias de la CCMA en un entorno Big Data
Xavier Ferràndiz Bofill (1), Alberto Alejo Marcos (2)
(1) Director de Ingeniería e Infraestructuras, Corporació Catalana de Mitjans Audiovisuals, SA (CCMA, SA); (2) Responsable de Desarrollo de Software, Ingeniería e Infraestructuras,
Corporació Catalana de Mitjans Audiviovisuals, SA

Resumen: Este artículo ofrece una visión de alto nivel del enfoque de soluciones Big Data en la CCMA, SA: qué motiva iniciar esta nueva línea de trabajo empresarial, qué pasos se han realizado,con qué tecnologías,
qué conclusiones se han obtenido y los próximos pasos previstos.

Palabras clave: Analítica, audiencia, audiovisual, Big Data, Cloudera, clusterización, Data Lake, ElasticSearch, HDFS, Hive, HortonWorks, personalización, perfilado de usuarios, media, motor derecomendación, K-Means, segmentación, Spark, NodeJS, Storm..
Vuelta a inicio

Privacidad en la analítica masiva de datos
José María del Álamo Ramiro (1), Esmeralda Saracibar Serradilla (2), Emilio Aced Félez (3)
(1) Departamento de Ingeniería de Sistemas Telemáticos, Escuela Técnica Superior de Ingeniería de Telecomunicación, Universidad Politécnica de Madrid; (2) ECIX Group; (3) Unidad de Evaluación y Estudios Tecnológicos,
Agencia Española de Protección de Datos

Resumen: La analítica masiva de datos promete revelar relaciones entre datos hasta ahora ocultas, predecir tendencias generales y ofrecer nuevo conocimiento inferido mediante la recolección de enormes y complejos conjuntos de datos y la aplicación de novedosos algoritmos de análisis. Este avance tecnológico trae consigo grandes posibilidades para organizaciones de distintos tipos y tamaños, que ven en él una posibilidad para mejorar sus procesos, resultando tanto en beneficios sociales como económicos. Sin embargo, los avances tecnológicos normalmente llevan asociados nuevos desafíos para las sociedades que los adoptan, y la analítica masiva de datos plantea notables riesgos para la privacidad de las personas por su capacidad para revelar información que se creía privada. En este artículo se ofrece una panorámica general sobre los principales riesgos que la analítica masiva de datos entraña para la privacidad y la protección de datos personales, y se ofrecen distintos enfoques jurídicos, organizativos y técnicos que las organizaciones pueden adoptar para sacar el máximo provecho de los datos de que disponen a la vez que respetan los derechos individuales.

Palabras clave: Análisis de datos, Big Data, GDPR, inferencia, privacidad, procesamiento, protección de datos personales, recolección, regulación.
Vuelta a inicio

Secciones Técnicas

Última actualización: 2 de enero de 2017	Autor: Llorenç Pagés Casas
	novatica@ati.es