En la era de Internet, la masiva disponibilidad de información brinda a las empresas una gran oportunidad de perfeccionar el conocimiento de sus clientes y prospectos, ofreciendo a cambio productos pensados exactamente a su medida.
Sin embargo, la masividad de los datos dificulta la eficiencia del uso: la información está, pero las empresas no la pueden procesar manualmente, desaprovechando muchísimo potencial.
Para automatizar la extracción de información existe el Web Data Extraction, también llamado Web Scraping. Combinando tecnología y conocimiento especializado, las empresas acuden a la Ciencia de Datos para ampliar en forma exponencial su capacidad de ingresar a cualquier sitio web y extraer datos valiosísimos a escala masiva, ordenada y de calidad.
Un sector empresarial que está sacando gran provecho del Web Data Extraction es el de los bancos y entidades financieras.
El poder de la automatización
La industria financiera sabe perfectamente el valor de conocer mejor a sus clientes. Innovar con productos a medida es, cada vez más, una cuestión de supervivencia para la feroz competencia con la que conviven los bancos, cuyo insumo principal es, casi en exclusividad, la información.
Los departamentos de riesgo crediticio, ventas, operaciones y marketing queman sus pestañas para encontrar la forma de ser más eficientes en el análisis de las preferencias, historial de acciones, consumos y capacidad de pago de sus clientes actuales y potenciales.
Sin embargo, resolver internamente y con la más alta eficiencia el acceso y procesamiento de los datos demanda un conocimiento especializado que quita tiempo y recursos a los departamentos de desarrollo de software o IT.
Los bancos acuden al Web Scraping para resolver sus necesidades de capturar informaciòn de manera automatizada, perfeccionando el conocimiento de las preferencias de sus clientes y sus patrones de consumo sin grandes reestructuraciones de sus procesos.
¿Cómo se extrae la información de la Web?
Supongamos que el banco identifica como fuente de información clave al organismo del Estado que a nivel nacional se ocupa de los censos poblacionales.
Primero, unos robots llamados crawlers ingresan a la web de este organismo y obtienen los miles de millones de datos en crudo de su sitio web.
Luego, los robots extraen los atributos que, vamos a suponer, el departamento de riesgo crediticio, definió como fundamentales para sus metas anuales. Finalmente, a partir de un conjunto de reglas definidas, se descargan los distintos tipos de contenido (texto, números, links, imágenes, etc).
Esos contenidos recopilados se integran fácilmente a la información interna que ya maneja el banco, enriqueciendo en forma exponencial el análisis de los estados financieros de los clientes, al incorporar gran cantidad de criterios cualitativos y cuantitativos que preverán con mayor exactitud, por ejemplo, la capacidad de un cliente de cancelar un crédito con el banco.
De este modo, el departamento de riesgo puede ofrecer créditos cada vez más personalizados en función del profundo conocimiento que aprende de sus clientes, en un proceso de mejora constante.
Al incorporar Web Data Extraction, los bancos mejoran su propuesta de valor y aumentan sus tasas de cierre.
Y todo esto, sacando provecho de información pública que está a disposición de todos.
Los usos del Web Data Extraction
Si mencionamos la palabra “datos”, lo primero que se nos representa es una catarata de datos duros, cuantitativos, corriendo en formato de ceros y unos en una autopista de información, cual escena emblemática de la película Matrix.
Lo interesante es que la Ciencia de Datos habilita, hoy, la posibilidad de procesar no sólo información cuantitativa, sino también cualitativa. Por ejemplo:
- Analizar a la competencia: a través del Web Data Extraction es posible evaluar, por ejemplo, la eficiencia de las campañas de marketing digital y de las pautas en redes sociales, detectando cómo estas impactan en los usuarios.
- Análisis de sentimientos: Pueden extraerse “estados de ánimo” de los usuarios ante publicaciones realizadas, servicios o productos lanzados. De esta manera, el web scraping permite saber si las campañas que lanza un banco resultan positivas o negativas y, así, aplicar las políticas correctivas adecuadas.
- Investigación de mercado: Abre el conocimiento de hábitos de consumo, necesidades y preferencias de los clientes y prospectos. También permite entender aspectos a reforzar en las campañas de marketing y detectar nuevos nichos de mercado.
- Data Enrichment: Permite generar productos, notas y documentos de distintos medios para centralizar la información para su posterior consulta o uso.
¿Qué sectores de la industria financiera se nutren de la ciencia de datos?
Los principales departamentos de una organización financiera que utilizan proyectos de Web Data Extraction son:
- Ventas: La combinación de información demográfica con datos sobre consumos, hábitos y preferencias de productos permite customizar la propuesta comercial. Por ejemplo: se pueden ofrecer préstamos o créditos personales a clientes detectados con la intencionalidad de realizar grandes compras (inmuebles, autos), mientras que aquellos con planes de viajar pueden recibir tarjetas de crédito internacionales o seguros de viajero.
- Marketing: A través del Data Extraction se puede conocer el impacto de un producto o servicio lanzado a partir de las opiniones y sentimientos que transmiten los usuarios. Del mismo modo, es posible prever el éxito de una campaña, relevando las expectativas y necesidades de los clientes.
- Producto: Un proyecto de Web Data Extraction puede ofrecer sistemas de información que agrupen datos desorganizados en múltiples sitios, pudiendo consultarlos más fácilmente.
¿Cómo inicia una institución financiera la implementación de Web Data Extraction?
El proceso de Web Data Extraction incluye una serie de pasos que deberán llevarse adelante para lograr los resultados esperados:
- Determinar alcance: El primer paso es determinar cuál es el objetivo que se desea alcanzar y cuáles serán las posibilidades de éxito a partir de la información disponible. Una vez conocidas las variables a considerar, se interactúa con el sitio web seleccionado para conocer qué se puede extraer.
- Crawling: Una vez definido el alcance, se definen los crawlers que descargarán el contenido de cada sitio.
- Scraping: Cuando el contenido crudo se encuentra listo para el procesamiento de extracción, se obtienen las rutas de los atributos que se desean descargar.
- Normalización y limpieza: Muchas veces la extracción de información se hace desde distintos sitios. Por ejemplo, obtener la edad de una persona para determinar si se le puede ofrecer una tarjeta de crédito podría extraerse desde una red social. El tema es que no todas las personas utilizan la mismas redes sociales. Por ello, resulta fundamental realizar data cleansing, que implica limpiar y normalizar la información para que se vuelva ordenada y legible al uso.
- Planificación: Hoy en día el flujo de información es tan abundante y dinámico que puede desactualizarse muy rápidamente (nuevos usuarios, perfiles actualizados, precios modificados, etc). Por ello se vuelve necesario un proceso de crawling (obtención de la información en bruto) continuo, que capture todos los cambios que puedan generarse.
- Mantenimiento y monitoreo: Los sitios web actualizan constantemente su contenido y la forma de organizarlo. Por eso, el monitoreo es clave para hacer Web Data Extraction: hay que poder reconocer cuando un sitio ha cambiado, para ejecutar las actualizaciones de las reglas de los scrappers y, así, retomar la descarga correcta del contenido.
7Puentes es experto en proyectos de Web Data Extraction
En 7 Puentes trabajamos para grandes clientes de la industria financiera, implementando servicios de Web Data Extraction que impactaron en la innovación y el crecimiento de esas empresas.
Conformamos un equipo de científicos e ingenieros, amantes de los desafíos, especialistas en ciencia de datos.
Ofrecemos una solución integral, que incluye todos los procesos que engloban las prácticas de Web Data Extraction. Somos capaces de relevar, categorizar y modelar las fuentes de información disponibles en Internet, aportando valor a las empresas a través de una integración fácil con los sistemas propios, sin que dependan de nosotros para aprovecharlos.
En conjunto con nuestros clientes, determinamos cuáles son los objetivos más relevantes y generamos un plan de acción que permita maximizar la obtención de resultados, que estos sean de mejora continua en forma incremental y ágil a sus productos/servicios.
Nuestros desarrolladores analizan los sitios,determinan qué desafíos se presentan en cada caso y, de ese modo, entienden la mejor manera de descargar la información deseada con la mayor calidad. Trabajamos con una plataforma de extracción de datos propia que nos permite navegar en webs de terceros de forma anónima y segura.
Incluimos un importante e intensivo proceso de QA que permite detectar y reducir los tiempos que lleva actualizar o readaptar los crawlers a los cambios en los sitios y, así, retomar todos los procesos de la manera más rápida y eficiente.
Hemos desarrollado soluciones de Web Data Extraction para:
- Productos de sitios de e-commerce
- Artículos y notas en portales de noticias
- Documentos de distintas entidades (gubernamentales, empresariales, judiciales, bolsa de comercio, etc)
- Información impositiva
- Estados financieros, balances de accionistas y empresas
- Extracción de información proveniente de redes sociales (Twitter, Facebook, Instagram)
Contamos con una amplia experiencia y un equipo de extracción y monitoreo altamente calificado, que se ha perfeccionando proyecto a proyecto, frente a las distintas necesidades de nuestros clientes.
Su entidad financiera es nuestro próximo desafío. No dude en contactarnos si busca beneficiarse de la captura inteligente de datos públicos de Internet.