Lobby en el Senado. Parte 2: exploración de los registros de audiencias

Los paquetes que utilizaremos 📦

install.packages("tidyverse")

library(readr)
library(dplyr) 
library(tidyr) 
library(stringr)  
library(ggplot2)

Los datos 📂

Primero, cargaremos los datos de la versión en .csv que guardamos en la primera parte de este tutorial.

reuniones <- read_delim("https://raw.githubusercontent.com/rivaquiroga/pagina-personal/master/content/posts/data/reuniones_senadores_2020-05-02.csv?token=AHPXJMHJJQJ2A4HE7J652DK6XCLC4", delim = "|")
head(reuniones)

## # A tibble: 6 x 7
##   sujeto_pasivo  fecha      duracion lugar  materia    asistentes  representado 
##   <chr>          <date>        <dbl> <chr>  <chr>      <chr>       <chr>        
## 1 Pugh Olavarrí… 2020-11-19       30 ofici… Ley de fi… Clement, A… Asocacion de…
## 2 Huenchumilla … 2020-03-26       30 Congr… Suspende … Gallo Delg… Centro de Es…
## 3 Huenchumilla … 2020-03-26       30 Congr… Se suspen… Rimbaud, A… MEL - Movimi…
## 4 Huenchumilla … 2020-03-23       30 Congr… Suspende … Reinoso Ci… Sindicato Nú…
## 5 Huenchumilla … 2020-03-23       30 Congr… Audiencia… Munoz, Vic… VisibLES     
## 6 Huenchumilla … 2020-03-23       30 Congr… Por conti… Espinosa Á… Federación N…

Buscar materias de interés 🔍

Si quisiéramos saber más sobre el contenido de las reuniones o revisar algún tema en particular, tendríamos que explorar la variable materia.

Una forma en que podemos filtrar las filas a partir de la búsqueda de términos clave es usando la función str_detect() del paquete {stringr}.

Veamos un ejemplo explorando las audiencias relacionadas con las aplicaciones de transporte privado. Partiremos con una búsqueda simple y mostraremos solo algunas columnas para ver mejor los resultados¹:

reuniones %>% 
  filter(str_detect(materia, "uber")) %>% 
  select(sujeto_pasivo, fecha, materia, representado) 

Mmm… Tenemos tres problemas:

1. Nuestra búsqueda es sensible a mayúsculas y minúsculas. Actualmente solo encuentra “uber”. Queremos que también pueda encontrar “Uber” y “UBER”.
2. A veces la gente escribe “Huber”, como en la línea 3.
3. Nuestro patrón de búsqueda no distingue cuando “uber” aparece dentro de otra palabra, como en la línea 5: “gubernamentales”.

Para resolver estos problemas haremos tres cambios:

• agregaremos la opción ignore_case = TRUE dentro de regex() para que encuentre nuestro patrón independiente de si está con mayúsculas o minúsculas.
• indicaremos que a veces puede aparecer una “h” al principio: "h*uber"
• delimitaremos nuestro patrón para que no lo busque dentro de otra palabra. Es decir, agregaremos límites de palabra con \\b al principio y al final: "\\bh*uber\\b"

reuniones %>% 
  filter(str_detect(materia, regex("\\bh*uber\\b", ignore_case = TRUE))) %>% 
  select(sujeto_pasivo, fecha, materia, representado) 

Uber no es la única aplicación de transporte privado. Si quisiéramos filtrar todas las audiencias que abordaron este tema, deberíamos ampliar nuestra búsqueda y agregar las otras compañías que ofrecen en Chile este tipo de servicios. Como queremos que nuestro patrón encuentre cualquiera de estos términos, utilizaremos el operador |, que es equivalente a la conjunción o: "\\bh*uber\\b|didi|cabify|beat". Es decir, le estamos indicando que busque uber escrito con o sin “h” al inicio, o didi o cabify o beat. También buscaremos estos términos en la representado. Como queremos que filtre cuando estos términos aparezcan en una u otra columna, utilizaremos el operador | entre las dos llamadas a str_detect()

reuniones %>% 
  filter(str_detect(materia,regex("\\bh*uber\\b|didi|cabify|beat", ignore_case = TRUE)) | str_detect(representado, regex("\\bh*uber\\b|didi|cabify|beat", ignore_case = TRUE))) %>% 
  select(sujeto_pasivo, fecha, materia, asistentes, representado)

En julio de 2015 aparece por primera vez mencionada una de estas aplicaciones (Uber). Extrañamente, en esa primera reunión el lobista (Felipe del Solar) no señala a quién representa: en la columna representado indica NA 🤔. En abril de 2016, el gremio de taxista de la Región Metropolitana solicita por primera vez una audiencia en el senado para discutir el impacto económico de estas aplicaciones.

Este es solo un ejemplo de cómo podemos hacer búsquedas a partir de términso clave. Siguiendo una estrategia similar puedes explorar otros temas de interés.

¿Quiénes han solicitado más reuniones? 👀

Algo que sería interesante saber es quiénes han solicitado más reuniones, es decir, identificar a los/las lobistas que participan con más frecuencia en audiencias en el Senado. Actualmente en la columna asistentes tenemos en una misma celda a todas las personas que participaron en la reunión. Para responder nuestra pregunta, necesitamos dividir esas filas para poder tener a cada asistente en una sola celda. Eso nos permitirá sumar cuántas veces aparece cada uno/a. Para lograr esto, utilizaremos la función separate_rows() del paquete {tidyr}. Hace lo mismo que separate(), pero con filas en vez de columnas. Para poder hacer la división, tenemos que indicar cuál es el patrón que separa cada uno de los nombres. En este caso, pareciera ser un punto y coma:

## # A tibble: 6 x 1
##   asistentes                                                                    
##   <chr>                                                                         
## 1 Clement, Arturo; Picón Gutiérrez, Francisco Roberto; Del Solar Agüero, Felipe…
## 2 Gallo Delgado, Fatima Patricia; Puelle, María Jimena                          
## 3 Rimbaud, Axel                                                                 
## 4 Reinoso Cifuentes, Mauricio; Bustos Munizaga, Maggie; Bielefeldt Herrería, Se…
## 5 Munoz, Victoria; Amigo Bravo, Claudia Andrea; Montecinos, Erika; Benado Verga…
## 6 Espinosa Ábalos, Cristian; TOLEDO MORENO, LUIS ALEJANDRO; Lagos, Patricio; FI…

Además de separar los nombres, los convertiremos a formato título, es decir, haremos que la inicial de cada palabra esté en mayúscula. ¿Por qué hacemos esto? Porque como estos son datos que se ingresan manualmente, nada asegura que todas las personas lo hagan utilizando el mismo criterio. A veces aparecen con mayúscula inicial, otras solo con MAYÚSCULAS y otras solo con minúsculas. Al utilizar la función str_to_title() nos aseguramos que todos los nombres queden escritos del mismo modo y así podamos sumarlos. ⚠️ADVERTENCIA⚠️: esto no resuelve errores de tipeo. Tampoco que a unas veces las personas se hayan registrado con el primer apellido y otras con los dos.

Exploremos quiénes son las cinco personas que han participado en más reuniones desde 2014:

reuniones %>% 
  separate_rows(asistentes, sep = "; ") %>% 
  mutate(asistentes = str_to_title(asistentes)) %>% 
  count(asistentes, sort = T) %>% 
  top_n(5)

## # A tibble: 5 x 2
##   asistentes                   n
##   <chr>                    <int>
## 1 Del Solar Agüero, Felipe    77
## 2 Alt Hayal, Marcela          38
## 3 Dorfman, Natalio            36
## 4 Schlesinger, Denise         34
## 5 Barrueto Avalos, Felipe     25

¿A qué agencias de lobby pertenecen?

• Felipe del Solar > Extend
• Marcela Alt y Denise Schlesinger > Imaginacción
• Natalio Dorfman > Dorfman & Gattas
• Felipe Barrueto > Grupo Etcheberry

Sería razonable sospechar que el nombre del primer lobista pueda estar escrito de más de una forma en la base de datos (por ejemplo, que en algún momento se haya registrado como “Aguero” en vez de “Agüero”, o que en alguna reunión no haya consignado su segundo apellido). Exploremos buscando por su primer apellido “Del Solar”:

reuniones %>% 
  separate_rows(asistentes, sep = "; ") %>% 
  mutate(asistentes = str_to_title(asistentes)) %>% 
  filter(str_detect(asistentes, "Del Solar")) %>% 
  count(asistentes, sort = TRUE)

## # A tibble: 7 x 2
##   asistentes                        n
##   <chr>                         <int>
## 1 "Del Solar Agüero, Felipe"       77
## 2 "Del Solar Agüero , Felipe "      6
## 3 "Del Solar Agüero , Felipe"       2
## 4 "Del Solar Cádiz, Eduardo"        2
## 5 "Del Solar Gutiérrez, Carlos"     2
## 6 "Del Solar, Laura"                2
## 7 "Del Solar, Ernesto"              1

Mmm… no era el problema que sospechaba, sino otro: espacios extras en lugares que no corresponden. El espacio después del nombre podemos sacarlo con una expresión regular cuando separamos las columnas. Tenemos que indicar que puede o no haber un espacio antes del punto y coma (\\s*;). El espacio antes de la coma también podemos eliminarlo con una expresión regular: que cada vez que encuentre un espacio seguido de una coma (\\s,) lo remplace solo por una coma:

reuniones %>% 
  separate_rows(asistentes, sep = "\\s*; ") %>% 
  mutate(asistentes = str_to_title(asistentes),
         asistentes = str_replace(asistentes, "\\s,", ",")) %>% 
  filter(str_detect(asistentes, "Del Solar")) %>% 
  count(asistentes, sort = TRUE)

## # A tibble: 5 x 2
##   asistentes                      n
##   <chr>                       <int>
## 1 Del Solar Agüero, Felipe       85
## 2 Del Solar Cádiz, Eduardo        2
## 3 Del Solar Gutiérrez, Carlos     2
## 4 Del Solar, Laura                2
## 5 Del Solar, Ernesto              1

Ahora que pareciera que los nombres de los asistentes están un poco más limpios, podríamos guardarlos en un nuevo objeto para seguir consultándolos:

asistentes_reuniones <- reuniones %>% 
  separate_rows(asistentes, sep = "\\s*; ") %>% 
  mutate(asistentes = str_to_title(asistentes), 
         asistentes = str_replace(asistentes, "\\s,", ","))

Sabemos que Felipe del Solar es quien más hace lobby en el Senado. ¿Con quién se ha reunido?

asistentes_reuniones %>% 
  filter(str_detect(asistentes, "Del Solar Agüero")) %>% 
  count(sujeto_pasivo, sort = TRUE)

## # A tibble: 37 x 2
##    sujeto_pasivo                           n
##    <chr>                               <int>
##  1 Pizarro Soto, Jorge                    12
##  2 Pérez San Martín, Lily                  6
##  3 Ossandón Irarrázabal, Manuel José       5
##  4 Pugh Olavarría, Kenneth                 5
##  5 Quinteros Lara, Rabindranath            5
##  6 Coloma Correa, Juan Antonio             3
##  7 Ferrada Henríquez, Rafael Alejandro     3
##  8 Girardi Lavín, Guido                    3
##  9 Lagos Weber, Ricardo                    3
## 10 Araya Guerrero, Pedro                   2
## # … with 27 more rows

Se ha reunido con 37 senadores/as distintos. En nuestro filtro no hemos considerado la fecha. Eso sería algo importante de tener en cuenta, ya que la segunda senadora de esta lista es Lily Perez, quien desde 2018 ya no es parlamentaria. Repetiremos la búsqueda, pero filtraremos los datos a partir del 11 de marzo de 2018, el inicio de la última legislatura (para la mitad del senado). De este modo solo nos mostrará senadores/as en ejercicio:

asistentes_reuniones %>% 
  filter(str_detect(asistentes, "Del Solar Agüero"), fecha >= "2018-03-11") %>% 
  count(sujeto_pasivo, sort = TRUE)

## # A tibble: 14 x 2
##    sujeto_pasivo                           n
##    <chr>                               <int>
##  1 Pizarro Soto, Jorge                     5
##  2 Pugh Olavarría, Kenneth                 5
##  3 Quinteros Lara, Rabindranath            4
##  4 Ferrada Henríquez, Rafael Alejandro     3
##  5 Galilea Vial, Rodrigo                   2
##  6 Huenchumilla Jaramillo, Francisco       2
##  7 Aravena Acuña, Carmen Gloria            1
##  8 Ebensperger Orrego, Luz Eliana          1
##  9 Frites López, Jorge                     1
## 10 Lagos Weber, Ricardo                    1
## 11 Latorre Riveros, Juan Ignacio           1
## 12 Ossandón Irarrázabal, Manuel José       1
## 13 Prohens Espinosa, Rafael                1
## 14 Sánchez Wadie, Alexandre                1

¿A quiénes ha representado con mayor frecuencia?

asistentes_reuniones %>% 
  filter(str_detect(asistentes, "Del Solar Agüero"), fecha >= "2018-03-11") %>% 
  count(representado, sort = TRUE)

## # A tibble: 9 x 2
##   representado                                         n
##   <chr>                                            <int>
## 1 camara de la innovación farmaceutica de Chile        9
## 2 Sociedad Nacional de Pesca FG                        5
## 3 Extend Comunicaciones                                4
## 4 Asocacion de la Industria del Salmón de Chile AG     3
## 5 Uber B.V.                                            3
## 6 Puerto Ventanas S.A                                  2
## 7 Administradora General de Fondos                     1
## 8 Inmobiliaria Pocuro SpA                              1
## 9 Sociedad Nacional de Pesca                           1

Podemos observar que en el período consultado, ha defendido principalmente los intereses de las farmaceúticas 💊, la industria pesquera en general y la de salmón en particular, la industria portuaria y Uber. Además, ha representado en una ocasión a las AFP y a una inmobiliaria. En cuatro ocasiones ha representado a su propia consultora, Extend Comunicaciones, probablemente para ofrecer sus servicios. En la siguiente tabla podemos ver el detalle de los temas de cada reunión, las fechas y con quién se reunió en cada caso:

asistentes_reuniones %>% 
  filter(str_detect(asistentes, "Del Solar Agüero"), fecha >= "2018-03-11") %>% 
  select(-asistentes, -duracion, -lugar)

¿A quiénes han representado los otros lobistas de la lista? ¿Cuáles han sido los temas de esas reuniones? Para responder esta preguntas puedes reciclar el mismo código que utilizamos con Felipe del Solar, pero cambiando el nombre cuando filtras por asistente. Si quisieras buscar a las dos lobistas de Imaginacción (Marcela Alt y Denise Schlesinger) al mismo tiempo, podrías usar como patrón de búsqueda: "Schlesinger|\\bAlt\\b". Indicamos con \\b límites de palabra en el caso de Alt, para que la búsqueda no nos devuelva un apellido como “Altamirano”.

Conclusiones

En este tutorial en dos partes mostramos el paso a paso para escrapear una tabla de un sitio web y limpiar los datos para que sean analizables. Nos enfocamos en la página de audiencias del Senado, ya que se trata de un tema de relevancia pública y en el que es importante que los datos estén fácilmente accesibles.

Uno de los principales problemas que enfrentamos fue que, como se trata de datos ingresados manualmente, hay muchas incosistencias, lo que nos obliga a crear patrones de búsqueda complejos que puedan lidiar con eso. Como ejemplo adicional a lo ya visto, miremos la duración de las reuniones:

¿Realmente hay senadores/as que sostienen reuniones de 600 minutos? Claramente se trataría de un problema de ingreso de los datos 🙄.

En un próximo tutorial sobre web scraping veremos qué hacer cuando la información de interés está en más de una página y repartida en distintas etiquetas. Por el momento, si quieres replicar el análisis que hicimos acá, todo el código está disponible en 💻este proyecto en rstudio.cloud.