CORNER OFFICE

In Head-Hunting, Big Data May Not Be Such a Big Deal

By Adam Bryant
June 19, 2013

https://www.nytimes.com/2013/06/20/business/in-head-hunting-big-data-may-not-be-such-a-
big-deal.html?pagewanted=1&_r=0&smid=tw-nytimesbusiness&partner=socialflow

This interview with Laszlo Bock, senior vice president of people operations at Google, was
conducted and condensed by Adam Bryant.

Q. How is Big Data being used more in the leadership and management field?

A. I think there’s been a fairly recent confluence of the ability to crunch lots of data
at fairly low cost, venture capital investments that support new businesses in this
field, and changes in what people expect. Leadership is a perennially difficult,
immeasurable problem, so suddenly people are saying, “Maybe I can measure some
piece of it.”

Part of the challenge with leadership is that it’s very driven by gut instinct in most
cases — and even worse, everyone thinks they’re really good at it. The reality is that
very few people are.

Years ago, we did a study to determine whether anyone at Google is particularly

good at hiring. We looked at tens of thousands of interviews, and everyone who had
done the interviews and what they scored the candidate, and how that person
ultimately performed in their job. We found zero relationship. It’s a complete
random mess, except for one guy who was highly predictive because he only
interviewed people for a very specialized area, where he happened to be the world’s
leading expert.

Q. What else has Google done in this field?

A. I have to preface the answer by saying that when we look at any data related to
our people, we treat the data with great respect. Typically, we give people an option
to participate in anything either confidentially or anonymously. The lesson for
anyone looking at this space is that you need to construct this really powerful tent
of trust in the people gathering the data and how they use it.

We’ve done some interesting things to figure out how many job candidates we
should be interviewing for each position, who are better interviewers than others
and what kind of attributes tend to predict success at Google. On the leadership
side, we’re looking at what makes people successful leaders and how can we
cultivate that.

You have 3 free articles remaining.

 Subscribe to The Times

We’re also observing people working together in different groups and have found
that the average team size of any group at Google is about six people. So we’re
trying to figure out which teams perform well and which don’t. Is it because of the
type of people? Is it because of the number of people? Is it because of how they
work together? Is there something in the dynamic? We don’t know what we’re
going to discover.

Q. Other insights from the studies you’ve already done?

A. On the hiring side, we found that brainteasers are a complete waste of time. How
many golf balls can you fit into an airplane? How many gas stations in Manhattan?
A complete waste of time. They don’t predict anything. They serve primarily to
make the interviewer feel smart.

Instead, what works well are structured behavioral interviews, where you have a
consistent rubric for how you assess people, rather than having each interviewer
just make stuff up.
Editors’ Picks

‘Will You Stay With Me Until I Die?’

With the Birth of My Son, I Stopped Hiding

A Giant Laid Low by Too Many Blows to the Head

Behavioral interviewing also works — where you’re not giving someone a
hypothetical, but you’re starting with a question like, “Give me an example of a
time when you solved an analytically difficult problem.” The interesting thing about
the behavioral interview is that when you ask somebody to speak to their own
experience, and you drill into that, you get two kinds of information. One is you get
to see how they actually interacted in a real-world situation, and the valuable
“meta” information you get about the candidate is a sense of what they consider to
be difficult.
GAUGING SKILLS Laszlo Bock, senior vice president for people operations at
Google, says some data is essentially worthless in assessing job candidates:
G.P.A.'s. for instance, except for recent college graduates, and test scores.CreditJim
Wilson/The New York Times
Image
GAUGING SKILLS Laszlo Bock, senior vice president for people operations at
Google, says some data is essentially worthless in assessing job candidates:
G.P.A.'s. for instance, except for recent college graduates, and test scores.CreditJim
Wilson/The New York Times

On the leadership side, we’ve found that leadership is a more ambiguous and
amorphous set of characteristics than the work we did on the attributes of good
management, which are more of a checklist and actionable.

We found that, for leaders, it’s important that people know you are consistent and
fair in how you think about making decisions and that there’s an element of
predictability. If a leader is consistent, people on their teams experience
tremendous freedom, because then they know that within certain parameters, they
can do whatever they want. If your manager is all over the place, you’re never going
to know what you can do, and you’re going to experience it as very restrictive.

Q. Other examples?

A. Twice a year, anybody who has a manager is surveyed on the manager’s

qualities. We call it an upward feedback survey. We collect data for everyone in the
company who’s a manager on how well they’re doing on anywhere between 12 and
18 different factors. We then share that with the manager, and we track
improvement across the whole company. Over the last three years, we’ve
significantly improved the quality of people management at Google, measured by
how happy people are with their managers.

We’ve actually made it harder to be a bad manager. If you go back to somebody and
say, “Look, you’re an eighth-percentile people manager at Google. This is what
people say.” They might say, “Well, you know, I’m actually better than that.” And
then I’ll say, “That’s how you feel. But these are the facts that people are reporting
about how they experience you.”

You don’t actually have to do that much more. Because for most people, just
knowing that information causes them to change their conduct. One of the
applications of Big Data is giving people the facts, and getting them to understand
that their own decision-making is not perfect. And that in itself causes them to
change their behavior.
Subscribe to With Interest
Catch up and prep for the week ahead with this newsletter of the most important business
insights, delivered Sundays.
SIGN UP

Q. What are some things that the managers are ranked on?
A. Some of them are very straightforward — the manager treats me with respect,
the manager gives me clear goals, the manager shares information, the manager
treats the entire team fairly. These are fundamental things that turn out to be really
important in making people feel excited and happy and wanting to go the extra
mile for you.

Q. Other insights from the data you’ve gathered about Google employees?

A. One of the things we’ve seen from all our data crunching is that G.P.A.’s are
worthless as a criteria for hiring, and test scores are worthless — no correlation at
all except for brand-new college grads, where there’s a slight correlation. Google
famously used to ask everyone for a transcript and G.P.A.’s and test scores, but we
don’t anymore, unless you’re just a few years out of school. We found that they
don’t predict anything.

What’s interesting is the proportion of people without any college education at

Google has increased over time as well. So we have teams where you have 14
percent of the team made up of people who’ve never gone to college.

Q. Can you elaborate a bit more on the lack of correlation?

A. After two or three years, your ability to perform at Google is completely

unrelated to how you performed when you were in school, because the skills you
required in college are very different. You’re also fundamentally a different person.
You learn and grow, you think about things differently.

Another reason is that I think academic environments are artificial environments.

People who succeed there are sort of finely trained, they’re conditioned to succeed
in that environment. One of my own frustrations when I was in college and grad
school is that you knew the professor was looking for a specific answer. You could
figure that out, but it’s much more interesting to solve problems where there isn’t
an obvious answer. You want people who like figuring out stuff where there is no
obvious answer.

Q. Any crystal-ball thoughts about how Big Data will be used in the future?

A. When you start doing studies in these areas, Big Data — when applied to
leadership — has tremendous potential to uncover the 10 universal things we
should all be doing. But there are also things that are specifically true only about
your organization, and the people you have and the unique situation you’re in at
that point in time. I think this will be a constraint to how big the data can get
because it will always require an element of human insight.

In terms of leadership, success is very dependent on the context. What works at

Google or G.E. or Goldman Sachs is not going to be the right answer for everyone. I
don’t think you’ll ever replace human judgment and human inspiration and
creativity because, at the end of the day, you need to be asking questions like, O.K.,
the system says this. Is this really what we want to do? Is that the right thing?

This interview was edited and condensed.

A version of this article appears in print on June 19, 2013, on Page F6 of the New York
edition with the headline: In Head-Hunting, Big Data May Not Be Such a Big Deal. 
 ¿CÓMO SE RECONOCE A UN BUEN TRABAJADOR?

https://www.elconfidencial.com/alma-corazon-vida/2013-06-28/el-expediente-academico-no-
sirve-para-nada-asegura-el-responsable-de-rrhh-de-google_501910/

El exjefe de RRHH de Google es tajante: "El

expediente académico no sirve para nada"

La compañía estadounidense era famosa por pedir a todos sus

candidatos un brillante expediente académico y una puntuación
elevada en determinadas pruebas. Pero los tiempos han cambiado

El
jefe de Recursos Humanos de Google pone en duda los tradicionales procesos de selección.
(Google)

28/06/2013 06:00 - ACTUALIZADO: 28/03/2019 18:21

“Una de las cosas que hemos aprendido tras analizar todos los
datos de nuestro proceso de selección es que el expediente
académico y la puntuación de los candidatos en los test son inútiles
como criterio de contratación”. Es la contundente conclusión a la
que ha llegado Laszlo Bock, exvicepresidente de Recursos
Humanos de Google, que explicó en una entrevista en el 'New
York Times' los cambios en el proceso de selección que el gigante
de la informática ha llevado a cambo en los últimos años.
La compañía estadounidense era famosa por pedir a todos sus
candidatos un brillante expediente académico y una puntuación
elevada en determinadas pruebas. Pero los tiempos han cambiado.
Ahora, a no ser que acabes de salir de la universidad, Google no te
pedirá ningún certificado. “Hemos llegado a la conclusión de que
no predicen nada”, aseguró Bock. Y es algo que se está empezando
a notar en las oficinas que la compañía tiene por todo el mundo. La
proporción de trabajadores de Google sin título universitario no
para de crecer. “Hay equipos en los que el 14% de los miembros
nunca han ido a la universidad”, ha reconocido Bock.
Las razones que llevaron a Google a dejar de valorar el expediente
académico como criterio de contratación tienen que ver con
la desconexión existente entre lo que se enseña en la universidad
y el trabajo que se realiza en la compañía. “Después de dos o tres
años”, asegura Bock, “tu habilidad para desempeñar tareas
en Google no tiene ninguna relación con lo bueno que eras en la
escuela, porque las habilidades que se piden en la universidad son
muy diferentes”.
Necesitas a gente a la que le guste averiguar cosas para las que
no hay una respuesta obvia, algo que no se entrena en la
universidad. En opinión de Bock, la universidad sigue siendo un
entorno artificial, una burbuja que premia a unos a otros en función
de unos criterios que nada tienen que ver con lo que se pide en el
entorno laboral. “La gente que tiene éxito en la universidad”,
explica el exresponsable de RRHH de Google, “es un tipo de gente
específicamente entrenada para tener éxito en ese ambiente. Una
de mis frustraciones cuando estaba en la universidad es que sabía
que el profesor estaba buscando una respuesta específica.

Puedes limitarte a averiguarla, pero es mucho más interesante

resolver problemas para los que no hay una respuesta obvia.
Necesitas a gente a la que le guste averiguar cosas para las que no
hay una respuesta obvia”. Y ese tipo de gente, asegura Bock, no es
la que suele tener éxito en la universidad, donde la
mejor estrategia para sacar buenas notas es saber que suele
preguntar el profesor en cuestión, y qué tipo de respuestas está
esperando encontrar en un examen.
Las entrevistas no funcionan
Visto que Google no está dispuesto a fiarse del expediente
académico de sus candidatos, parece que debe limitarse a valorar el
desempeño de estos en las entrevistas. Pero Bock tampoco tiene
claro que las entrevistas sean una herramienta adecuada: “Hace
unos años hicimos un estudio para determinar si alguien en Google
era particularmente bueno a la hora de contratar a gente.
Analizamos decenas de miles de entrevistas, a todos los que las
habían realizado, la puntuación que había obtenido cada candidato
y cómo realmente esa persona había realizado su trabajo.
Encontramos que no existía ninguna relación”.
Es mejor valorar a los candidatos en función de su comportamiento
objetivo a la hora de contestar determinadas preguntas. Bock cree
que tenemos que darnos cuenta que, por mucho que alguien se
crea muy bueno para encontrar a la gente adecuada para uno u otro
trabajo, la realidad es que el instinto de los empleadores no suele
funcionar. Por ello es mejor valorar a los candidatos en función de
su comportamiento objetivo a la hora de contestar determinadas
preguntas. Pero no todas funcionan. El responsable de RRHH de
Google asegura que las únicas cuestiones que realmente pueden
hacernos entrever el potencial que puede tener un candidato son
aquellas relativas a su comportamiento.

Área de descanso de las oficinas de Google en España.

“Lo que funciona bien”, asegura Bock, “son las entrevistas

conductuales estructuradas, donde se tienen unos criterios
establecidos de antemano para evaluar a las personas, sin dejar
que el entrevistador saque su propia conclusión”. Para el
exresponsable de RRHH, el tipo de preguntas que funcionan son
aquellas que permiten valorar la manera en que el candidato ha
resuelto determinados problemas en el pasado. Una pregunta
como “Dame un ejemplo de una ocasión en la que hayas tenido que
resolver un problema analítico difícil” nos permite evaluar al mismo
tiempo dos cuestiones: a qué tipo de situaciones se ha enfrentado
ya el candidato, y cómo lo hizo, y qué es lo que considera “difícil”.
Bock reconoce que evaluar las habilidades de liderazgo es mucho
más difícil, y es algo que es casi imposible averiguar en una
entrevista. Por eso cree que es necesario establecer evaluaciones
internas con frecuencia para que sean los subordinados los que
valoren las habilidades de los jefes. Esta información es muy
valiosa, principalmente para los afectados, cuya conducta, asegura
Bock, cambia en cuanto tienen acceso a la información.
GOOGLE CREE QUE EL
EXPENDIENTE ACADÉMICO
"NO SIRVE" PARA
CONTRATAR
EL VICEPRESIDENTE DE RECURSOS HUMANOS DE GOOGLE,
LASZLO BOCK, EXPLICA QUE OPTAN POR ENTREVISTAS
ESTRUCTURADAS Y CON FOCO EN LO QUE NECESITA LA
COMPAÑÍA. DESCONFÍAN SOBRE LA UTILIDAD DE LO APRENDIDO
EN LOS ESTUDIOS FORMALES PARA DESEMPEÑAR FUNCIONES

GOOGLE CREE
EN GOOGLE.31 de Octubre 2016

QUE EL EXPENDIENTE
ACADÉMICO "NO SIRVE"
PARA CONTRATAR
EL VICEPRESIDENTE DE RECURSOS HUMANOS DE GOOGLE,
LASZLO BOCK, EXPLICA QUE OPTAN POR ENTREVISTAS
ESTRUCTURADAS Y CON FOCO EN LO QUE NECESITA LA
COMPAÑÍA. DESCONFÍAN SOBRE LA UTILIDAD DE LO APRENDIDO
EN LOS ESTUDIOS FORMALES PARA DESEMPEÑAR FUNCIONES
EN GOOGLE.31 de Octubre 2016
https://www.infotechnology.com/negocios/Google-se-despide-del-CV-academico-como-contrata-
sus-empleados-20161031-0001.html

Google suele ser noticia por lo extravagante que son sus métodos para
contratar personal. En un principio, fueron reconocidos por hacer
preguntas para pensar "fuera de la caja" y descolocar. Desde hace algún
tiempo que también optaron por desechar el currículum académico. El
vicepresidente de Recursos Humanos de Google, Laszlo Bock, afirma
que el expediente académica y la puntuación de los candidatos en las
pruebas son inútiles como criterio de contratación.
“Una de las cosas que hemos aprendido tras analizar todos los datos de
nuestro proceso de selección es que el expediente académico y la
puntuación de los candidatos en los test son inútiles como criterio de
contratación”, explica. Google era famosa por pedir a todos sus
candidatos un brillante expediente académico y una puntuación elevada
en determinadas pruebas, pero los tiempos han cambiado porque la
empresa no pedirá ningún certificado.
“Hemos llegado a la conclusión de que no predicen nada”, asegura Bock,
y entiende que es un método que se está extendiendo en otras oficinas
del mundo. La proporción de trabajadores de Google sin título
universitario no para de crecer. “Hay equipos en los que el 14% de los
miembros nunca han ido a la universidad”, reconoce el ejecutivo.
Entre las razones que Google ha puesto para dejar de valorar el
expediente académico como criterio de contratación tiene que ver con la
desconexión existente entre lo que se enseña en la universidad y el
trabajo que se realiza en la compañía. El experto reconoce que, luego de
trabajar un tiempo, no hay diferencia de desempeño entre un titulado y
un empleado sin títulos pero con la misma experiencia laboral.
En su opinión, la universidad sigue siendo un entorno artificial, una
burbuja que premia a unos a otros en función de unos criterios que nada
tienen que ver con lo que se pide en el entorno laboral. “La gente que
tiene éxito en la universidad”, explica el responsable de RRHH de
Google, “es un tipo de gente específicamente entrenada para tener éxito
en ese ambiente. Una de mis frustraciones cuando estaba en la
universidad es que sabía que el profesor estaba buscando una respuesta
específica.
Además, menciona que Google no está dispuesto a fiarse del expediente
académico de sus candidatos, pero tampoco está muy claro que las
entrevistas sean una herramienta adecuada, puesto que “hace unos años
hicimos un estudio para determinar si alguien en Google era
particularmente bueno a la hora de contratar a gente. Analizamos
decenas de miles de entrevistas, a todos los que las habían realizado, la
puntuación que había obtenido cada candidato y cómo realmente esa
persona había realizado su trabajo. Encontramos que no existía ninguna
relación”.