You are on page 1of 12

Machine Translated by Google

9 - 418 - 020
REV: 26 tháng 7, 2 0 1 9

ET HAN BER NS T EI NP

AULMCKI NNO N

P AUL Y AR AB E

PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc con người
Sự thông minh

Masahiro Fukuhara, người sáng lập và Giám đốc điều hành của Viện khởi nghiệp phân tích con người có trụ sở tại
Tokyo (IGS), đã tạm dừng việc nghiền ngẫm dữ liệu để đặt câu hỏi về cách có thể sử dụng nó tốt nhất. Trong bảy năm
kể từ khi Fukuhara thành lập IGS, giải pháp đánh giá ứng viên công việc - “GROW” - đã phát triển nhanh chóng và
nhiều cách mà khách hàng sử dụng đều khiến anh thích thú và lo lắng.

GROW, một ứng dụng iOS và Android (Hình 1), bao gồm hai thành phần độc quyền: đánh giá năng lực và đánh giá tính
cách. Để đánh giá năng lực, GROW đã sử dụng một công cụ phản hồi ngang hàng để tiết lộ 25 năng lực cụ thể mà IGS đã
chọn dựa trên nghiên cứu khoa học xã hội sâu rộng (Hình 2). Để đánh giá tính cách, GROW đã sử dụng một phiên bản
đánh bạc của Bài kiểm tra liên kết ngầm (IAT), một bài đánh giá được thiết lập về thành kiến tiềm ẩn trong tâm lý
xã hội, mà các cá nhân có thể chơi trên thiết bị di động (Hình 3).
Mặc dù không có thành phần nào đặc biệt mới lạ nhưng những gì GROW đã làm với chúng là: nó sử dụng các thuật toán
học tập trí tuệ nhân tạo (AI) để phân tích mọi dữ liệu đánh giá từ cả ứng viên và người đánh giá, tìm kiếm các mẫu
để cải thiện khả năng sàng lọc chính xác các ứng viên. thời gian (Hình 4). Thay vì “trực giác” của con người, GROW
đã sử dụng “dữ liệu lớn” —các điểm dữ liệu riêng biệt giữa nhiều người — để phát triển một động cơ khoa học, khách
quan và không ngừng cải tiến nhằm tuyển dụng, sàng lọc và phát triển nguồn nhân lực.

Cho đến nay, nó dường như hoạt động. Ví dụ, trong một bài kiểm tra về GROW, một khách hàng có cả chuyên gia
nhân sự và GROW đánh giá 200 sinh viên như nhau. GROW không chỉ xuất hiện gần như cùng 50 ứng cử viên hàng đầu (hai
danh sách không thể thống kê được), mà quan trọng hơn, nó đã làm như vậy với các lý do dựa trên dữ liệu và năng lực
cụ thể.

Tính đến tháng 6 năm 2017, GROW đã có 74.000 người dùng, bao gồm cả sinh viên tại các trường đại học danh tiếng
và ít được biết đến hơn. Các khách hàng bao gồm Mitsubishi Corporation, All Nippon Airways (ANA), Septeni, DeNA,
Rakuten, AXA và nhiều hãng khác. Ngay cả các tổ chức chính phủ như Bộ Kinh tế, Thương mại & Công nghiệp Nhật Bản
(METI) và Các Tiểu vương quốc Ả Rập Thống nhất cũng tham gia.

Sự quan tâm rộng rãi đến GROW vừa là cơ hội vừa là thách thức. Một mặt, nó cung cấp cho Fukuhara một lượng người
dùng, dữ liệu và hỗ trợ thể chế ngày càng tăng. Mặt khác, Fukuhara tự hỏi liệu anh ta có nên đóng một vai trò mạnh
mẽ hơn trong việc tập trung chiến lược vào việc sử dụng GROW ở nơi mà nó có khả năng có tác động có ý nghĩa nhất (và
ít có khả năng gây hiểu lầm nhất) hay không.

Giáo sư Ethan Bernstein, Giảng viên cao cấp Paul McKinnon và Paul Yarabe (MBA 2018) đã chuẩn bị trường hợp này với sự hỗ trợ của Nobuo Sato '82, Naoko Jinjo, Yukari
Takizawa và Akiko Kanno từ Trung tâm Nghiên cứu HBS Nhật Bản. Nó đã được xem xét và phê duyệt trước khi xuất bản bởi một công ty chỉ định. Kinh phí để phát triển
trường hợp này được cung cấp bởi Trường Kinh doanh Harvard chứ không phải bởi công ty. Các trường hợp HBS được phát triển chỉ để làm cơ sở cho thảo luận trong lớp. Các
trường hợp không nhằm mục đích xác nhận, nguồn dữ liệu chính hoặc minh họa về việc quản lý hiệu quả hoặc không hiệu quả.

Bản quyền © 2017, 2019 Chủ tịch và Nghiên cứu sinh của Đại học Harvard. Để đặt hàng các bản sao hoặc yêu cầu cho phép sao chép tài liệu, hãy gọi 1-800-545-7685, viết
thư Harvard Business School Publishing, Boston, MA 02163, hoặc truy cập www.hbsp.harvard.edu. Ấn phẩm này không được phép số hóa, sao chụp hoặc sao chép, đăng tải hoặc
truyền tải mà không có sự cho phép của Trường Kinh doanh Harvard.

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

418-020 PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người

Lịch sử ngắn của IGS

Trước khi bắt đầu IGS, Fukuhara là giám đốc điều hành tại công ty quản lý tài sản Barclays Global Investors (BGI), nơi ông

đưa ra các quyết định đầu tư dựa trên các mô hình điều khiển bằng máy tính (xem Phụ lục 5 về quá trình làm việc của Fukuhara).

Câu thần chú tại BGI là “định lượng mọi thứ,” và nó đã truyền cho Fukuhara niềm tin rằng phán đoán định lượng sẽ mang lại lợi

nhuận lớn hơn được điều chỉnh theo rủi ro. Khi Fukuhara thăng tiến trong tổ chức, anh ấy dành ít thời gian hơn để quản lý dữ

liệu và dành nhiều thời gian hơn cho việc quản lý mọi người, và anh ấy bắt đầu suy nghĩ, tại sao lại không định lượng năng lực

cá nhân? Giống như các nhà đầu tư đưa ra các quyết định quản lý tài sản, ông lưu ý rằng mọi người có thể không đánh giá khách

quan (và có thể là định lượng) về bản thân và những người khác. Liệu những lợi thế của đầu tư định lượng (số lượng) có thể

được áp dụng để đánh giá và phát triển con người không? Sau khi Black Rock mua lại BGI và nhận thấy có cơ hội để theo đuổi sự

tò mò cho riêng mình, Fukuhara rời công ty và thành lập một liên doanh giáo dục, IGS.

Lúc đầu, Fukuhara điều hành IGS như một trường luyện thi tư nhân nhỏ ở một khu vực nhộn nhịp của Tokyo. Làm như vậy giúp

anh có cơ hội quan sát tận mắt cách những người trẻ tuổi phát triển, cách họ phản hồi lại phản hồi và cách họ học cách đánh

giá kỹ năng của bản thân. Là một người ham đọc triết học được giáo dục ở cả Nhật Bản và nước ngoài, Fukuhara đã thiết kế một

chương trình giảng dạy mới lạ về triết học, tư duy phản biện, tranh luận và tiếng Anh như ngôn ngữ thứ hai (ESL), thu hút sự

quan tâm không chỉ từ phụ huynh và học sinh ở Nhật Bản mà còn từ các trường học và các chính phủ mà Fukuhara đã tham vấn.

Thông qua những cuộc trò chuyện đó và nghĩ lại những trải nghiệm của bản thân với phản hồi 360 độ tại INSEAD và BGI, Fukuhara

ngày càng cảm thấy tự tin rằng hành vi của mọi người có thể thay đổi theo chiều hướng tốt hơn thông qua phản hồi thường xuyên

hơn — một hoặc hai lần một tháng thay vì một hoặc hai lần một năm . Tuy nhiên, dựa trên nguồn gốc tiếng Nhật của mình, anh ấy

biết rằng việc trao đổi phản hồi trung thực là điều khó chịu đối với nhiều người Nhật, khiến nó trở thành một sự kiện không

phổ biến. Đối với Fukuhara, quá trình tuyển dụng là một cơ hội bị bỏ lỡ để thu thập, sử dụng và trao đổi những phản hồi như

vậy một cách có hệ thống — và là thời điểm khi các cá nhân có khả năng thực hiện nó.

Một lần nữa Fukuhara lại thấy có mối liên hệ với công việc trước đây của mình. Tại BGI, trong những năm làm nhà nghiên cứu

FX và thu nhập cố định toàn cầu, ông đã phát triển phương pháp học sâu ban đầu và các phương pháp thống kê tiên tiến khác để

hỗ trợ nền tảng đầu tư lượng tử. Anh ấy đã tìm cách xây dựng một công nghệ có khả năng mở rộng tương tự để phản hồi trong quá

trình tuyển dụng. Vào đầu năm 2015, Fukuhara bắt đầu tổ chức các buổi động não hàng tuần với các đồng nghiệp, bạn bè và nhà

nghiên cứu cũ để tìm ra một công cụ giúp sinh viên hiểu được điểm mạnh và điểm yếu của họ và hỗ trợ nhân sự tuyển dụng. Như

một cái gật đầu với mong muốn giúp học sinh phát triển, công cụ này được đặt tên là GROW. Với sự hỗ trợ tiếp thị từ Asahi

Shimbun, một trong những công ty truyền thông nổi tiếng nhất Nhật Bản, cũng như các khoản tiền kiếm được từ hoạt động giáo dục

của IGS, Fukuhara đã chuyển sang tập trung IGS vào việc phát triển nền tảng GROW hai mặt.

LỚN LÊN

Thông qua các nhóm tập trung với người dùng là sinh viên và vô số cuộc họp với các giám đốc điều hành tại các công ty và

tổ chức khác nhau, nhóm nhanh nhẹn của IGS đã phát triển GROW như một ứng dụng dành cho người tiêu dùng di động có trò chơi

cho phép sinh viên "tặng" cho nhau phản hồi về các năng lực khác nhau và khám phá các đặc điểm tính cách của họ thông qua một

ẩn -Kiểm tra kết hợp (IAT). Cần các công ty tham gia vào nền tảng này, IGS đã thêm chiến lược B2B2C và bắt đầu cung cấp chức

năng nhân sự cho các tổ chức trong các tổ chức. Các khách hàng ban đầu bao gồm hầu hết các công ty công nghệ / sản xuất như

DeNA và Calsonic Kansei, mặc dù các khách hàng đã sử dụng dịch vụ theo nhiều cách khác nhau - để xác định những người chơi

ngôi sao trong công ty của họ, để đánh giá những người đã nhận được lời mời làm việc để gia nhập công ty của họ (có khả năng

đưa họ vào vai trò nhất định), hoặc để xác định tập hợp con nào trong số 25 năng lực là quan trọng về mặt chiến lược nhưng lại

không được thể hiện một cách nhất quán trong kết quả kiểm tra của nhân viên.

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người 418-020

Cần thêm tiền mặt để cải tiến công nghệ, tăng tỷ lệ thu hút khách hàng và mở rộng cơ sở người dùng (các nỗ lực cấp cơ sở đã đăng ký chỉ vài trăm người),

Fukuhara đã bắt tay vào các cuộc họp với các nhà đầu tư mạo hiểm (VC) và vào mùa hè năm 2017, đã kiếm được 6 triệu đô la Vòng Series A với nguồn vốn từ Đại học

Tokyo Edge Capital, Công ty Quản lý Đầu tư Khoa học Đại học Tokyo và Sáng kiến Đổi mới Keio. Những khoản đầu tư này khiến IGS trở thành liên doanh đầu tiên và

duy nhất ở Nhật Bản được tài trợ độc quyền bởi các VC của trường đại học, mà Fukuhara xem như một minh chứng cho mục đích kép của GROW đối với sinh viên và công

ty.

Sau khi kết thúc tài trợ Series A, IGS tập trung vào việc mua lại khách hàng bằng cách tích cực nhắm mục tiêu vào những người ra quyết định về nhân sự tại

các công ty nổi tiếng và chứng minh năng lực kỹ thuật của IGS để thực hiện các phân tích dữ liệu phức tạp về quy trình nhân sự của các công ty. Nhiều hợp đồng

khách hàng hơn với các công ty lớn của Nhật Bản và một câu chuyện thân thiện với giới truyền thông (sự thất vọng khi săn việc làm có thể cộng thêm vào cái chết

và thuế như những điều chắc chắn khó chịu trong xã hội Nhật Bản) đã giúp GROW tăng lượng người dùng từ 2.000 vào tháng 12 năm 2016 lên 74.000 vào tháng 6 năm

2017, một con số nhỏ nhưng tỷ lệ có ý nghĩa của sinh viên tốt nghiệp đại học hàng năm của Nhật Bản (khoảng 650.000).

Cách hoạt động của GROW

Sau khi người dùng tạo tài khoản GROW và hoàn thành hướng dẫn trong ứng dụng (Hình 1), họ có thể đánh giá năng lực của người dùng khác (bạn cùng lớp, đồng

nghiệp, người quen, v.v.), hoàn thành bản tự đánh giá hoặc hoàn thành IAT . IGS đã sử dụng các thuật toán AI của mình để phân tích dữ liệu kết quả, từ cả ứng

viên và người đánh giá, nhằm phát triển và tùy chỉnh các dịch vụ liên quan đến nhân sự cho khách hàng và người dùng.

Năng lực

Để cung cấp sức mạnh cho công cụ AI của GROW (xem Phụ lục 4 để biết tổng quan về cách nó hoạt động), IGS trước tiên đã phát triển một danh sách các năng lực

và các truy vấn liên quan đáp ứng một số tiêu chí cụ thể (Phụ lục 2). Với nhiều cách mà một năng lực có thể được xác định, mỗi năng lực ban đầu được tiếp cận

thông qua sáu hoặc bảy câu hỏi (được gọi là “truy vấn”). Tuy nhiên, để tăng cơ hội người đánh giá hoàn thành đánh giá, IGS sau đó đã sử dụng phân tích thành phần

chính để giảm số lượng truy vấn xuống ba truy vấn phù hợp nhất và ít dư thừa nhất. (Xem ví dụ trong Bảng 1.)

Bảng 1 Năng lực được xác định thông qua ba truy vấn

Năng lực: Sáng tạo

Truy vấn 1: Anh ấy / anh ấy không chỉ bắt chước người khác khi thực hiện một nhiệm vụ - anh ấy / anh ấy cố gắng tăng thêm giá trị của bản thân.

Truy vấn 2: Anh ấy / anh ấy rất giỏi trong việc đưa ra những ý tưởng mà chưa ai nghĩ ra.

Truy vấn 3: Anh ấy / anh ấy có thể kết hợp những ý tưởng hiện có để tạo ra một cái gì đó mới.

Người đánh giá được yêu cầu trả lời từng truy vấn thông qua phiếu đánh giá bốn cấp, ngăn chặn phản hồi trung lập.

Nói chung, bốn cấp độ cho biết liệu ứng cử viên (1) hiếm khi, (2) đôi khi, (3) thường xuyên, hoặc (4) gần như luôn thể hiện các hành động hoặc đặc điểm của mỗi

truy vấn (Hình minh họa 2), nhưng các phiếu đánh giá cũng chứa các chi tiết cụ thể để giúp người đánh giá phân biệt chính xác giữa các cấp độ (Bảng 2).

Bảng 2 Năng lực được đánh giá thông qua Phiếu đánh giá bốn cấp độ

Năng lực: Sáng tạo (liên quan đến Truy vấn 1 ở trên)

Phiếu tự đánh giá 1: Anh ấy / anh ấy chỉ bắt chước người khác khi thực hiện một nhiệm vụ.

Phiếu tự đánh giá 2:


Thỉnh thoảng, anh ấy / anh ấy sẽ làm điều gì đó khác biệt.

Phiếu tự đánh giá 3:


Anh ấy / anh ấy có thái độ đúng đắn để làm mọi việc theo cách làm tăng thêm giá trị của chính anh ấy / cô ấy.

Phiếu tự đánh giá 4:


Bằng cách làm mọi việc theo cách riêng của cô ấy / anh ấy, anh ấy / anh ấy thực sự làm tăng thêm giá trị của cô ấy / anh ấy.

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

418-020 PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người

Trọng lượng

Người dùng đã nhận được xếp hạng từ nhiều người đánh giá (trung bình từ bốn đến năm người, ngoài tự đánh giá), nhưng mỗi

đánh giá không có trọng số như nhau. Thay vào đó, GROW đã sử dụng một thuật toán máy học (AI) đang chờ cấp bằng sáng chế, xác

suất (Bayes) sử dụng dữ liệu về cách năng lực đó đã được đánh giá trong lịch sử (được gọi là “sơ bộ”), cùng với nhiều điểm dữ

liệu về người đánh giá để xác định khả năng sau rằng một đánh giá như vậy là chính xác và được hiệu chỉnh cho phù hợp với thực tế

(Phụ lục 4). Ví dụ: mỗi cặp truy vấn-phiếu đánh giá đều có dữ liệu riêng về khoảng thời gian mà người dùng đã mất trước đây để

hoàn thành đánh giá đó (từ đọc truy vấn và phiếu đánh giá đến thực hiện đánh giá). Vì vậy, nếu một người đánh giá trả lời nhanh

hơn nhiều so với hầu hết, điều đó có thể khiến thuật toán giảm trọng lượng đánh giá của anh ta. Tương tự, nếu một người đánh giá

đưa ra nhiều xếp hạng đa dạng hơn theo thời gian— một số điểm 1, 2, 3 và 4 - thì người đó có thể được coi là sáng suốt hơn và do

đó đáng tin cậy hơn nhiều so với một người đánh giá đưa ra cả 3. Thuật toán cũng tính đến kết quả IAT của người đánh giá, vì một

số khuynh hướng tính cách nhất định (chẳng hạn như sự tận tâm) thường dẫn đến những đánh giá đáng tin cậy hơn. Một điểm dữ liệu

quan trọng khác là biểu đồ xã hội của người đánh giá: người đánh giá đưa ra đánh giá cho nhiều người dùng trong các mạng xã hội

khác nhau thường đáng tin cậy hơn so với người đánh giá chỉ tham gia ứng dụng để đưa ra đánh giá cho một người dùng cụ thể.

Đặc điểm tính cách

Bài kiểm tra liên kết ngầm là một bài kiểm tra nổi tiếng trong tâm lý xã hội để tiết lộ các thuộc tính và thành kiến mà mọi

người có, và bài kiểm tra có liên quan đến các đặc điểm tính cách. Trong GROW, người dùng tiến triển thông qua một loạt các nhiệm

vụ liên kết ngầm, trong đó họ kéo các thuộc tính nhất định, xuất hiện ở cuối màn hình, vào hộp chứa thuộc tính chính xác (ví dụ:

nói nhiều thành hướng ngoại) (Hình 3). Hộp chứa thuộc tính chính xác được đặt cạnh nhau hoặc khớp với một khái niệm (bản thân

tôi, những người khác) và cách người dùng vuốt thuộc tính có thể di chuyển được đánh giá để dự đoán đặc điểm tính cách của người

dùng. IAT di động được cấp bằng sáng chế của GROW đã sử dụng công nghệ máy học không giám sát để tiết lộ những điểm bất thường

trong các mẫu hành vi vuốt và do đó dự đoán tính cách tốt hơn.

Cách các tổ chức sử dụng GROW

Sau nhiều vòng thử nghiệm, IGS đã sẵn sàng cung cấp GROW như một công cụ phần mềm như một dịch vụ (SAAS) cho các công ty

quan tâm. Có rất nhiều sự quan tâm. Với sự ra đời của tính năng gửi sơ yếu lý lịch trực tuyến, tiếp cận kỹ thuật số và các ứng

dụng được thiết kế để giúp sinh viên dễ dàng ứng tuyển vào nhiều nhà tuyển dụng tiềm năng, số lượng đơn đăng ký đã tăng vọt:

trung bình sinh viên đại học ở Nhật Bản đã gửi 50–100 hồ sơ xin việc, hay còn gọi là “Phiếu nhập học” (ES), đến công ty trong mùa

săn việc làm. Nhưng ngay cả khi các công ty tràn ngập các ứng dụng, cách tiếp cận của họ để xử lý những đơn đó vẫn không thay đổi

nhiều - họ vẫn chủ yếu dựa vào việc sàng lọc sơ yếu lý lịch tốn kém và một số vòng phỏng vấn trực tiếp tốn nhiều thời gian. Do

đó, họ chỉ đơn giản là không thể theo kịp và chất lượng của những nhân viên mới của họ đang bị ảnh hưởng. GROW đã trình bày một

giải pháp rất hấp dẫn, mặc dù khi các công ty áp dụng nó, rõ ràng là các công ty đang sử dụng công cụ này theo những cách khác

nhau, thú vị và thậm chí là bất ngờ.

Septeni Holdings

Septeni Holdings (Septeni) được thành lập vào năm 1990 để phát triển ngành kinh doanh tư vấn nguồn nhân lực ở đỉnh cao của

Nhật Bản thời kỳ bong bóng. Sau khi bong bóng vỡ, Septeni chuyển trọng tâm sang quảng cáo trên internet ngay khi internet đang

phát triển. Vào năm 2017, Septeni là một trong những công ty tiếp thị qua internet lớn nhất ở Nhật Bản và nó đã phát triển bằng

cách áp dụng các phương pháp tiếp cận độc đáo để tuyển dụng và nuôi dưỡng những tài năng kinh doanh giỏi nhất, những người sau đó

có thể phát triển hiệu quả các công ty con và do đó là doanh thu.

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người 418-020

Để sàng lọc nhân tài, Septeni theo truyền thống đã làm theo cách tiếp cận phổ biến của Nhật Bản là mời sinh viên đại học

đến văn phòng của mình ở Tokyo để tham gia nhiều vòng phỏng vấn nhóm, trong đó các nhóm ứng viên sẽ được theo dõi khi họ hoàn

thành các nhiệm vụ dựa trên tinh thần đồng đội mô phỏng công việc điển hình tại Septeni.

Nhưng cách tiếp cận đó có những hạn chế đáng kể đối với Septeni, bao gồm nhu cầu sinh viên đến thăm Septeni trực tiếp (phần

lớn loại trừ sinh viên sống bên ngoài khu vực Tokyo), sinh viên cần phải nhận thức đầy đủ và quan tâm đến Septeni như một nhà

tuyển dụng tiềm năng (để đầu tư thời gian và tiền bạc1 để tham gia các cuộc phỏng vấn nhóm, điều mà họ không phải lúc nào cũng

làm vì Septeni là một công ty cỡ vừa), và nhu cầu sinh viên phải thể hiện đặc biệt tốt trong các cuộc phỏng vấn nhóm một lần,

vì đó là cơ hội duy nhất Septeni phải đánh giá họ trước khi đưa ra quyết định tuyển dụng.

Để giải quyết vấn đề đầu tiên, Septeni đã tạo ra một quy trình tuyển dụng trực tuyến mới, bao gồm một cuộc phỏng vấn

video cộng với một cuộc điều tra dựa trên web, dành cho những sinh viên sống bên ngoài khu vực Tokyo, những người do đó có thể

chọn không trả chi phí đi lại đắt đỏ cho cuộc phỏng vấn. Tuy nhiên, điều đó khiến Septeni không có dữ liệu mà nó đã thu thập

theo truyền thống thông qua các cuộc phỏng vấn nhóm trực tiếp. Septeni đã chuyển sang GROW để thay thế cho dữ liệu đó. Bằng

cách thu thập các đánh giá từ các đồng nghiệp trong suốt thời gian sinh viên tại trường đại học, GROW rất phù hợp với các tiêu

chí đánh giá nội bộ của Septeni, vốn tập trung vào các đặc điểm tính cách và năng lực mà một cá nhân đã thể hiện khi cô ấy
hoặc anh ấy làm việc với những người khác theo thời gian.

Vào năm 2016, Septeni đã cung cấp cho IGS dữ liệu về các ứng viên năm trước và kết quả phỏng vấn để giúp IGS “đào tạo”

thuật toán AI, từ đó IGS phát triển một thuật toán học máy có giám sát để dự đoán chính xác những ứng viên nào — trong quá khứ

và tương lai — sẽ vượt qua các cuộc phỏng vấn nhóm của Septeni . Những kết quả ban đầu với GROW trong mùa tuyển dụng 2017 rất

hứa hẹn. Các dự đoán của GROW không chỉ khớp với kết quả đánh giá nội bộ của Septeni, mà còn tăng gấp đôi nhân tài mà Septeni

có nguồn từ bên ngoài Tokyo, làm cho quy trình phỏng vấn nhóm có khả năng lỗi thời và tăng khả năng nhận diện tên tuổi của

Septeni trong giới sinh viên (vì các khách hàng khác của GROW bao gồm các công ty nổi tiếng Ở Nhật). Kết quả cuối cùng: giảm

90% nỗ lực xử lý tổng thể trong khi tỷ lệ chấp nhận các đề nghị công việc hàng năm của Septeni tăng gấp bốn lần, tất cả đều

không có tác động rõ ràng đến chất lượng ứng viên.

All Nippon Airways

Hãng hàng không lớn nhất Nhật Bản, All Nippon Airways (ANA), luôn được đánh giá là một trong những công ty phổ biến nhất

trong mắt sinh viên tìm kiếm việc làm sau khi tốt nghiệp. Để xây dựng đội ngũ lãnh đạo cấp cao trong tương lai, ANA đã tìm

cách xác định những sinh viên có triển vọng bằng cách sàng lọc số lượng lớn đơn đăng ký mà họ nhận được hàng năm. Tuy nhiên,

chỉ với một số lượng nhân viên nhân sự hạn chế, ANA lo ngại rằng họ sẽ mò kim đáy bể — những sinh viên có tiềm năng trở thành

nhà lãnh đạo tương lai nhưng lại bị loại ra quá sớm trong quá trình tuyển dụng.

Đầu tiên, IGS đã làm việc với ANA để ưu tiên 10 năng lực mà họ đánh giá cao ở những người mới tuyển dụng. Sau đó, học

sinh quan tâm đến ANA đã sử dụng ứng dụng GROW để đánh giá năng lực và đặc điểm tính cách của họ, được sử dụng để tạo “tổng
điểm”. Dựa trên tất cả các dữ liệu khác mà IGS thu thập được về một sinh viên và những người đánh giá của cô ấy, công cụ AI

của GROW cũng tạo ra “điểm tin cậy” để đánh giá mức độ tin cậy mà IGS có trong tổng điểm đó. Sau đó, ANA vẽ biểu đồ của từng

ứng viên trên một biểu đồ duy nhất, với “tổng điểm” trên trục x, “điểm tin cậy” trên trục y và màu của dấu chấm biểu thị mức

độ tiến bộ của ứng viên trong quá trình sàng lọc (đơn đăng ký nhận được , được mời vào vòng một, được mời vào vòng hai, được

mời vào vòng ba, vào chung kết và nhận được lời mời làm việc) (xem Hình 1).

1
Ở Nhật Bản, các công ty thường tổ chức ngày phỏng vấn tại trụ sở chính của họ và mong đợi tất cả các ứng viên quan tâm đến trực tiếp với chi
phí của họ.

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

418-020 PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người

Hình 1 ANA có thể sử dụng GROW để phỏng vấn các ứng viên có triển vọng mà họ sẽ sàng lọc

Nguồn: tài liệu công ty ANA.

Dữ liệu tiết lộ một số thông tin chi tiết:

1. ANA có thể sử dụng GROW để sàng lọc những ứng viên không có khả năng lọt vào vòng phỏng vấn cuối cùng, vì những ứng viên có điểm

tin cậy dưới -4 và tổng điểm dưới -5 khó có khả năng trở thành “chấm xanh”;

2. Nhóm các chấm màu xanh lá cây ở phía trên bên phải của biểu đồ cho thấy niềm tin vào việc sử dụng GROW làm công cụ

dành cho nhân viên nhân sự của ANA; và

3. Có nhiều học sinh không vượt qua được vòng sàng lọc đơn đăng ký và vẫn không được

phân biệt với những người được phỏng vấn ở vòng cuối cùng bằng cách sử dụng GROW.

Để tìm hiểu thêm thông tin chi tiết thứ ba, ANA đã mời khoảng 423 sinh viên có điểm GROW cao đến phỏng vấn cùng với những ứng viên

đã vượt qua bằng quy trình truyền thống. Trước sự ngạc nhiên của ANA, một số sinh viên GROW được mời đã nhận được điểm số hoàn hảo trong

các cuộc phỏng vấn, khiến bộ phận nhân sự nhận ra rằng bằng cách sử dụng dữ liệu GROW theo cách học máy có giám sát, GROW có thể giúp

tìm ra những ứng viên đầy triển vọng mà ANA sẽ bỏ qua.

Do đó, thay vì tập trung vào việc sàng lọc học sinh, ANA đã quyết định sử dụng GROW để sàng lọc học sinh, phát triển hơn nữa và

điều chỉnh các tiêu chí bao gồm của mình. Với các thông số này, ANA có thể sử dụng GROW để nhắm mục tiêu chính xác hơn đến các nhóm sinh

viên có tiềm năng thăng tiến cao trong quá trình tuyển dụng.

Tập đoàn Mitsubishi

Là một trong những doanh nghiệp lớn nhất và lâu đời nhất của Nhật Bản, Tập đoàn Mitsubishi (MC) đã điều hành các doanh nghiệp trong

các ngành đa dạng, bao gồm tài chính công nghiệp, kim loại, máy móc, hóa chất, năng lượng mới, cơ sở hạ tầng, tài chính, công nghệ,

thiết bị sinh hoạt hàng ngày và hơn thế nữa. Trong năm 2017, các hoạt động của MC đã vượt xa mô hình kinh doanh truyền thống bao gồm sự

tham gia tích cực vào việc quản lý các doanh nghiệp của mình. Trong khi lịch sử công ty gặp ít vấn đề trong việc thu hút những sinh viên

tốt nghiệp tốt nhất và sáng giá nhất của Nhật Bản (nó thường là số một về sự phổ biến trong số những sinh viên mới tốt nghiệp), sự phát

triển của mô hình kinh doanh của nó đã

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người 418-020

tăng nhu cầu về tài năng quản lý có năng lực cao. Quan tâm đến việc tăng lượng ứng viên như vậy, MC đã bắt đầu thảo luận với IGS để sử

dụng GROW.

Để hỗ trợ MC tìm kiếm các ứng viên mới cho nhóm ứng viên của mình, IGS trước tiên đã làm việc với MC để tạo trong GROW một mô hình

thuật toán cho nhân viên MC “lý tưởng”. IGS và MC sau đó chạy thuật toán trên các ứng viên đã đăng ký trong cơ sở dữ liệu ứng dụng của

MC, những người cũng nằm trong số những người dùng GROW đã hoàn thành sàng lọc năng lực và khả năng của GROW. Dựa trên giả thuyết rằng

những người bạn cùng lứa với những ứng cử viên “lý tưởng” cũng có thể là “lý tưởng” (những con chim cùng đàn với nhau), IGS đã tạo ra

một biểu đồ xã hội về những ứng cử viên “lý tưởng”, xác định những cá nhân nằm trong số năm người bạn đồng lứa trở lên đã đưa ra phản

hồi về ứng viên “lý tưởng” (xem Hình 2). Sau đó, IGS chuyển thông tin này cho MC, sử dụng biểu đồ xã hội để xác định những đồng nghiệp

chưa đăng ký trong cơ sở dữ liệu tuyển dụng của MC. MC đã quyết định mời những ứng viên “lý tưởng” đồng lứa này tham gia một buổi thông

tin về MC.

Năm mươi ứng viên tiềm năng đã tham dự phiên họp này. Điều thú vị là nhiều người trong số họ đã nhận được lời mời làm việc từ các

công ty hàng đầu như Google và Goldman Sachs. Tuy nhiên, bằng cách nói chuyện với các nhân viên hiện tại và hiểu thêm về MC, một số

người trong số họ không chỉ đăng ký làm MC sau buổi làm việc mà cuối cùng đã quyết định tham gia MC sau khi vượt qua các cuộc phỏng vấn.

Đối với MC, giá trị lớn nhất của GROW là như một công cụ giúp phát hiện ra những ứng viên tài năng chưa phát hiện ra họ.

Hình 2 Sử dụng Biểu đồ xã hội của các ứng cử viên của Tập đoàn Mitsubishi (MC)

Nguồn: Casewriter.

Tăng trưởng về phía trước

Với nhiều dữ liệu khách hàng hơn về hiệu quả hoạt động của các nhân viên được đề xuất của GROW và nhiều dữ liệu về người nộp đơn

(IAT và xếp hạng năng lực ngang hàng) từ số lượng người dùng ngày càng tăng, AI của GROW đã sẵn sàng cung cấp các đề xuất tuyển dụng

mạnh mẽ hơn bao giờ hết cho khách hàng. Nhưng khi AI của Fukuhara trở nên thông minh hơn, còn những khách hàng là con người của anh ta thì sao?

Đã đến lúc giáo dục họ về những cách tốt nhất để sử dụng GROW? Nếu vậy, những cách khách hàng của anh ấy đang sử dụng GROW có khả năng

tốt hơn (và ít có khả năng gây hiểu lầm hơn)?

Fukuhara cũng thận trọng nhìn thấy tiềm năng mở rộng khả năng của GROW. Vì IGS thu thập dữ liệu không chỉ về những người được tuyển

dụng hiện tại mà còn về hiệu suất của những tuyển dụng được đề xuất trước đó, nên AI của GROW có tiềm năng cải thiện cả quy trình tuyển

dụng và tiêu chí tuyển dụng. Đã đến lúc bật AI “học máy tăng cường” (Hình 4) để AI có thể vượt qua một số đặc điểm do khách hàng xác

định của một ứng viên “lý tưởng” đã không hoạt động tốt trong quá khứ, dựa trên những cá nhân được thuê cuối cùng đã hoạt động như thế

nào trong công việc? Tóm lại, AI của Fukuhara có thể trở nên thông minh hơn các khách hàng của anh ta? Và khách hàng của anh ấy sẽ cảm

thấy thế nào về một đề xuất như vậy và việc nhường quyền kiểm soát mà nó sẽ yêu cầu? Fukuhara băn khoăn về những cách tốt nhất để GROW

phát triển.

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

418-020 PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người

Hình 1 Sử dụng Grow

Nguồn: tài liệu công ty IGS.

số 8

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người 418-020

Phụ lục 2 Đánh giá năng lực trong GROW

Mỗi năng lực được lựa chọn từ hàng trăm năng lực và kỹ năng được báo cáo trong tài liệu khoa học xã hội dựa trên một
số tiêu chí: 1) Đại diện cho các quốc gia và nền văn hóa khác nhau; 2) Mối tương quan với sự thành công trong các
chức năng công việc có liên quan (được xác minh bởi các công ty tìm kiếm điều hành); và 3) Được đánh giá bởi các đồng
nghiệp. Tiến sĩ Mitsuru Kimura của Đại học Tokyo đã thực hiện việc xác định rõ năng lực. Một đoạn trích của từng năng
lực, được dịch từ tiếng Nhật, như sau:

1 vấn đề đặt ra 2 giải Hiểu một tình huống để tìm ra vấn đề và nguyên nhân
pháp định hướng Có thể lập kế hoạch để giải quyết vấn đề và thực sự đạt được kết quả
3 khả năng hoàn thành công việc Có thể đối phó với bất kỳ loại nhiệm vụ nào
4 sáng tạo tư duy logic Có thể đề xuất ý tưởng của riêng mình
5 Có thể suy nghĩ sâu sắc

6 nghi ngờ điều được cho là đúng Không chỉ đồng ý với ý kiến của người khác mà còn phản bác lại
7 giá trị bên trong Có thể đánh giá tình hình bằng giá trị bên trong của một người
8 tầm nhìn Có thể có mục tiêu rõ ràng trong tương lai
9 hiệu quả bản Tự tin và có thể xử lý mọi loại công việc

thân 10 tăng trưởng 11 Có thể đương đầu với những vấn đề khó khăn để cải thiện bản thân
lợi ích Có thể thu thập thông tin trong bất kỳ lĩnh vực nào
12 khả năng phục Có thể quản lý các tình huống khó khăn
hồi 13 kiểm soát cảm xúc của một người Chịu được căng thẳng trong mọi tình huống

14 khả năng thể hiện bản thân 15 kỹ Có thể giải thích cho người khác và giúp họ hiểu một cách dễ dàng

năng đồng cảm và lắng nghe Lắng nghe một cách háo hức và cố gắng hiểu những gì người đó đang nói
16 hướng ngoại 17 linh Đặt mình vào bất kỳ môi trường nào

hoạt 18 quyết đoán 19 Xử lý các công việc bằng cách cải tiến các cách tiến hành

cởi mở 20 khả năng sử Có thể quyết định một vấn đề bằng cách kiểm tra ý tưởng của chính mình và các sự kiện khách quan

dụng ảnh hưởng 21 đam Có thể chấp nhận những người có ý tưởng và quan điểm khác nhau

mê, truyền bá 22 tinh thần đồng đội Có thể ảnh hưởng đến mọi người bằng cách nói lên ý kiến của một người

Có thể làm cho mọi người hiểu bằng cách nói ý kiến của một người

Có thể tạo ra một bầu không khí tích cực để cải thiện tinh thần đồng đội

23 tư duy toàn cầu 24 cam Có thể hoạt động như một thành viên của một nhóm toàn cầu

kết với một nhóm Có thể làm việc chăm chỉ vì mục tiêu của một nhóm để đạt được mục tiêu của nhóm

25 ý thức đạo đức Khuyến khích mọi người làm điều đúng đắn

Nguồn: tài liệu công ty IGS.

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

418-020 PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người

Phụ lục 3 Kiểm tra liên kết ngầm (IAT), Đánh giá tính cách của GROW

Sau đây là dựa trên Năm đặc điểm tính cách của Big Five, được phát triển độc lập bởi một số nhóm nhà nghiên cứu
trong thế kỷ 20.

Hướng ngoại Bạn là người chủ động, năng động, hướng tới hành động và luôn tìm kiếm sự kích
thích từ bên ngoài thông qua sự tương tác. Mặt khác, hành động của bạn có thể
1 không hợp lý.

Hướng nội Bạn là người dè dặt và thích một môi trường ổn định. Bạn không tìm kiếm sự kích thích bên

ngoài và tìm kiếm sự ổn định bên trong chính mình. Mặt khác, bạn có thể là một kẻ hèn nhát và

có thể chậm chạp trong việc thực hiện các hành động.

Mở Bạn cố gắng thu thập thông tin mới và mở rộng cơ sở kiến thức và kinh nghiệm
của mình. Mặt khác, bạn có thể không thực tế và có thể có những ý tưởng duy tâm.
2
Bảo thủ Bạn bằng lòng với tình hình hiện tại và có cơ sở. Mặt khác, bạn không thích thay đổi
và có xu hướng gắn bó với thẩm quyền và truyền thống.
Nhạy cảm Bạn có thể nhạy cảm với rủi ro và có xu hướng tránh rủi ro bằng cách thận trọng.
Mặt khác, bạn có thể rất lo lắng và cảm xúc không ổn định khi bị đặt trong một môi
3 trường căng thẳng.
Trấn tĩnh
Bạn không bị ảnh hưởng bởi rủi ro và luôn ổn định về mặt cảm xúc. Mặt khác, bạn
không nhạy cảm với cảm xúc hoặc môi trường của người khác.
Hợp tác xã Bạn là người biết lắng nghe, có thể thấu hiểu người khác và tạo dựng các
mối quan hệ hợp tác. Mặt khác, bạn có xu hướng nghĩ về người khác quá nhiều và có xu hướng
là một người theo dõi. Do đó, người hợp tác có thể thiếu khả năng lãnh đạo và có thể có
4 xu hướng trở thành một đốm đen trong nhóm.
Độc lập Bạn có thể có một nhân vật mạnh mẽ, có khả năng tạo ra những ý tưởng độc đáo và mới
mẻ, và lãnh đạo một nhóm. Mặt khác, bạn có xu hướng ích kỷ và
quá cạnh tranh.

Làm việc chăm chỉ Bạn có ý chí mạnh mẽ và nỗ lực để đạt được mục tiêu mỗi ngày. Mặt khác, bạn có thể là
một người cầu toàn và có thể khiến bản thân và người khác thất vọng.
5
Đặt trở lại Bạn chấp nhận con người của bạn và môi trường và linh hoạt. Mặt khác, bạn có thể lạc
đường và có thể đưa ra những phán đoán bất cẩn.

Trong một ví dụ về thử nghiệm thân thiện với thiết bị


di động được tùy chỉnh của GROW, các khái niệm về bản thân
và những người khác (màu cam) được ghép nối ngẫu nhiên với
các đặc điểm tính cách (màu vàng). Người dùng được yêu cầu
vuốt hộp màu vàng có thể di chuyển (có nhãn Nói chuyện trong
ví dụ này) ở cuối màn hình đến đúng thuộc tính (hướng ngoại).
Một người nào đó tự cho mình là người hướng ngoại có thể do
dự khi kết hợp “người khác” với việc nói nhiều hơn. “Sự do
dự” này được theo dõi và phân tích theo hai cách - theo kiểu
vuốt (thẳng sang trái hoặc theo kiểu cong) và trong trình
theo dõi thời gian (ở cuối màn hình). Sau đó, các yếu tố
tiên quyết được thiết lập có thể giúp xác định khả năng sau
này về kiểu tính cách của người dùng.

Nguồn: tài liệu công ty IGS.

10

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người 418-020

Hình 4 Cách thức hoạt động của Trí tuệ nhân tạo trong GROW

Nguồn: Casewriter.

11

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860
Machine Translated by Google

418-020 PHÁT TRIỂN: Sử dụng trí tuệ nhân tạo để sàng lọc trí tuệ con người

Hình 5 CV của Masahiro Fukuhara

Thuê người làm

2010 (tháng 5) - đại diện: Giám đốc điều hành / Người sáng lập Tổ chức cho một xã hội toàn cầu KK (IGS) Được thành lập

IGS để phân tích con người và đội ngũ nhân sự và giáo dục.

2000–2010 (tháng 4): Giám đốc điều hành của Barclays Global Investors (nay là BlackRock)

Đã tạo các mô hình dự báo theo hướng dữ liệu cho một trong những quỹ đầu cơ vĩ mô lớn nhất toàn cầu do Richard Grinold

và Richard Meese (cựu giáo sư tại Trường Kinh doanh UC Berkeley Haas) đứng đầu.

Đề xuất đầu tư mạo hiểm theo hướng dữ liệu bằng cách phân tích con người và đội ngũ quản lý của các dự án (bị

nhóm này từ chối).

1992–2000: Giám đốc danh mục đầu tư của Ngân hàng Tokyo-Mitsubishi (nay là MUFG)

Đã tạo mô hình dự báo theo hướng dữ liệu để bảo hiểm rủi ro tiền tệ bằng cách sử dụng mô hình trí

tuệ nhân tạo thần kinh.

Đề xuất ra mắt các quỹ đầu cơ vĩ mô toàn cầu (bị nhóm nghiên cứu từ chối).

Giáo dục

2005: Tiến sĩ từ Đại học Tsukuba

Đã viết nhiều bài báo khác nhau trên các tạp chí toàn cầu về việc tập hợp đám đông trên thị trường tiền tệ toàn cầu bằng cách sử dụng lý

thuyết giá trị và đồ thị cực đoan.

1999: Thạc sĩ Tài chính Quốc tế từ HEC (với danh hiệu cao nhất)

chuyển động ngẫu nhiên và sự kiểm soát của nó.

1997: MBA từ INSEAD

Bị ảnh hưởng nhiều nhất bởi trải nghiệm đánh giá 360 độ trong một khóa học nhân sự.

1992: Tốt nghiệp Khoa Kinh tế tại Đại học Keio

Chuyên ngành: Thống kê và Kinh tế lượng

Nguồn: tài liệu công ty IGS.

12

Tài liệu này chỉ được Thanh Lâm, Đại học Quốc gia Việt Nam, Thành phố Hồ Chí Minh cho phép sử dụng để đánh giá nhà giáo dục cho đến tháng 6 năm 2023. Việc sao chép hoặc đăng tải là vi phạm bản quyền.
Permissions@hbsp.harvard.edu hoặc 617.783.7860

You might also like