You are on page 1of 54

‫‪1‬‬

‫مسیر تبدیل شدن به یک متخصص داده‬

‫محدرضا محتاط‬
‫❖ عضو کمیته راهبری و اساتید دوره جامع علمداده دانشگاه تهران‬ ‫‪2‬‬

‫❖ مدیرارشد علومداده پژوهشگاه توسعه فناوریهای پیشرفته‬

‫❖ مشاور استراتژی داده معاونت تحقیقات و فناوری وزارت بهداشت‬

‫❖ مشاور ارشد پروژه تدوین نظام تجزیه و تحلیل دادههای بانک ملت‬

‫❖ ناظر پروژههای علوم داده و هوش مصنوعی مرکز ملی فضای مجازی‬

‫❖ عضو حقوقی کمیسیون علوم داده و هوش مصنوعی سازمان نظام صنفی رایانه ای‬

‫❖ عضو حقیقی کمیسیون اینترنت اشیا و دادههای عظیم سازمان نظام صنفی رایانه ای‬

‫محمدرضا محتاط‬ ‫❖ مشاور اسبق دادههای عظیم شرکتهای صنایع یاس ارغوانی‪ ،‬دیتاک و‪...‬‬

‫متخصص علمداده و مشاور دادههای عظیم‬


‫❖ دانشجوی دکتری مدیریت فناوری اطالعات دانشگاه عالمه طباطبایی‬

‫❖ کارشناسی ارشد مدیریت فناوری اطالعات دانشگاه تهران‬

‫❖ مدیریت پیشرفته کسب وکار(‪ )MBA‬گرایش استراژی دانشگاه تهران‬


‫انواع مسیرهای شغلی متخصص داده‬

‫متخصص علوم داده‬ ‫متخصص هوش تجاری‬ ‫تحلیلگر داده‬

‫مهندسی داده‬ ‫متخصص کالن داده‬ ‫مهندسی یادگیری ماشین‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪3‬‬


‫متخصص علومداده‬
Data Scientist
UTPERM.com 4
‫علومداده‬
Data Science is an Math & Statistics
interdisciplinary field about
processes and systems to
extract knowledge or
insights from data, which is Computer Science
a continuation of some of
the data analysis fields such
as statistics, data mining,
and predictive analytics, Subject Matter Expertise
similar to Knowledge
Discovery in
Databases (KDD).

UTPERM.com ‫ محمدرضا محتاط‬- ‫مسیر تبدیل شدن به یک متخصص داده‬ 5


‫چرخه پروژههای علومداده‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪6‬‬


‫مراحل اجرایی پروژههای علمداده‬

‫علم داده عبارت است از استخراج اطالعات و دانش و کشف الگوهای پنهان از پایگاه داده‌های بسیار بزرگ‬
‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪7‬‬
‫مهارتها و ابزارهای کلیدی‬
‫ابزارهای کلیدی‬ ‫مهارتها‬
‫‪❖Python‬‬ ‫➢آمار‌‬
‫‪❖R‬‬ ‫➢برنامه‌نویسی‬
‫‪❖Excel‬‬ ‫➢یادگیری‌ماشین‬
‫‪❖SQL‬‬ ‫➢یادگیری‌عمیق‬
‫)‪❖Data Visualization Tools (Power BI, Tableau‬‬ ‫➢داستان‌سرایی‌داده‌ها‬
‫)‪❖Deep Learning Tools(TensorFlow, Keras, ….‬‬ ‫➢خالقیت‌و‌توانایی‌حل‌مساله‬
‫)…‪❖Big Data Analytics (Spark, Flink ,‬‬ ‫➢کار‌تیمی‬
‫➢تفکر‌انتقادی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪8‬‬


‫مهارتها و ابزارهای کلیدی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪9‬‬


‫تفاوت پایتون و ‪R‬‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪10‬‬


‫برترین کتابخانههای علومداده پایتون‬
TensorFlow PyTorch Numpy
“TensorFlow is an open source software “PyTorch is a Python package that “NumPy is the fundamental package
library for numerical computation using data provides Deep neural networks built on a needed for scientific computing with
flow graphs. tape-based autograd system Python.

Scikit-Learn Keras Scipy


“scikit-learn is a Python module for “Keras is a high-level neural networks API, “SciPy is open-source software for
machine learning built on NumPy, SciPy written in Python and capable of running on mathematics, science, and engineering.
and matplotlib. top of TensorFlow, CNTK, or Theano.

Pandas Matplotlib Scrapy


“pandas is a Python package providing “Matplotlib is a Python 2D plotting “Scrapy is a fast high-level web crawling
fast, flexible, and expressive data library which produces publication- and web scraping framework, used to
structures designed to make working quality figures in a variety of hardcopy crawl websites and extract structured
formats and interactive environments data from their pages.
with "relational" or "labeled" data both across platforms.
easy and intuitive
UTPERM.com ‫ محمدرضا محتاط‬- ‫مسیر تبدیل شدن به یک متخصص داده‬ 11
‫مسیر یادگیری‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪12‬‬


‫منابع آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪13‬‬


‫منابع آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪14‬‬


‫منابع آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪15‬‬


‫منابع آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪16‬‬


‫کتابهای مرجع‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪17‬‬


‫تحلیلگر داده‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪18‬‬


‫مهارتهای تحلیلگر داده‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪19‬‬


‫متخصص هوش تجاری‬
Business Intelligence Expert
UTPERM.com 20
‫هوش تجاری‬
BI encompasses a wide variety of tools,
applications and methodologies that
Business Skills
enable organizations to collect data from
Link to Business Strategy
Define Priorities
internal systems and external sources; Define BI Vision
Lead Organization / BPR
prepare it for analysis; develop and run
queries against that data; and create IT Skills
Infrastructure
reports, dashboards and data Build Technology
Analytics Skills Data Integration & Quality
visualizations to make the analytical Data Mining
Social BI
results available to corporate decision-
makers, as well as operational workers.
UTPERM.com ‫ محمدرضا محتاط‬- ‫مسیر تبدیل شدن به یک متخصص داده‬ 21
‫فازهای پروژههای‬
‫هوش تجاری‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪22‬‬


‫مهارتها و ابزارهای کلیدی‬
‫ابزارهای کلیدی‬ ‫مهارتها‬
‫➢پایگاه‌داده‬
‫‪❖SQL‬‬
‫➢معماری‌انبارداده‌‬
‫)‪❖Microsoft SQL Server BI (SSIS, SSAS, SSRS‬‬ ‫➢استخراج‪‌،‬تبدیل‌و‌بارگذاری‬

‫)‪❖Oracle BI (ODI, OBIEE‬‬ ‫➢تحلیل‌داده‌و‌داده‌کاوی‬


‫➢تحلیل‌کسب‌و‌کار‬
‫)‪❖Data Visualization Tools (Power BI, Tableau‬‬
‫➢استخراج‌شاخص‌های‌کلیدی‌عملکرد‌(‪)KPI‬‬
‫➢گزارش‌دهی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪23‬‬


‫منابع آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪27‬‬


‫منابع آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪28‬‬


‫منابع آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪29‬‬


‫کتابهای مرجع‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪30‬‬


‫مهندسی داده‬
Data Engineering
UTPERM.com 31
‫مهندسی داده‬
Data engineers develop, maintain,
test and evaluate data solutions
within organizations. ... A data
engineer builds large-scale data
Clean and wrangle data
into a usable state
processing systems, is an expert in
data warehousing solutions and
should be able to work with the
latest (NoSQL) database
technologies.

UTPERM.com ‫ محمدرضا محتاط‬- ‫مسیر تبدیل شدن به یک متخصص داده‬ 32


‫تفاوت مهندس داده با متخصص علمداده‬

System Implementation
Data Engineering
Data Pipelines
Programming
Data Scientist

Math & Statistics


Modeling & Advance Analytics
Visualization & Storytelling

UTPERM.com ‫ محمدرضا محتاط‬- ‫مسیر تبدیل شدن به یک متخصص داده‬ 33


‫مهارتها و ابزارهای کلیدی‬
‫ابزارهای کلیدی‬ ‫مهارتها‬

‫‪❖Linux‬‬ ‫➢پایگاه‌داده‬

‫➢پیش‌پردازش‌و‌پاکسازی‌داده‬
‫)‪❖Data Ingestion Tools (Kafka, RabbitMQ, NIFI‬‬
‫➢راه‌اندازی‌دریاچه‌داده‬
‫)‪❖Databases(NoSQL & SQL‬‬
‫➢نگه‌داری‌و‌پشتیبانی‌سیستم‌های‌نرم‌افزاری‬
‫)… ‪❖Programing (Java, Python, Scala,‬‬
‫➢بهینه‌سازی‌سیستم‬

‫‪❖Git‬‬ ‫➢توسعه‌چابک‌‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪34‬‬


‫مهارتها و ابزارهای کلیدی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪35‬‬


‫‪Data Pipeline‬‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪36‬‬


‫پایگاه داده‬
‫غیررابطهای‬
‫(‪)NOSQL‬‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪37‬‬


‫نمونه پروژه عملی مهندسی داده‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪38‬‬


‫دورههای آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪39‬‬


‫کتابهای مرجع‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪40‬‬


‫مهندسی یادگیری ماشین‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪41‬‬


‫متخصص کالن داده‬
Big Data
UTPERM.com 42
‫کالن داده‬
Big data is a term used to
refer to data sets that are Velocity
Real-time
too large or complex for Stream Processing
traditional data-processing
application software to
adequately deal with.
It’s what organizations do Variety
Structured
with the data that matters. Unstructured
Text, Image, Video
Big data can be analyzed
for insights that lead to
better decisions and Volume
strategic business moves. Terabyte
Distribute
Big Table

UTPERM.com ‫ محمدرضا محتاط‬- ‫مسیر تبدیل شدن به یک متخصص داده‬ 43


‫معماری المبدا‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪44‬‬


‫مهارتها و ابزارهای کلیدی‬
‫ابزارهای کلیدی‬ ‫مهارتها‬
‫‪❖Apache Hadoop‬‬ ‫➢توسعه‌سیستم‌مدیریت‌کالن‌داده‬

‫‪❖Apache Spark‬‬ ‫➢مدیریت‌دادگان‌دسته‌ای‌و‌جریانی‬

‫‪❖NoSQL‬‬ ‫➢پردازش‌بالدرنگ‌کالن‌داده‬

‫)… ‪❖Programing (Java, Python, Scala,‬‬ ‫➢پشتیبانی‌سیستم‌‬

‫)‪❖Processing Frameworks (MapReduce Spark, Flink, ...‬‬ ‫➢تحلیل‌کالن‌داده‬

‫‪❖Linux‬‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪45‬‬


‫اکوسیستم هدوپ‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪46‬‬


‫اکوسیستم هدوپ‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪47‬‬


‫پلتفرم پردازشی اسپارک‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪48‬‬


‫دورههای آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪49‬‬


‫دورههای آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪50‬‬


‫دورههای آموزشی‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪51‬‬


‫کتابهای مرجع‬

‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪52‬‬


‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪53‬‬
‫‪UTPERM.com‬‬ ‫مسیر تبدیل شدن به یک متخصص داده ‪ -‬محمدرضا محتاط‬ ‫‪54‬‬

You might also like