【 13736 】module 08 หลักการทำงานพื้นฐานและการวิเคราะห์บิกดาตา (หน่วยที่ 11)

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

Module 08

หลักการทํางานพื้ นฐาน การวิเคราะห์บิกดาตา ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด สาขาวิ ช าวิ ท ยาศาสตร์ แ ละเทคโนโลยี มหาวิ ท ยาลั ย สุ โ ขทั ย ธรรมาธิ ร าช

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

1

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

หลักการทํางาน

บิกดาตา

ข้อมูลทางธุรกิจ เอกสารและอีเมล Hadoop เว็บล็อก เครือข่ายสังคม

แอปพลิเคชัน Repository

บีไอ

ข้อมูลเครื่องจักร

การวิเคราะห์บิกดาตา

ข้อมูลเซ็นเซอร์ ข้อมูลพิ กัดแผนที่

การบริหารจัดการบิกดาตา

แหล่งข้อมูล

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

2

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

กระบวนการจัดการบิกดาตา จัดเก็บข้อมูล ประมวลผลข้อมูล เข้าถึงข้อมูล จัดการข้อมูล

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

3

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

แฟ้มข้อมูล

กระจายฮาดูป

เอช เอฟ H D F S ระบบจัดเก็บข้อมูลขนาดใหญ่ ทํางานอยู่บนฮาดูป

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

HDFS)

4

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

แฟ้มข้อมูล ข้อมูล 1 ข้อมูล 2

ข้อมูลใหญ่

ข้อมูล 3 ข้อมูล N

กระจายฮาดูป HDFS

HDFS

HDFS

HDFS

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

คอมพิ วเตอร์ 1 คอมพิ วเตอร์ 2 คอมพิ วเตอร์ 3 คอมพิ วเตอร์ N

5

่ ง เครือ เซิร์ฟเวอร์ หลัก

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

องค์ประกอบ แฟ้มข้อมูล กระจายฮาดูป ชื่อ

(Name Node)

ข้อมูล

(Data Node)

ชื่อรอง

(Secondary Name Node)

ติดตามงาน

(Job Tracker)

ติดตามภาระงาน

(Task Tracker) 13736 การจั ด การความรู้ แ ละบิ ก ดาตา

6

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

แมปรีดิวซ์

MapReduce -1

ฮาดูปแมปรีดิวซ์

Hadoop MapReduce ü เป็นเทคนิค วิธีการเขียนโปรแกรม

ü เพื่ อประมวลผลข้อมูลใหญ่ ü ทํางานบนระบบฮาดูป คลัสเตอร์ (cluster)

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

7

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

คลัสเตอร์ (cluster)

เป็นการจัดกลุ่มเครื่องคอมพิ วเตอร์

เชื่อมต่อระบบการทํางาน นําข้อมูลขนาดใหญ่มาทําการแบ่งแยกข้อมูล กระจายข้อมูลขนาดเล็กที่ได้ ไปประมวลผล

ให้เสร็จในเวลาอันรวดเร็ว 13736 การจั ด การความรู้ แ ละบิ ก ดาตา

8

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

แมปรีดิวซ์

MapReduce -2 แมป 1 แมป 2

ข้อมูลเข้า

รีดิวซ์ 1 ผลลัพธ์

แมป 3 รีดิวซ์ N แมป N

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

9

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

ตัวอย่าง แมปรีดิวซ์

โปรแกรมนับคํา

An STOU education is affordable An STOU education provides freedom

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

10

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

ข้อดี

แมปรีดิวซ์

เขียนโปรแกรมได้ง่าย อยู่บนฮาดูปคลัสเตอร์ ปลอดภัยสูง โอเพนซอร์ส ü ประมวลผลได้หลากหลาย เสถียรภาพสูง

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

11

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

การวิเคราะห์บิกดาตา ü กระบวนการวิเคราะห์ข้อมูลขนาดใหญ่ ü ข้อมูลมีความหลากหลายรูปแบบ ü ข้อมูลมีการเพิ่ มขนาดอย่างต่อเนื่อง ü การค้นหารูปแบบความสัมพั นธ์ ที่เชื่อมโยงข้อมูลเหล่านั้น ทํานายแนวโน้ม ü การค้นหาความต้องการที่แท้จริง จากพฤติกรรมของข้อมูล ü การค้นหาข้อมูลอื่น ๆ ที่เป็นประโยชน์ 13736 การจั ด การความรู้ แ ละบิ ก ดาตา

12

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

การวิเคราะห์บิกดาตา ผลที่ได้จากการวิเคราะห์ข้อมูล ทําแผนการตลาดที่มีประสิทธิภาพ พั ฒนาศักยภาพขององค์กร สร้างความได้เปรียบทางธุรกิจ ตอบสนองต่อการบริการที่ดีมากขึ้น ปรับปรุงการดําเนินงานขององค์กร

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

13

เครื่องมือวิเคราะห์บิกดาตา

https://littlefield.co/an-introduction-into-data-mining-in-bioinformatics-964511e9ea21

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

การวิเคราะห์ข้อมูลขนาดใหญ่ Walmart

พายุเฮอร์ริเคนแซนดี้ ถล่มสหรัฐอเมริกา

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

15

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

การวิเคราะห์บิกดาตา มาฮาวท์

อาปาเชมาฮาวท์

ü ทําหน้าที่จัดการกับข้อมูลที่มีปริมาณมาก เพื่ อทําการวิเคราะห์ข้อมูลเชิงทํานายผล Surabhi Dwivedi

การเรียนรู้จากประสบการณ์ของข้อมูล ข้อมูลจากอดีตมาทําการวิเคราะห์ ทํานายพฤติกรรม ในอนาคต ü ช่วยในการตัดสินใจในทางธุรกิจ 13736 การจั ด การความรู้ แ ละบิ ก ดาตา

16

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

การวิเคราะห์บิกดาตา มาฮาวท์

อาปาเชมาฮาวท์

ü ประกอบไปด้วยหลายเทคนิค • หลักสถิติ • การเรียนรู้ของเครื่อง • การทําเหมืองข้อมูลในทางธุรกิจนั้น

Surabhi Dwivedi

ü การวิเคราะห์ข้อมูลเชิงทํานาย เป็นการสร้างโมเดล จากข้อมูลในอดีต ความเสี่ยง เพื่ อหาโอกาส

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

17

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

การประยุกต์จัดหมวดหมู่หนังสือในห้องสมุด อาปาเชมาฮาวท์

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

18

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

การวิเคราะห์บิกดาตา

พาวเวอร์บีไอ (Power BI) พาวเวอร์บีไอ เครื่องมือในการวิเคราะห์ข้อมูลธุรกิจ

โดดเด่นในการสร้างรายงาน ü สร้างรายงานแบบมุมมอง 360 องศา ประกอบการตัดสินใจแบบรวมศูนย์ หลาย ๆ รูปแบบ ü เห็นข้อมูลจากการวิเคราะห์ ü เลือกดูข้อมูลในมุมที่ต้องการ ü อัปเดตข้อมูลแบบเรียลไทม์ ü แสดงผลได้จากหลายอุปกรณ์ powerbi.microsoft.com

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

19

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

การแสดงข้อมูลVisualization พาวเวอร์บีไอ (Power BI)

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

20

Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด

ขอขอบคุณ นักศึกษา ข้อสงสัย

สอบถาม

walisa.rom@stou.ac.th

ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด สาขาวิ ช าวิ ท ยาศาสตร์ แ ละเทคโนโลยี มหาวิ ท ยาลั ย สุ โ ขทั ย ธรรมาธิ ร าช

13736 การจั ด การความรู้ แ ละบิ ก ดาตา

21