Module 06 ▶ แนวคิดทั่วไปเกี่ยวกับบิกดาตา อาจารย์ผู้สอน ▶ รองศาสตราจารย์ สํารวย กมลายุตต์
Module 06
แนวคิดทั่วไปเกี่ยวกับบิกดาตา รองศาสตราจารย์ สํารวย กมลายุตต์ สาขาวิ ช าศิ ล ปศาสตร์ มหาวิ ท ยาลั ย สุ โ ขทั ย ธรรมาธิ ร าช
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
1
Module 06 ▶ แนวคิดทั่วไปเกี่ยวกับบิกดาตา อาจารย์ผู้สอน ▶ รองศาสตราจารย์ สํารวย กมลายุตต์
ในภาพรวมโมดูลนี้
จะกล่าวถึง . . .
ü ความเป็นมา ความหมาย คุณลักษณะสําคัญ แหล่งที่มา ü ประเภท ü ปัจจัยที่ทําให้เกิด ü สถาปัตยกรรม ü วัฏจักรการวิเคราะห์ ü รูปแบบการประมวลผล
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
2
ความเป็นมา
บิกดาตา
ปี ค.ศ.
เหตุการณ์สําคัญ
1944
หนังสือห้องสมุด มหาวิทยาลัยเยล เพิ่ มอย่างรวดเร็ว
1949
ห้องสมุดรัฐสภา แหล่งข้อมูลขนาดใหญ่ที่สุด
1961
กฎการเพิ่ มแบบเอ็กซ์โพเน็นเชียล (Exponential models)
1971
หนังสือการโจมตีความเป็นส่วนตัว
1996
การจัดเก็บข้อมูลดิจิทัลถูกกว่าการพิ มพ์ ลงกระดาษ
1997
คําว่า บิกดาตา (Big data) ถูกนํามาใช้เป็นครั้งแรก
1998
ฐานข้อมูลใน SQL (Structured Query Language)
1999
โลกผลิตสารสนเทศ 1.5 เอ็กซาไบต์ (Exabyte)
2001
คุณสมบัติบิกดาตา 3Vs (Volume, Variety and Velocity)
2005
พั ฒนาฮาดูป (Apache™ Hadoop®)
2008
คนอเมริกันบริโภคข้อมูลปริมาณมาก
2011
ผลวิจัยพบว่าฮาดูปสามารถจัดการข้อมูลขนาดใหญ่ได้ดี
2012
อาชีพใหม่ของแวดวง IT (Information Technology) เป็นที่ต้องการ คือ Data Scientist
Module 06 ▶ แนวคิดทั่วไปเกี่ยวกับบิกดาตา อาจารย์ผู้สอน ▶ รองศาสตราจารย์ สํารวย กมลายุตต์
ยุค
การจัดการข้อมูล
ปลายทศวรรษที่ 1960 ยุคที่ 1 การสร้าง ช่วงทศวรรษที่
จัดการข้อมูลที่มีโครงสร้าง
1990
ยุคที่ 2 เว็บ
การจัดการเนื้อหา
ปลายทศวรรษที่ 1990 ยุคที่ 3 การจัดการบิกดาตา 13736 การจั ด การความรู้ แ ละบิ ก ดาตา
4
Module 06 ▶ แนวคิดทั่วไปเกี่ยวกับบิกดาตา อาจารย์ผู้สอน ▶ รองศาสตราจารย์ สํารวย กมลายุตต์
คุณลักษณะสําคัญ 1) 2) 3) 4)
บิกดาตา
Velocity Volume Variety Veracity
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
5
Module 06 ▶ แนวคิดทั่วไปเกี่ยวกับบิกดาตา อาจารย์ผู้สอน ▶ รองศาสตราจารย์ สํารวย กมลายุตต์
ประเภท
ข้อมูลบิกดาตา
1) Structured data 2) Unstructured data 3) Semi-structured data
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
6
ข้อมูลทรานแซกชัน (Transaction)
แหล่งที่มา ข้อมูล ขนาดใหญ่
ü การฝากถอนเงิน ü การชําระค่าสาธารณูปโภค ü การใช้โทรศัพท์
ข้อมูลบนเว็บ (Web) และสื่อสังคม (Social Media) ü ü ü ü
เฟซบุก (Facebook) คลิกสตรีม (Click Stream) เว็บ (Web) ทวิตเตอร์ (Twitter)
่ สังคม) ข้อมูลที่มนุษย์สร้าง (ไม่ได้อยู่บนเว็บและสือ ü อีเมล ü การบันทึกเสียงของ Call Center ü บันทึกอาการโรค
ข้อมูลระหว่างเครื่องจักรกับเครื่องจักร ü ü ü ü
สัญญาณ GPS เครื่องอ่านสัญญาณ RFID เครื่องเซ็นเซอร์ขุดเจาะนํ้ามัน เครื่องเซ็นเวอร์วัดความดันนํ้า
ข้อมูลทางชีวภาพ (Biomatrix) ü ü ü ü
การรู้จําเสียง ใบหน้า ลายนิ้วมือ ม่านตา
Module 06 ▶ แนวคิดทั่วไปเกี่ยวกับบิกดาตา อาจารย์ผู้สอน ▶ รองศาสตราจารย์ สํารวย กมลายุตต์
ปัจจัย
เกิดบิกดาตา
ü การประมวลผล สมบูรณ์แบบ ข้อมูลปริมาณมหาศาล ü การผสมผสาน เทคโนโลยี เกิดแบบจําลองใหม่ ü ภาครัฐเป็นตัวเร่ง
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
8
สถาปัตยกรรม
บิกดาตา
ที่มา Big Data Application Architecture Q&A, AProblem-Solution Approach,By Nitin Sawant and Himanshu Shah, p.2, n.d.
Module 06 ▶ แนวคิดทั่วไปเกี่ยวกับบิกดาตา อาจารย์ผู้สอน ▶ รองศาสตราจารย์ สํารวย กมลายุตต์
วัฏจักรการวิเคราะห์บิกดาตา ü กระบวนการ ที่องค์กรใช้ในการดําเนินการ วิเคราะห์ข้อมูลขนาดใหญ่ ให้ได้มาซึ่งสารสนเทศ เคยทราบมาก่อน
บิกดาตา ความรู้ที่องค์กรไม่
สามารถนําไปใช้ประโยชน์ต่อองค์กร • • • •
การวางแผน การกําหนดนโยบาย การบริหารจัดการ การตัดสินใจในการดําเนินงาน
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
10
วัฏจักรการวิเคราะห์บิกดาตา Stage 1
Business Case Evalution
Stage 6
Data Aggregation
Stage 2
Data Identification Stage 3
Data Acquisition & Filtering Stage 4
Data Extraction Stage 5
Data Validation & Cleansing
& Representation Stage 7
Data Analysis Stage 8
Data Visualization Stage 9
Utilization
of Analysis Results ที่ ม า : Big Data Fundamentals: Concepts, Drivers & Techniques โดย Thomas Erl, Wajid Khattak, Paul Buhler, p.58, 2016.
Module 06 ▶ แนวคิดทั่วไปเกี่ยวกับบิกดาตา อาจารย์ผู้สอน ▶ รองศาสตราจารย์ สํารวย กมลายุตต์
รูปแบบการประมวลผลบิกดาตา 1) แบบแบทช์ 2) แบบเรียลไทม์ 3) แบบผสมผสาน
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
12
การประมวลผลแบบแบทช์
การประมวลผลแบบเรียลไทม์
ที่มา : Real-time stream processing for Big Data By Wolfram Wingerath, et al.– Information Technology 2016; 58(4): 186
การประมวลผลแบบผสมผสาน
Module 06 ▶ แนวคิดทั่วไปเกี่ยวกับบิกดาตา อาจารย์ผู้สอน ▶ รองศาสตราจารย์ สํารวย กมลายุตต์
Module 06
แนวคิดทั่วไปเกี่ยวกับบิกดาตา รองศาสตราจารย์ สํารวย กมลายุตต์ สาขาวิ ช าศิ ล ปศาสตร์ มหาวิ ท ยาลั ย สุ โ ขทั ย ธรรมาธิ ร าช
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
16