Multi-touch Interaction အေၾကာငး့ တစးေစံတစးေစာငး့ အေ်ခခဵ အဆငးံ
itengineer.mm@gmail.com
Contents Introduction Multi-touch Interaction Capacitive Sensing Technology Optical Imaging Technology Multi-touch pad တစးခု ကိုယးတိုငး တညးေဆာကး်ခငး့ Multi-touch ရဲံ တစး်ခာ့ application system မ္ာ့
1. Introduction Touch screens
ေတျ အေၾကာငး့ေ်ပာမယးဆိုရငး HCI (Human Computer Interaction)
နယးပယး အေၾကာငး့ နဲနဲ စေ်ပာသငးံပါတယး။ လူနဲ႔ computer နဲ႔ ဆကးသျယး (interaction)လုပးဖို႔ ပဵုစဵ ၂ မ္ိဳ့ရြိပါတယး။ 1. Direct Manipulation (GUI_ Graphical User Interface) 2. Menu Selection (GUI_ Graphical User Interface) 3. Form-fill in (GUI_ Graphical User Interface) 4. Command Language (CUI_ Command User Interface) 5. Natural Language (NLI_ Natural Language Interaction) အဲဒီထမ ဲ ြာ မြ DM (Direct Manipulation) ဆုိတာ computer အတျငး့ရဲံ object ေတျကို တိုကးရိုကး manipulate လုပးနိုငးတာကိုေ်ပာတာပါ။
ဥပမာ။ icon ေလ့တစးခုကို drag ဆျဲ်ပီ့ folder တစးခုထဲ ထညးံလိုကးတဲံ process ကို move လုပးတယးလို႔ေခၚပါတယး။ အဲဒီ အခါ မူလ icon ရယး၊ ထညးံလိုကးတဲံ folder ရယး အာ့လဵု့ကို ်မငးေနရပါတယး။ အဲဒါေတျအာ့လဵု့ကို object ေတျလို႔ေခၚပါတယး။ ်ပီ့ေတာံ drag ဆျဲေနစဥး ေပၚေနတဲံ icon မြိနးမန ြိ းေလ့ရယး၊ ထညးံလိုကးတဲံ လုပးငနး့စဥး process တစးခုလဵု့ရယးကုိ မ္ကး်မငး ေတျ႔ေနရပါတယး။ အဲဒါကိုေတာံ action လို႔ေခၚပါတယး။ object of interest နဲ႔ action of interest ေပါံေလ။
DM ရဲံ အဓိက principle ၀ခုရြိပါတယး အဲဒါ ေတျက ှ) အဲဒီ object နဲ႔ action ေတျကို ေတာကးေလ္ာကး်မငးေနရမယး။ ဿ) ်ပီ့ေတာံ action ေတျက object ေတျကို ခ္ကး်ခငး့ သကးေရာကးရမယး။ drag ဆျဲ်ပီ့တာနဲ႔ file ေလ့က
folder
ထဲေရာကးသျာ့သလိုမ္ိဳ့ေပါံ။ reverse
လုပးလို႔လဲ ရရမယး။
move
မလုပးခ္ငးေတာံရငး ခ္ကး်ခငး့ Ctrl+z ႏြိပး်ပီ့ reverse (undo) လုပးလို႔ရတာမ္ိဳ့ေပါံ။ ၀) အဓိက ၾကတာတစးခ္ကးကေတာံ command syntax ေတျမပါရဘူ့။ ဒီဟာေတျ်ပညံးဆဵုရငး
direct
manipulation
လုပးတယးလို႔ေခၚပါတယး။
အခုေ်ပာေနတာက
ဒီေခတးမြာ အထူ့အဆနး့မဟုတးေတာံေပမဲံ တစးခ္ိနးကေတာံ အေသအခ္ာေလံလာခဲံရတာေတျပါ။ Touch screen ေတျဟာ DM ရဲံ ေခတးမီ နညး့ပညာေတျ ်ဖစးပါတယး။ Touch screen ထဲမြာမြ Muilti-touch နညး့ပညာက ပို်ပီ့ ဆနး့သစးပါတယး။ အခု ဆကး်ပီ့ Multi-touch interaction screen အေၾကာငး့ ေဆျ့ေႏျ့ ရေအာငးပါ။
2. Multi-touch Interaction Multi-touch တစးကူ
ကို
Interaction
ေ်ပာမယးဆိုရငး
အလျယး နဲ႔
computer
interact လုပးတဲံ အခါ input တစးခုထကးပို်ပီ့ ေပ့လို႔ရတဲံ
နည့းပညာပါ။
ေ်ပာရရငး
လကးႏြစးေခ္ာငး့ (ဒီထကးလဲ မ္ာ့နိုငပ း ါတယး) နဲ႔ ထိ်ပီ့ အလုပးလုပး နိုငးတဲံ နညး့ပညာပါ။ ်ပီ့ေတာံ လကးရဲံ လႉပးရြာ့မႉကိုလဲ sense လုပးနိုငးပါတယး။
ဒါဆို
ဒီလို
အလုပးလုပးနုိငးေအာငး ဘယးလို နညး့ပညာ ေတျသဵု့ထာ့ပါသလဲ။ ခုရြိပါတယး။ Capacitive Sensing Technology နဲ႔ Optical Imaging Technology တို႔ပါ။
အဓိကနညး့လမး့
ဿ
3. Capacitive Sensing Technology ဘယးေနရာကို touch လုပးလဲဆိုတဲံ position ကို sense လုပးဖို႔ capacitive coupling effect ကို အသဵု့်ပဳပါတယး။ screen ကို transparent ်ဖစးတဲံ conductor တစးမ္ိဳ့နဲ႔ coat လုပးထာ့ပါတယး။ လကးဆိုတာ conductor တစးမ္ိဳ့်ဖစးပါတယး။ အဲဒီေတာံ screen ကိုထိလိုကးတဲံ အခါ လကးမြာ electrostatic field အေ်ပာငး့အလဲ ်ဖစးသျာ့ပါတယး။ အဲဒီေ်ပာငး့သျာ့တဲံ field ကို change of capacitance လ္ပးသိုႏႉနး့ ေ်ပာငး့လဲမႉ အေနတဲံတိုငး့တာပါတယး။ တိုငး့်ပီ့်ပီဆိုရငး touch လုပးတဲံ ေနရာကို သကးမြတးဖို႔ နညး့လမး့ကလဲ ဿ နညး့ရြိ်ပနးပါတယး။ 1) Mutual capacitance method (position ကို grid ပဵုစဵ နဲ႔ sense လုပးပါတယး) 2) Self capacitance method (sensing circuit, electrode ေတျကို သဵု့်ပီ့ sense လုပးပါတယး)
Capacitive Sensing Technology ရဲံ အာ့သာခ္ကးမ္ာ့ အလုပးလုပးတာ်မနးတယး။ ဒီ technology က capacitance ကို sense လုပးတာ်ဖစးတဲံ အတျကး အွတးစလို
လ္ပးစစးမကူ့နိုငးတဲံ
non-conductive
ပစၥညး့မ္ိဳ့နဲ႔
screen
ကို
ပျတးတိုကး
သနး႔ရြငး့နိုငးတယး။ အဲသလို ပျတးေနတဲံ အခါ system ကို command input မွငးေတာံဘူ့ေပါံ။ Capacitive Sensing Technology ရဲံ အာ့နညး့ခ္ကးမ္ာ့ ေစ့္ၾကီ့တယး။ capacitance ကို sense လုပးတာ်ဖစးတဲံ အတျကး stylus လိုပစၥညး့ကို သဵု့လို႔မရဘူ့။
အဲဒါေၾကာငးံ
hand
လ္ပးစစးကူ့နိုငးတဲံအရာကိုသာ သဵု့နိုငးတယး။
recognition
မရ်ပနးဘူ့။
လကးညြို့လို
Case Study: iPhone iPhone မြာသဵု့တဲံ technology က Capacitive Sensing Technology ်ဖစးပါတယး။ အဲဒီေတာံ အေပၚမြာေ်ပာထာ့တဲံ အတိုငး့ multiple finger အသဵု့်ပဳနိုငးတယး။ လကးႏြစးေခ္ာငး့ နဲ႔ zoom in, zoom out နဲ႔ rotate လုပးလို႔ရတယး။ iPhone မြာ stylus သဵု့လို႔မရဘူ့။
လကးညိြု့သဵု့ေပမဲံ
အသာ့နဲ႔
ထိရတယး။
လကးသညး့နဲ႔ ထိလမ ို႔ ရဘူ့။ လကးသညး့က လ္ပးစစး စီ့ကူ့မႉ မရြိတဲံအတျကးပါ။
လကးညိြု့နဲံသာ
လကးထိပးေလ့ေတျ
နာနိုငးတဲံ
stylus
မသဵု့နိုငးဘဲ၊
အသဵု့မ္ာ့ရတယး။
်ပသနာရြိတယး။
လကးသာ
်ပီ့ေတာံ
သဵု့လို႔ရတဲံအတျကး
လကးလဵု့ေလ့ေတျ ၾကီ့တဲံ အခါ တိက္မႉ မရြိနိုငးဘူ့။ (Hand Written Recognition) လကးေရ့ကုိ မဖတးနုိငးဘူ့။ screen size
ေသ့တဲံ
အတျကး
လူၾကီ့ေတျ
အတျကး
သိပးံမသငးံေတားလြဘူ့။
4. Optical Imaging Technology လကးနဲံ ထိတဲံအခါ screen ကေန်ပီ့ infrared ray ပ္ဵ႔ႏြဵ႔ထျကးေအာငး စီမဵထာ့ပါတယး။ အလုပးလုပး ပဵုကို ေ်ပာၾကရေအာငးပါ။ display ်ပဖို႔သဵု့တဲံ technology က rare-projection လိ႔ေ ု ခၚပါတယး။ ဒီေနရာမြာ အလ္ဥး့သငးံလို႔ projection ပဵုစဵ နြစးမ္ိဳ့ရြိတာကိုေ်ပာ်ပခ္ငးပါတယး။ front projection ဆိုတာက စာသငးခနး့ေတျမြာ သဵု့သလို projection မ္ိဳ့ပါ။ သူက screen ေရြ႔မြာ projector ရြိပါတယး။ အဲဒီေတာံ လူကျယးေနရငး screen ေပၚမြာ အရိပးထငးပါတယး။ rare projection ဆိုတာကေတာံ screen ေနာကးကေန အရုပးထို့်ပတာပါ။ အဲဒီေတာံ အရိပးထငးစရာ မရြိပါဘူ့။ ဒါေပမဲံ ဆို့တာတစးခုက projector ကို screen ေနာကးမြာ ထာ့တဲံအတျကး ေနရာပိုကုနးပါတယး။ အခု
Optical
Imaging
Technology
မြာလဲ
အရိပးကျယးေနရငး
အလုပးလုပးရတာ
အဆငးမေ်ပပါဘူ့။ ဒါေၾကာငးံ rare projection ကိုသဵု့ပါတယး။ ပဵုမြာၾကညးံပါ။ screen နဲ႔ ကပးလ္ကးမြာ Infra red ray ကိုလႊတးထာ့ပါတယး။ touch လုပးတဲံအခါ အဲဒီ rays ေတျက ပ္ဵ႔ႏြဵ႔ ထျကး်ပီ့ diffuser material ကို်ဖတးကာ screen ရဲံ ေနာကးဘကးကို ေရာကးသျာ့ပါတယး။ အဲဒီ ray ေတျကို IR camera က sense လုပးယူပါတယး။ sense လုပးလို႔ရတဲံ data ေပၚမူတညး်ပီ့ software က position နဲ႔ motion ကိုတျကးပါတယး။ ်ပီ့ေတာံ manipulate လုပးပါတယး။
Optical Imaging Technology ရဲံအာ့သာခ္ကးမ္ာ့ သဵု့ရတာ လျယးကူတယး။ လကးညိြု့သာမက stylus ကိုပါ သဵု့နိုငးတယး။ handwritten ကိုလဲ recognize လုပးနိုငးတယး။ ပဵုဆျဲလို႔ရတယး။ Optical Imaging Technology ရဲံအာ့နညး့ခ္ကးမ္ာ့ ေစ့္အလျနးၾကီ့တယး။ size ကလဲ အေတားၾကီ့တဲံ system ေတျ်ဖစးတာေၾကာငးံ ေနရာတစးကာ သဵု့လုိ႔မရနိုငးဘူ့။ Case Study: Microsoft Surface
Microsoft Surface မြာ အ်ခာ့ပစၥညး့မ္ာ့နဲံ မတူတဲံ စျမး့ေဆာငးရညးေတျရြိတယး။ အဲဒါေတျက
Direct Interaction (DM)
Multi-touch Functionality (More than one finger)
Multi-user Functionality (user ေတျအမ္ာ့ၾကီ့ ွိုငး့သဵု့လို႔ရတယး။ group discussion လိုမ္ိဳ့)
Object Recognition (တစးခ္ိဳ႔ object ေတျကို sense လုပးနိုငးတယး)
Microsoft surface ဟာ သာမနး computer တစးလဵု့ကုိ ပဵုစဵေ်ပာငး့ထာ့တဲံ အတုိငး့ပါပဲ။ screen (1) ကို စာ့ပဲျ ပဵုစဵနဲံလုပးထာ့တယး။ rare projection ရေအာငး ေအာကးကေန projector နဲံ display ်ပတယး။ သဵု့တဲံ projector က Digital Light Processor (DLP) projector ်ဖစးတယး။ table ေအာကးဘကးမြာ projector (4), IR camera (2), computer system (3) စတာေတျပါတယး။ user interaction လုပးတဲံ ဥပမာ တစးခ္ိဳ႔ကိုေ်ပာ်ပခ္ငးပါတယး။ surface system မြာသဵု့တဲံ screen saver တစးခုရြိပါတယး။ Lagoon
ပါ။
Windows
7
မြာလဲ
Microsoft surface
သဵု့လို႔ရတယးလို႔
သိရပါတယး။
ငါ့ေလ့ေတျ နဲ႔ ေရကနုးေလ့ တစးခုပါ။ user က လကးကေလ့နဲ႔ ေရကို ေဆာံလိုံရသလိ ငါ့ေတျကိုလညး့ ေ်ခာကးလြနး႔လို႔ ရပါတယး။ ငါ့ကေလ့ေတျ အနာ့ကိုလာေစခ္ငးရငးေတာံ
screen
ကိုလကးနဲ႔
ထိထာ့ရပါတယး။
ဒီလို
interaction
ေတျလုပးနိုငးပါတယး။ ဒီေနရာမြာ object recognize လုပးနိုငးတဲံအေၾကာငး့လဲ နဲနဲေ်ပာ်ပပါဥိ့မယး။ surface ေပၚမြာ phone တငးထာ့ရငး system က phone မြနး့သိပါတယး။ အဲဒီ phone ထဲက data ေတျကို surface system ကေန တိုကးရိုကး access လုပးနိုငးပါတယး။ ပဵုေတျကို phone
ထဲကေန လြမး့ကူ့ထညးံတာမ္ိဳ့ေပါံ။ Bluetooth စဵနစးနဲံ အလုပးလုပးပါတယး။ chess ထို့တဲံ application
မြာ
user
က
chess
ရုပးေတျ
သဵု့နိုငးပါတယး။
ဒါေပမဲံ
အဲဒီ
chess
ရုပးမ္ာ့ရဲံေအာကးေ်ခမြာ tag လုပးတဲံ marker ေလ့ေတျကပးထာ့ရပါတယး။ ဒါမြမဟုတးရငး RFID tag တစးမ္ိဳ့ရြိပါေသ့တယး။ tag ေလ့ေတျကို system ကဖတး်ပီ့ေတာံ ဘာအရုပးလဲဆိုတာကို သိပါတယး။ လကးမ ၀ွ ရြိတဲံ screen size က ေတားေတားကို အဆငးေ်ပေစပါတယး။ windows ေတျနဲ႔ object ေတျအမ္ာ့ၾကီ့်ပလို႔ရတာေပါံ။ အဲ size ၾကီ့လို႔လဲ portable မ်ဖစးေတာံ ်ပနးပါဘူ့။ ေစ့္ကလဲ $10,000 ေတာငးဆို်ပနးေတာံ သဵု့နိုငးတဲံ organization နဲေန်ပနးပါတယး။ ်ပီ့ေတာံ ေလာေလာဆယး အေနာကးနင ို းငဵ တစးခ္ိဳ႔အတျကးပဲ ေရာငး့ေပ့ပါေသ့တယး။
စာ့ပျဲတစးခုထဲကို
user ၁ ေယာကးွိုငး့သဵု့မယးဆိုရငး privacy ကိစၥကလဲရြိ်ပနးေသ့တယး။ တစးေယာကးခ္ငး့စီ အတျကး personal disk space ကိစၥေတျကိုလဲ စဥး့စာ့ရပါေသ့တယး။ ်ပီ့ေတာံ table ကၾကီ့တဲံ အတျကး တစးဘကးက object ေတျကို လြမး့ touch လုပးတဲံအခါ လကးေမာငး့ နာတဲံ်ပသနာ ကလဲရြိေနပါေသ့တယး။ 5. Multi-touch pad တစးခု ကိုယးတိုငး တညးေဆာကး်ခငး့ ေစ့္အေပါဆဵု့ multi-touch pad တစးခု ကိုယးတိုငး အလျယးတစးကူ ေဆာကးၾကညံန း ိုငးပါတယး။ လိုအပးတဲံ ပစၥညး့ေတျ ကေတာံ
Computer
Webcam
စကၠဴပဵု့တစးလဵု့ (သို႔မဟုတ)း တညးေဆာကးဖို႔ frame တစးခု
စကၠဴ (သို႔မဟုတ)း touch pad လုပးဖုိ႔ semi transparent sheet တစးခုခု
ဖလငး်ပာ့တစးခု
တညးေဆာကး်ခငး့ ဦ့စျာ
ဖလငး်ပာ့ႏြငးံ
စကၠဴကို
tape
်ဖငးံ
ေသသပးစျာ
ကပးပါ။
စကၠဴပဵု့
ေအာကးေ်ခ
အလယးတညးံတညးတ ံ ျငး webcam ကို အေပၚသို႔ ေထာငးကာ တပးဆငးပါ။ ပဵု့ေအာကးေ်ခတျငး အေပါကးေဖါကး၍ webcam ၏ ၾကိဳ့ကိုထုတးထာ့ပါ။ ဖလငးႏြငးံ စကၠဴကို ပဵု့၏ အေပါကးဖကးတျငး tape ႏြငးံ ကပးပါ။ ဖလငး်ပာ့ဖကးကို ကငးမရာဖကးသို႔ (ပဵု့အတျငး့) ေမြာကးကာ စကၠဴကို touch မညးဘ ံ ကးတျငးထာ့ပါ။ ပုိမို ခိုငးခနး႔ သပးရပးေစရနး စကၠဴကို frame ေဘာငးကျပးနိုငးေသ့သညး။ ်ပီ့ေနာကး computer တျငး software သျငး့၍ စမး့သပးနိုငး်ပီ ်ဖစးသညး။ လုပးေဆာငးပဵု အဆငးံဆငးံ ႏြငးံ software download ကို ဒီေနရာမြာ ရြာနိုငးပါသညး။ လုပးေဆာငးပဵု အဆငးံဆငးံကို video ်ဖငးံလညး့်ပထာ့ သ်ဖငးံ အလျယးတစးကူစမး့သပးနိုငးပါသညး။ 6. Multi-touch ရဲံ တစး်ခာ့ application system မ္ာ့ စိတွ း ငးစာ့သူမ္ာ့အေနနဲ႔ Windows 7 မြာလဲ multi-touch interaction ရနိုငးပါတယး။ ်ပီ့ေတာံ ေနာကးဆဵု့
နညး့ပညာ
တစးခု်ဖစးတဲံ
Perceptive
Pixel
နညး့ပညာကိုလဲ
ဒီေနရာမြာ
ေလံလာနိုငးပါတယး။ Origami
လို႔ေခၚတဲံ
ေခါကးတဲံ
system
ေလံလာခ္ငးရငးေတာံ နိုငးပါတယး။
စကၠဴရုပးကေလ့ေတျ တစးခလ ု ဲ
ရြိပါတယး။
ဒီေနရာ
youtube
မြာေလံလာ
မြာလဲ
ေလံလာ
လို႔ရပါတယး။ Augmented Reality ကို multitouch အသဵု့ခ္
interaction
နညး့ပညာ
ထာ့တာ်ဖစးပါတယး။
နဲ႔ေပါငး့စပး Multi-touch
Interaction ရဲံ history အေသ့စိတးကိုေတာံ ဒီေနရာမြာ ေလံလာ နိုငးပါတယး။ ေနာငးဆိုရငးေတာံ multi-touch interaction နည့းပညာမ္ာ့ကို Virtual Reality system ေတျမြာ ပါ အသဵု့မ္ာ့လာေတံာမြာ ်ဖစးပါတယးခငးဗ္ာ။
itengineer.mm@gmail.com