Introducing Copilot in Microsoft Dynamics 365 Guides, bringing generative AI in mixed reality to frontline workers

ขอแนะนำ Copilot for Microsoft Dynamics 365 Guides ตัวช่วยที่จะทำให้การเข้าถึงข้อมูลที่เกี่ยวข้องได้ง่ายผ่านคำสั่งเสียงและท่าทางของคุณ

เครดิต By Lili Cheng, Corporate Vice President, Business Applications and Platform

ที่ Microsoft Ignite 2023 ได้ประกาศ Copilot ใน Microsoft Dynamics 365 Guides ได้นำเอา AI มาใช้กับ Mixed Reality เพื่อผู้ปฏิบัติงานที่หน้างาน ทำงานที่ซับซ้อนได้สำเร็จ และแก้ไขปัญหาได้เร็วขึ้นโดยรบกวนขั้นตอนการทำงานน้อยลง

Copilot ใน Dynamics 365 Guides สามารถช่วยเหลือผู้ปฏิบัติงานในการตั้งค่าทางอุตสาหกรรมที่ต้องจัดการกับอุปกรณ์และกระบวนการที่ซับซ้อน ช่างเทคนิคใหม่จำเป็นต้องพัฒนาเทคนิคอย่างรวดเร็วไปพร้อมๆ กับการเรียนรู้วิธีใช้งานและซ่อมบำรุงอุปกรณ์นั้น เมื่ออุปกรณ์หยุดทำงาน ผู้ปฏิบัติงานจะต้องดำเนินการอย่างรวดเร็วเพื่อวินิจฉัยปัญหา ดำเนินการแก้ไข และบันทึกงานของตนไว้ แทนที่จะให้พนักงานต้องค้นหาเอกสารดิจิทัลหรือคู่มือกระดาษจำนวนมาก Copilot ช่วยให้พนักงานสามารถขอข้อมูลที่เกี่ยวข้องโดยใช้ภาษาและท่าทางของมนุษย์ เช่น การมองและการชี้ Copilot จะใช้ AI เพื่อค้นหาข้อมูลจากเอกสารทางเทคนิค บันทึกการบริการ เนื้อหาการฝึกอบรม และแหล่งข้อมูลอื่น ๆ ที่ลูกค้าดูแลจัดการ จากนั้น Copilot จะสรุปข้อมูลเพื่อให้ คำแนะนำแบบโต้ตอบผ่านเนื้อหาและแสดงHolograms ที่ซ้อนทับบนอุปกรณ์ในการใช้งานหรือการบำรุงรักษา

Mixed reality ร่วมกับ AI นำเสนออินเทอร์เฟซที่คำนึงถึงมนุษย์เป็นหลักซึ่งสัญญาว่าจะเปลี่ยนแปลงการดำเนินงานในโลกแห่งความเป็นจริง ตอนนี้ Copilot สามารถช่วยเหลือคนงานในอุตสาหกรรมแบบเรียลไทม์ด้วยคำพูดและ holograms.

ความสามารถของ Copilot ในDynamics 365 Guides

นี่คือความสามารถที่เราวางแผนจะปลดล็อคด้วย Copilot ใน Dynamics 365 Guides:

ชี้และขอคำแนะนำ

มนุษย์ได้เรียนรู้และมีปฏิสัมพันธ์กับสภาพแวดล้อมในลักษณะลงมือปฏิบัติจริงอยู่เสมอ โดยตั้งคำถามต่างๆในขณะที่พวกเขาทำงาน. Copilot ใน Dynamics 365 Guides จึงถูกสร้างขึ้นจากการตั้งคำถามต่างๆเพื่อช่วยให้พนักงานเข้าใจโลกรอบตัวได้ดียิ่งขึ้น พนักงานสามารถชี้ไปที่ส่วนประกอบบนอุปกรณ์ และถามคำถามกับ Copilot เช่น “ขีดจำกัดแรงบิดของสลักเกลียวเหล่านี้คือเท่าไหร่” พนักงานใหม่สามารถถามคำถามทั่วไปได้ เช่น “ส่วนประกอบนี้มีหน้าที่อะไร” โดยไม่จำเป็นต้องไปขัดจังหวะเพื่อนร่วมงานที่มีประสบการณ์มากกว่า Copilot รู้ว่าผู้ใช้กำลังชี้ไปที่อะไรและให้คำตอบได้. ?Models 3 มิติและ Spatial maps provide เป็นรากฐานสำหรับเทคโนโลยีในการระบุสิ่งที่ผู้ปฏิบัติงานกำลังดู จากนั้นฉายภาพ Hologramเพื่อแสดงคำแนะนำ พนักงานสามารถถามคำถามที่ซับซ้อนมากขึ้นได้ เช่น “ชิ้นส่วนนี้ควรหันไปทางใด” หรือ “แสดงตำแหน่งโมดูลเซ็นเซอร์บนเครื่องจักรนี้” จากนั้น Copilot จะแสดงholograms เพื่อแสดงตำแหน่งของชิ้นส่วนนั้น

การสร้างเนื้อหาเชิงพื้นที่

Copilot ใน Dynamics 365 Guides เพิ่มคุณค่าที่พร้อมใช้งานได้ทันทีของ Mixed realityโดยลดการลงทุนล่วงหน้าที่จำเป็นในการสร้างเนื้อหาเชิงพื้นที่ลงอย่างมาก Copilot ทำให้การสร้าง การจัดการ และการส่งมอบเนื้อหาMixed reality ง่ายขึ้นโดยใช้แหล่งข้อมูลที่ลูกค้าเป็นผู้กำหนด ช่วยให้บริษัทต่างๆสามารถนำเอา Mixed reality ไปใช้ได้อย่างเร็วขึ้นมาก

ความช่วยเหลือแบบทีละขั้นตอน

ขับเคลื่อนโดย Microsoft Azure OpenAI Service แบบโมเดลภาษาช่วยให้ Copilot ใน Dynamics 365 Guides ทำได้มากกว่าการตอบคำถามแบบครั้งเดียว พนักงานสามารถพูดคุยกันอย่างต่อเนื่องได้ เช่น “ช่วยอธิบายขั้นตอนต่างๆ เพื่อแยกชิ้นส่วนอุปกรณ์นี้” หรือ “ฉันถอดมอเตอร์ออกแล้ว จะต้องทำอะไรต่อไป” Copilot สามารถปฏิบัติตามกระบวนการและทำการสนทนาโดยใช้ฐานความรู้ที่ลูกค้าได้ดูแลและจัดการมา เพื่อระบุคำตอบด้วยคำพูด ข้อความ หรือHolograms 3 มิติ ขจัดความสงสัยในการทำงาน และลดเวลาในการทำงานซ้ำ

ข้อมูลตามความต้องการ

ด้วยการเชื่อมต่อกับเซ็นเซอร์ Internet of Things (IoT) ข้อมูลการปฏิบัติงาน และข้อมูลบันทึกการบริการ Copilot ใน Dynamics 365 Guides สามารถตอบคำถาม เช่น “ระดับความชื้นในปัจจุบันคือเท่าไร” หรือ “ตรวจสอบครั้งล่าสุดเมื่อใด และมีข้อควรระวังอะไรบ้าง” HoloLens 2 ช่วยให้ Copilot สามารถระบุข้อมูลเฉพาะ และเข้าถึงแหล่งข้อมูลที่เกี่ยวข้องแบบReal Time ผู้ปฏิบัติงานที่หน้างานสามารถเข้าถึงข้อมูลที่หลากหลายเพื่อแก้ไขปัญหาหรือซ่อมแซมอุปกรณ์ ด้วยความช่วยเหลือจาก AI ในสภาวะแวดล้อมงานของพวกเขา

ผสมผสานความรู้ของผู้เชี่ยวชาญ

บ่อยครั้งที่มีเพียงพนักงานที่มีประสบการณ์มากกว่าเท่านั้นที่มีความรู้ที่จำเป็นในการทำงานที่ซับซ้อนให้สำเร็จหรือซ่อมแซมอุปกรณ์ชิ้นสำคัญ เมื่อพนักงานคนนั้นไม่ว่างหรือเกษียณอายุไป ความรู้นั้นก็จะสูญหายไป Copilot ใน Dynamics 365 Guides สามารถใช้ประโยชน์จากบันทึกย่อหรือบันทึกการโทรของผู้เชี่ยวชาญคนก่อนหน้านี้ เพื่อนำไปแนะนำพนักงานใหม่ผ่านกระบวนการเดียวกัน ช่วยให้พนักงานเรียนรู้ได้ง่ายและรวดเร็วยิ่งขึ้น และสามารถถ่ายโอนความรู้ภายในโดยอัตโนมัติ ซึ่งจะช่วยเพิ่มประสิทธิภาพการทำงานของพนักงานและความคล่องตัวทางธุรกิจ

ความคล่องตัวของเอกสาร

ผู้ปฏิบัติงานจะสามารถใช้ Copilot ใน Dynamics 365 Field Service Mobile เพื่อเร่งกระบวนการดำเนินการให้เสร็จสิ้นและบันทึกงานของพวกเขา แทนที่จะกรอกเอกสาร พนักงานสามารถบรรยายความคืบหน้าของตนให้ Copilot ทราบด้วยเสียงของพวกเขาได้ Copilot จะให้คำแนะนำเพื่อตรวจสอบงานบริการ เพิ่มบันทึก และอัปเดตปริมาณผลิตภัณฑ์และสถานะได้อย่างมีประสิทธิภาพ

Copilot ใน Dynamics 365 Guides เปลี่ยนโลกแห่งความเป็นจริงให้กลายเป็นการแจ้งเตือนและจุดหลักสำหรับ AI เครื่องมือนี้จะทำให้มนุษย์เป็นศูนย์กลางของผลิตภัณฑ์ โดยจะเปลี่ยนแปลงวิธีที่เทคโนโลยีคอมพิวเตอร์สามารถช่วยให้ผู้ปฏิบัติงานที่หน้างานดำเนินการในโลกแห่งความเป็นจริงได้อย่างถูกต้องและแม่นยำ Copilot ใน Dynamics 365 Guides ถือเป็นAppที่มีศักยภาพและสำคัญสำหรับธุรกิจที่กำลังมองหาประสิทธิภาพและประสิทธิผลที่มากขึ้นในการดำเนินกิจการของพวกคุณ

what’s unity

  1. Unity คืออะไร  

Unity มักเป็นที่รู้จักกันในฐานะของเครื่องมือสร้างเกม (Game Engine) ที่เป็นที่นิยมอย่างมากโปรแกรมหนึ่ง สามารถสร้างเกม 3D และ 2D ได้อย่างมีประสิทธิภาพ รวมทั้งสามารถพัฒนาเกมได้ทั้งในแพลตฟอร์มโทรศัพท์ คอมพิวเตอร์ VR/AR คอนโซล และอื่นๆอีกมากมาย สามารถนำไปต่อยอดพัฒนาเป็นแอพลิเคชันสำหรับงานเฉพาะทางได้ดี (Customized applications)  

  1. รายละเอียด+ความสามารถของแต่ละไลเซนส์ (free, pro, industrial)  

Free   

  • เวอร์ชั่นล่าสุดของ Unity Platform หลัก  
  • ทรัพยากรสำหรับเริ่มใช้และเรียนรู้ Unity  

Pro   

  • เวอร์ชั่นล่าสุดของ Unity Platform  
  • การปรับแต่ง Splash screen  
  • การรายงาน crash และ error เบื้องต้น  
  • การ Publish ไปยัง Game console  
  • คำแนะนำจากที่ปรึกษาที่เป็น Partner  
  • Customer Service  
  • Unity Mars  
  • Havok Physics  
  • Technical support  
  • On-demand training  

Industrial  

  • ความสามารถทุกอย่างของ Unity Pro  
  • Pixyz  
  • Build Server  
  • เข้าถึง Source code   
  • ผู้ให้คำปรึกษาเฉพาะทาง  
  1. แอพลิเคชันที่ Unity จะสร้าง/พัฒนาได้  

ตัวอย่างแอพลิเคชันสำหรับสายงาน Manufacturing เช่น แอพลิเคชันสำหรับงานฝึกประกอบชิ้นส่วนต่าง ๆ (Assembly Training in Industry) แอพลิเคชันสำหรับฝึกอบรมเรื่องความปลอดภัย (Safety Training) แอพลิเคชันสำหรับแสดงข้อมูลการทำงานของเครื่องจักรแบบ Real-time (Data Visualization) แอพลิเคชันสำหรับต่อยอดพัฒนาให้โรงงานเป็น Digital Twin เป็นต้น  

โดย Unity สามารถพัฒนาแอพพลิเคชั่นที่ใช้สำหรับ Device ได้หลากหลาย ผ่าน Build Platform ต่าง ๆดังนี้  

  1. Build Platform และ Device ที่ support (เช่น HL2, Occulus quest, mobile, Web based, windows/mac os)  
  • แพลตฟอร์ม Standalone: macOS, Windows และ Linux  
  • Universal Windows Platform (for HoloLens)  
  • iOS  
  • VisionOS  
  • Android (Including Oculus quest)   
  • WebGL  
  • UWP  
  • Dedicated Server  
  • TvOS  
  1. สเปคคอมที่แนะนำ  

  

  

HoloPatient

เป็นโปรแกรมจำลองสถานการณ์ทางคลินิก ส่วนหนึ่งของโปรแกรม GiG XR เหมาะสำหรับการศึกษาผู้ป่วยเสมือนจริงที่ได้มาตรฐาน เรียนรู้ได้จากทุกที่ทั้งระยะใกล้ และระยะไกล สามารถออกแบบแผนการเรียนรู้เองได้ อีกทั้งยังสามารถแชร์ประสบการณ์เป็นรายบุคคลหรือเป็นกลุ่มได้ ตัวโปรแกรมสามารถปรับสัญญาณชีพผู้ป่วยเพื่อฝึกทำการวิเคราะห์ และสามารถเพิ่ม Label เพื่อระบุส่วนที่สำคัญๆได้

ปัจจุบันตัวโปรแกรมสามารถสร้างสถานการณ์ได้มากถึง 16 สถานการณ์ มีดังนี้

  • แผลไฟไหม้
  • โรคภูมิแพ้
  • ภาวะการกระทบกระเทือนทางจิตใจ
  • โรคเบาหวาน
  • ภาวะการถูกล่วงละเมิดทางเพศ
  • ภาวะหัวใจล้มเหลว
  • โรคหลอดเลือดสมอง
  • โรคหอบหืด
  • โควิด-19
  • ภาวะสมองเสื่อม
  • โรคพาร์กินสัน
  • ภาวะช็อกจากการติดเชื้อ
  • กระดูกสะโพกหัก
  • ภาวะครรภ์เป็นพิษ
  • กล้ามเนื้อหัวใจตาย