ช่องโหว่ใหม่ในโมเดล AI เสี่ยงทำให้ข้อมูลผู้ใช้รั่วไหล

• Indirect prompt injection ในบริบท Browsing Context ของ ChatGPT โดยใช้วิธีแทรกคำสั่งในส่วนคอมเมนต์ของบล็อก เมื่อผู้ใช้ขอให้ระบบสรุปเนื้อหาจากหน้าดังกล่าว สรุปจะดึงเอาข้อความคอมเมนต์ที่มีคำสั่งอันตรายมาปฏิบัติตาม ผู้โจมตีสามารถแพร่คำสั่งลักษณะนี้ไปยังเว็บไซต์ยอดนิยมจำนวนมากผ่านการสแปมคอมเมนต์ ทำให้ผู้ใช้จำนวนมากเสี่ยงได้รับคำสั่งอันตราย
• 0-click indirect prompt injection ในบริบทการค้นหาโดยใช้เว็บไซต์ที่มีคำสั่งอันตราย ที่ทำให้ผู้โจมตีสามารถแทรกคำสั่งอันตรายได้ โดยที่ผู้ใช้ไม่ต้องคลิกอะไรเลย เพียงแค่ถามคำถาม ผู้โจมตีสร้างเว็บไซต์เฉพาะหัวข้อที่มีคำสั่งซ่อนอยู่ภายใน และออกแบบให้เว็บไซต์นั้นแสดงคำสั่งเฉพาะเมื่อระบบของ ChatGPT หรือเครื่องมือค้นหาของ OpenAI เข้ามาเก็บข้อมูล เมื่อข้อมูลจากเว็บถูกจัด indexed แล้ว ระบบของ ChatGPT จะนำคำสั่งเหล่านั้นมาใช้โดยอัตโนมัติในการสร้างคำตอบให้ผู้ใช้
• Prompt injection vulnerability via 1-click ในฟีเจอร์ของ ChatGPT ที่อนุญาตให้ผู้ใช้ส่งข้อความค้นหาได้ผ่านลิงก์รูปแบบ hxxps://chatgpt[.]com/?q={Prompt} โดยอัตโนมัติ ช่องโหว่นี้ทำให้ผู้โจมตีสามารถฝังคำสั่งอันตรายไว้ในพารามิเตอร์ q และเมื่อเหยื่อเพียงคลิกลิงก์ดังกล่าว ChatGPT จะประมวลผลคำสั่งนั้นทันทีโดยไม่ต้องมีการยืนยันหรือโต้ตอบเพิ่มเติม
• Safety mechanism bypass vulnerability ช่องโหว่ที่ระบบมองว่า bing[.]com เป็นโดเมนที่เชื่อถือได้ทำให้ลิงก์จาก bing[.]com ผ่านการตรวจ url_safe โดยอัตโนมัติ แต่ผลการค้นของ Bing ใช้ลิงก์ติดตามแบบ redirect เช่น bing[.]com/ck/a ที่พาไปยังหน้าเว็บที่ถูก index ไว้ ดังนั้นหน้าเว็บที่ถูก index จะมี URL ของ Bing ที่ชี้ไปหาและจะผ่านการกรองได้ แม้ว่าลิงก์ติดตามเหล่านี้จะไม่สามารถส่งข้อมูลที่เราไม่รู้ล่วงหน้าได้โดยตรง ผู้โจมตีสามารถหลอกการจำกัดนี้ได้โดยการสร้างหน้าแยกตามตัวอักษร แล้วใช้ลิงก์ Bing ของแต่ละหน้าให้เรนเดอร์เรียงกันเป็นชุดเพื่อสกัดข้อมูลทีละตัวอักษร เช่น ประกอบ H, E, L, L, O เป็นคำว่า HELLO ซึ่งชี้ให้เห็นว่าการพึ่งพา whitelist ของโดเมนเพียงอย่างเดียวเป็นช่องโหว่
• Conversation Injection บริบทการสนทนาของ ChatGPT เป็นช่องทางในการส่งคำสั่ง แม้ว่าการฝังคำสั่งในผลการค้นหาผ่านการเลี่ยง url_safe จะทำให้ข้อความอันตรายปรากฏในผลลัพธ์ แต่เพียงแค่ข้อความนั้นในฝั่งค้นหาไม่สามารถเข้าถึงข้อมูลผู้ใช้ได้โดยตรง เทคนิคนี้จะฝังคำสั่งเพิ่มเติมไว้ตอนท้ายของผลการค้นหา เพื่อให้ข้อความนั้นกลายเป็นส่วนหนึ่งของบริบทการสนทนา เมื่อ ChatGPT สร้างคำตอบต่อไปจะอ่านบริบทการสนทนาทั้งหมด เห็นคำสั่งที่ฝังไว้ใน ฝั่งข้อความ และปฏิบัติตามโดยไม่แยกแยะแหล่งที่มาของคำสั่ง
• Malicious content hiding technique หนึ่งในปัญหาของเทคนิค Conversation Injection คือผลลัพธ์จาก SearchGPT จะปรากฏให้ผู้ใช้เห็นอย่างชัดเจน ซึ่งอาจทำให้ผู้ใช้สงสัยว่ามีบางอย่างผิดปกติ มีการค้นพบบั๊กในการแสดงผล Markdown ของเว็บไซต์ ChatGPT ที่สามารถใช้เพื่อซ่อนเนื้อหาที่เป็นอันตรายได้ เมื่อ ChatGPT แสดงผล code block หากมีข้อมูลเพิ่มเติมอยู่บนบรรทัดเดียวกับเครื่องหมายเปิด code block ข้อมูลส่วนนั้นจะ ไม่ถูกแสดงผลบนหน้าจอ

รูปที่ 1: วิธีการซ่อนเนื้อหาอันตรายใน Prompt

• Memory injection technique อีกปัญหาหนึ่งของเทคนิค Conversation Injection คือมันคงอยู่ได้เฉพาะบทสนทนาปัจจุบัน แต่พบว่าในทำนองเดียวกัน SearchGPT สามารถกระตุ้นให้ ChatGPT อัปเดต memories ได้ ทำให้สามารถฝังข้อมูลเพื่อสร้างการส่งออกข้อมูลแบบถาวร ข้อมูลจะถูกดึงออกต่อเนื่องในทุกคำตอบ แม้ข้ามการสนทนา ข้ามวัน หรือแม้ข้อมูลต้นทางจะเปลี่ยนแปลงไปแล้วก็ตาม

รูปที่ 2: วิธีการอัปเดต Memory ของ Chatgpt

ทาง OpenAI ระบุว่าพวกเขาได้ปรับปรุงการทำงานของระบบ safe_url ให้มีความปลอดภัยมากขึ้น และได้เพิ่มระบบ auto-submit protection ที่อ้างอิงจากค่า sec-fetch-site header เพื่อป้องกันไม่ให้มีการส่งคำขออัตโนมัติจากแหล่งที่ไม่น่าเชื่อถือ

ผลกระทบจากการเหตุการณ์

เหตุการณ์นี้ส่งผลกระทบโดยผู้โจมตีสามารถทำให้โมเดลให้ปฏิบัติตามคำสั่งอันตรายโดยอัตโนมัติแม้ผู้ใช้จะไม่คลิกใดๆ ได้ ทำให้เกิดคำสั่งอันตรายต่อระบบ การฝังข้อมูลลงใน memory อาจทำให้ข้อมูลสำคัญถูกดึงออกอย่างต่อเนื่องข้ามการสนทนาจนกลายเป็นการรั่วไหล เว็บไซต์หรือคอมเมนต์ที่ถูกสแปมสามารถกระจายมัลแวร์และคำสั่งฝังตัวไปยังผู้ใช้จำนวนมากได้

คำแนะนำ

• กรองข้อมูลที่มาจากแหล่งภายนอกก่อนนำไปใช้ โดยเฉพาะเนื้อหาที่มาจากเว็บไซต์ คอมเมนต์ หรือผลการค้นหา
• อบรมผู้ใช้งานให้รู้จักเทคนิค prompt injection และความเสี่ยงจากการคลิกลิงก์ที่ไม่รู้แหล่งที่มา
• หลีกเลี่ยงการให้ข้อมูลส่วนตัว เช่น รหัสผ่าน หมายเลขบัตรประชาชน หรือข้อมูลภายในองค์กรในการค้นหา
• จำกัดสิทธิ์ผู้ใช้งานให้อยู่ในหลักการ Principle of Least Privilege
• ตั้งค่า Multi-Factor Authentication สำหรับบัญชีผู้ใช้งานทั้งหมด

แหล่งอ้างอิง

https://www.tenable.com/blog/hackedgpt-novel-ai-vulnerabilities-open-the-door-for-private-data-leakage#here