ผลัดเปลี่ยนกันในบทสนทนาที่มุ่งเน้นงาน (2023)

เครื่องมือประมวลผลภาษาธรรมชาติ (NLP) ถูกนำมาใช้มากขึ้นเพื่อประเมินความผิดปกติทางความหมายในโรคจิตเภท เทคโนโลยีการรู้จำเสียงอัตโนมัติ (ASR) หากมีประสิทธิภาพเพียงพอ จะช่วยเร่งกระบวนการวิจัย NLP ได้อย่างมาก ในการศึกษานี้ เราประเมินประสิทธิภาพของเครื่องมือ ASR ที่ล้ำสมัยและผลกระทบต่อความแม่นยำในการจำแนกประเภทการวินิจฉัยตามแบบจำลอง NLP เราเปรียบเทียบ ASR กับการถอดเสียงของมนุษย์ในเชิงปริมาณ (Word Error Rate (WER)) และเชิงคุณภาพโดยการวิเคราะห์ประเภทและตำแหน่งข้อผิดพลาด ต่อจากนั้น เราประเมินผลกระทบของ ASR ต่อความแม่นยำในการจำแนกประเภทโดยใช้การวัดความคล้ายคลึงทางความหมาย ตัวแยกประเภทของฟอเรสต์แบบสุ่มสองตัวได้รับการฝึกอบรมด้วยการวัดความคล้ายคลึงกันที่ได้มาจากการถอดความแบบอัตโนมัติและแบบแมนนวล และเปรียบเทียบประสิทธิภาพของพวกเขา เครื่องมือ ASR มีค่าเฉลี่ย WER 30.4% คำสรรพนามและคำที่อยู่ในตำแหน่งท้ายประโยคมีค่า WER สูงสุด ความแม่นยำในการจำแนกประเภทคือ 76.7% (ความไว 70% ความจำเพาะ 86%) โดยใช้การถอดความอัตโนมัติ และ 79.8% (ความไว 75% ความจำเพาะ 86%) สำหรับการถอดความด้วยตนเอง ความแตกต่างของประสิทธิภาพระหว่างรุ่นนั้นไม่มีนัยสำคัญ การค้นพบนี้แสดงให้เห็นว่าการใช้ ASR สำหรับการวิเคราะห์ความหมายนั้นสัมพันธ์กับความแม่นยำในการจำแนกประเภทของโรคจิตเภทที่ลดลงเพียงเล็กน้อย เมื่อเทียบกับการถอดเสียงด้วยตนเอง ดังนั้น การรวมเทคโนโลยี ASR เข้ากับแบบจำลอง NLP เชิงความหมายจึงมีคุณสมบัติเป็นวิธีการที่แข็งแกร่งและมีประสิทธิภาพในการวินิจฉัยโรคจิตเภท

เมื่อปริมาณการสนทนาที่บันทึกไว้เพิ่มขึ้นอย่างต่อเนื่อง ความต้องการการประมวลผลอัตโนมัติก็เช่นกัน ข้อมูลมากมายที่เกินคำบรรยายอาจถูกดึงออกมาจากสัญญาณเสียงพูดซึ่งอาจเป็นประโยชน์ในโดเมนต่างๆ เช่น การรับประกันคุณภาพศูนย์บริการทางโทรศัพท์ โดยเฉพาะอย่างยิ่ง การอธิบายพลวัตของการแลกเปลี่ยนผลัดกันช่วยให้เข้าใจการพัฒนาและผลลัพธ์ของการสนทนาอย่างลึกซึ้งยิ่งขึ้น ในบทความนี้ เราจะตรวจสอบการสร้างเครื่องมือบันทึกการเลี้ยวอัตโนมัติโดยอิงจากการบันทึกการสนทนาทั้งหมด (ในโหมดออฟไลน์) ซึ่งเป็นหัวข้อที่เรายังไม่ได้สำรวจ เราทดลองด้วยวิธีการเรียนรู้ภายใต้การดูแล 2 วิธี โดยใช้โครงข่ายประสาทเทียมที่เกิดซ้ำและฟอเรสต์แบบสุ่ม ในคลังข้อมูลของบทสนทนาที่เน้นงานในภาษาสเปนของอาร์เจนตินาซึ่งมีคำอธิบายประกอบด้วยหมวดหมู่การผลัดเปลี่ยน 12 หมวดตามหลักเกณฑ์มาตรฐาน แบบจำลองของเราบรรลุผลลัพธ์ที่น่าพึงพอใจ โดยมีคะแนน F1 อยู่ระหว่าง 0.7–0.9 สำหรับป้ายกำกับที่พบบ่อยที่สุด (เช่น สวิตช์ที่ราบรื่น แบ็คแชนเนล) แต่ต่ำกว่ามากสำหรับป้ายกำกับที่พบบ่อยน้อยที่สุด (การขัดจังหวะประเภทต่างๆ) ซึ่งจำเป็นต้องมีการวิจัยเพิ่มเติม นอกจากนี้ เรายังประเมินโมเดลที่มีประสิทธิภาพดีที่สุดโดยพิจารณาจากความสามารถทั่วไปในสถานการณ์ที่ความยากเพิ่มขึ้น ซึ่งรวมถึงบทสนทนาในสองภาษาที่แตกต่างกัน (อังกฤษและสโลวัก) สุดท้าย เพื่อแก้ไขปัญหาการขาดแคลนข้อมูลโดยทั่วไป เราจะวิเคราะห์ผลกระทบของการรวมข้อมูลการฝึกอบรมจากองค์กรต่างๆ รวมถึงข้อมูลข้ามภาษาอีกครั้ง

การสนทนาในชีวิตประจำวันมีลักษณะเป็นการสลับผลัดกันของผู้พูดที่ต่อเนื่องกันอย่างรวดเร็ว เราตรวจสอบเวลาปฏิกิริยาของเสียงต่อการหยุดพูดเพื่อให้เข้าใจถึงขีดจำกัดของพฤติกรรมโต้ตอบในการเปลี่ยนบทสนทนา ผู้พูดภาษาดัตช์ 23 คนเตรียมคำตอบ ([ja], 'ใช่') ให้เร็วที่สุดเท่าที่จะเป็นไปได้ในการตอบสนองต่อ (a) การเริ่มต้นของน้ำเสียงที่บริสุทธิ์ซึ่งนำหน้าด้วยจำนวนความเงียบที่แปรผัน และ (b) การชดเชยของ สิ่งเร้าที่คล้ายเสียงพูดหลายชนิดแตกต่างกันตามระยะเวลา ลักษณะฉันทลักษณ์ และอัตราการพูด ปฏิกิริยาต่อการชดเชยสิ่งเร้าที่ไม่มีฉันทลักษณ์สุดท้ายนั้นยาวนานกว่าปฏิกิริยาต่อการกระตุ้นที่เริ่มมีอาการ (โดยเฉลี่ย 283 เทียบกับ 215 มิลลิวินาที) และพบได้ยากต่ำกว่า 200 มิลลิวินาที (3%) เวลาแฝงในการพูดลดลงเนื่องจากสัญญาณฉันทลักษณ์ปรากฏห่างจากจุดสิ้นสุดของการกระตุ้น การลดอัตราการพูดทำให้เกิดผลกระทบ (เช่น การตอบสนองช้าลง) สำหรับสิ่งเร้าที่ไม่มีฉันทลักษณ์ เทียบกับผลอำนวยความสะดวก (เช่น การตอบสนองเร็วขึ้น) เมื่อมีฉันทลักษณ์ชี้นำ การค้นพบนี้ชี้ให้เห็นว่าการเปลี่ยนเทิร์นอย่างราบรื่นที่ใช้เวลาน้อยกว่า 200 มิลลิวินาทีไม่น่าจะเกี่ยวข้องกับปฏิกิริยาต่อความเงียบเมื่อสิ้นสุดเทิร์น แต่สามารถทำได้เมื่อมีตัวชี้นำฉันทลักษณ์ของเทิร์นสุดท้าย

การสื่อสารด้วยอวัจนภาษาเป็นส่วนสำคัญของการสื่อสารของมนุษย์ รวมถึงการผงกหัว การจ้องมอง การมองใกล้ และการวางตัว การวิจัยเมื่อเร็วๆ นี้ระบุรูปแบบเฉพาะของการผงกศีรษะที่เชื่อมโยงกับการสนทนา ได้แก่ การเลียนแบบการเคลื่อนไหวของศีรษะที่ความล่าช้า 600 มิลลิวินาที และการผงกหัวอย่างรวดเร็วเมื่อฟัง ในบทความนี้ เราได้ใช้กฎพฤติกรรมการผงกศีรษะเหล่านี้ในมนุษย์เสมือน และเราได้ทดสอบผลกระทบของพฤติกรรมเหล่านี้ และดูว่าสิ่งเหล่านี้นำไปสู่การเพิ่มความไว้วางใจและความชอบที่มีต่อมนุษย์เสมือนหรือไม่ เราใช้เทคโนโลยี Virtual Reality เพื่อจำลองการสนทนาแบบเห็นหน้ากัน เนื่องจาก VR มอบความดื่มด่ำและการแสดงตนทางสังคมในระดับสูง ซึ่งคล้ายกับการโต้ตอบแบบเห็นหน้ากัน จากนั้นเราได้ทำการศึกษากับผู้เข้าร่วมที่เป็นมนุษย์ โดยที่ผู้เข้าร่วมได้มีส่วนร่วมในการสนทนากับมนุษย์เสมือนสองคน จากนั้นจึงให้คะแนนลักษณะทางสังคมของตัวละครเสมือนจริง และเสร็จสิ้นการประเมินความไว้วางใจโดยนัยของพวกเขาที่มีต่อมนุษย์เสมือน ผลลัพธ์แสดงให้เห็นถึงความชอบและความไว้วางใจในมนุษย์เสมือนจริงมากขึ้น ซึ่งพฤติกรรมการพยักหน้าถูกขับเคลื่อนโดยกฎพฤติกรรมที่เหมือนจริง สิ่งนี้สนับสนุนแบบจำลองทางจิตวิทยาของการพยักหน้าและพัฒนาความสามารถของเราในการสร้างมนุษย์เสมือนที่เหมือนจริง

ความรู้ความเข้าใจ เล่มที่ 136, 2015, หน้า 304-324

การเปลี่ยนผ่านที่ราบรื่นระหว่างผลัดกันในการสนทนาที่เป็นธรรมชาตินั้นบ่งบอกว่าผู้พูดมักจะเริ่มวางแผนการเปล่งเสียงในขณะที่ฟังคู่สนทนาของตน การศึกษาที่นำเสนอนี้ตรวจสอบว่าเป็นกรณีนี้จริงหรือไม่ และถ้าเป็นเช่นนั้น การวางแผนการเปล่งเสียงจะเริ่มขึ้นเมื่อใด มีการเปรียบเทียบสมมติฐานสองข้อ: ผู้พูดเริ่มวางแผนรอบของตนให้เร็วที่สุดเท่าที่จะเป็นไปได้ (ในการทดลองของเราน้อยกว่า 1 วินาทีหลังจากเริ่มถึงตาของคู่สนทนา) หรือว่าพวกเขาทำเมื่อใกล้ถึงจุดสิ้นสุดของตาของคู่สนทนา การเลี้ยวถูกรวมเข้ากับงานแตะนิ้วเพื่อวัดความผันแปรของภาระทางปัญญา เราสันนิษฐานว่าการเริ่มต้นของการวางแผนการพูดนอกเหนือจากการฟังจะมาพร้อมกับประสิทธิภาพการเคาะที่ลดลง ทำการทดลองคำอธิบายภาพสองครั้ง ในการทดลองทั้งสองมีสามเงื่อนไข: (1) การแตะและการพูด ซึ่งผู้เข้าร่วมเคาะรูปแบบที่ซับซ้อนในขณะที่รับช่วงต่อจากผู้พูดที่บันทึกไว้ล่วงหน้า (2) การแตะและการฟัง - ลำโพงที่บันทึกไว้ และ (3) การพูดเท่านั้น ซึ่งผู้เข้าร่วมผลัดกันอยู่ในเงื่อนไขการแตะและการพูด แต่ไม่มีการแตะ การทดลองแตกต่างกันในจำนวนการฝึกกรีดที่ผู้เข้าร่วมได้รับเมื่อเริ่มต้นเซสชัน ในการทดลองที่ 2 การเคลื่อนไหวของดวงตาของผู้เข้าร่วมถูกบันทึกนอกเหนือจากคำพูดและการแตะ การวิเคราะห์ประสิทธิภาพการเคาะของผู้เข้าร่วมและการเคลื่อนไหวของดวงตาแสดงให้เห็นว่าพวกเขาเริ่มต้นการวางแผนการพูดในแง่มุมที่ต้องใช้ความรู้ความเข้าใจเพียงไม่นานก่อนสิ้นสุดรอบของผู้พูดคนก่อนหน้า เรายืนยันว่านี่เป็นกลยุทธ์การวางแผนที่ชาญฉลาด ซึ่งอาจเป็นค่าเริ่มต้นของผู้พูดในสถานการณ์ต่างๆ ในชีวิตประจำวัน

Journal of Pragmatics เล่มที่ 65, 2014, หน้า 121-136

บทความนี้จะตรวจสอบปรากฏการณ์ที่เกิดซ้ำในการโต้ตอบด้วยภาษามือ: การค้างของป้ายที่เรียกว่า 'พัก' ในตำแหน่งเทิร์นสุดท้าย ปรากฏการณ์นี้ได้รับการอธิบายตามประเพณีว่าเป็นลักษณะฉันทลักษณ์ที่ก่อให้เกิดจังหวะของการพูดคุยที่ลงนามและเพื่อกำหนดขอบเขตของวากยสัมพันธ์ ดังนั้นจึงไม่ได้เพิ่มเนื้อหาเชิงประพจน์ใดๆ ด้วยตัวเอง อย่างไรก็ตาม การสังเกตโดยละเอียดของการระงับเหล่านี้ในข้อมูลการสนทนาที่เกิดขึ้นตามธรรมชาติ ทำให้เกิดคำถามต่อไปนี้: อะไรคือความเกี่ยวข้องของการระงับดังกล่าวในการจัดการการรับเทิร์น พวกเขาบรรลุผลสำเร็จในกิจกรรมทางสังคมที่มีความหมายอะไร จากการบันทึกวิดีโอ 90 นาทีของการโต้ตอบภาษามือสวิสเยอรมัน (DSGS) ภายในการตั้งค่าสถาบัน เราทำการวิเคราะห์ลำดับย่อยและหลายรูปแบบซึ่งให้ผลลัพธ์ดังต่อไปนี้ (1) การพักในเทิร์นสุดท้ายเกิดขึ้นซ้ำๆ ในเทิร์นที่กำหนดการดำเนินการที่ชัดเจน (เช่น คำถาม), (2) เป็นการรวมเอาความคาดหวังของผู้พูดปัจจุบันเกี่ยวกับการกระทำครั้งต่อไป; และด้วยเหตุนี้ (3) การเปิดตัวจึงได้รับการปรับอย่างละเอียดเพื่อให้เป็นที่จดจำของการดำเนินการถัดไปที่เกี่ยวข้องและคาดว่าจะดำเนินอยู่

Journal of Pragmatics เล่มที่ 70, 2014, หน้า 152-164

คำตอบสั้น ๆ ของผู้รับเช่นเอ่อฮะ,โอ้, และว้าวซึ่งเรียกว่าช่องทางด้านหลังโดยทั่วไปถือว่าเป็นปรากฏการณ์เชิงโต้ตอบ ซึ่งเป็นอุปกรณ์ที่ตอบสนองต่อสิ่งที่เพิ่งพูดไปในรูปแบบต่างๆ ผู้รับสาร ในการจัดหา backchannel ให้กำหนดรูปแบบการเล่าเรื่องอย่างแข็งขันในบทสนทนาที่เกิดขึ้นเอง (บาเวลา และคณะ, 2543). เราเปรียบเทียบแบ็คแชนเนลทั่วไปกับแบ็คแชนเนลเฉพาะที่คำนึงถึงบริบทภายในกลุ่มของการสนทนาแบบเห็นหน้ากันและในการทดลองการเล่าเรื่องให้สมบูรณ์ การวิเคราะห์แสดงให้เห็นว่านักเล่าเรื่องตอบสนองในรูปแบบที่แตกต่างกันสำหรับช่องทางสนับสนุนสองประเภท หลังจาก backchannels ทั่วไป พวกเขาให้เหตุการณ์ใหม่เกี่ยวกับวาทกรรม หลังจาก backchannels เฉพาะ พวกเขาให้ข้อมูลโดยละเอียดเกี่ยวกับเหตุการณ์ที่นำเสนอก่อนหน้านี้ ผลลัพธ์จากการทดลองสนับสนุนการวิเคราะห์นี้ ซึ่งบ่งชี้ว่าผู้คนที่อ่านข้อความถอดเสียงของการสนทนาทำนายรูปแบบความต่อเนื่องของเรื่องราวที่คล้ายคลึงกันตามช่องทางเบื้องหลังทั่วไปและเฉพาะเจาะจง เราสรุปได้ว่าการตอบสนองของผู้รับไม่ได้เป็นเพียงการตอบสนองเท่านั้น แต่ยังเป็นเชิงรุกและร่วมมือกันในการสร้างเรื่องราว

Computer Speech & Language, Volume 37, 2016, หน้า 82-97

Journal of Pragmatics เล่มที่ 162, 2020, หน้า 62-83

ลักษณะพื้นฐานประการหนึ่งของปฏิสัมพันธ์ของมนุษย์อยู่ที่การประสานสัมพันธ์ทางโลกที่แน่นแฟ้น กล่าวคือ คู่สนทนาจัดการเพื่อให้เกิดการเปลี่ยนเลี้ยวที่ราบรื่น และทำให้ช่องว่างและการเหลื่อมกันลดน้อยลง เพื่อให้การแลกเปลี่ยนผลัดกันพูดอย่างรวดเร็วนี้บรรลุผลสำเร็จ คู่สนทนาไม่เพียงต้องรับรู้ แต่ยังคาดการณ์ถึงการสิ้นสุดของเทิร์นของผู้พูดคนปัจจุบันด้วย การศึกษานี้มีวัตถุประสงค์เพื่อสนับสนุนทฤษฎีของเครื่องจักรการเลี้ยวโดยการวิเคราะห์พฤติกรรมการจ้องมองของผู้เข้าร่วมที่ไม่ได้ระบุที่อยู่ในระหว่างลำดับการตอบคำถามในการโต้ตอบภาษามือเฟลมิช เราจำลองงานของ Holler และ Kendrick (2015) เกี่ยวกับการสนทนาภาษาอังกฤษโดยมีวัตถุประสงค์เพื่อตรวจสอบผลกระทบที่อาจเกิดขึ้นในการประมวลผลเทิร์นออนไลน์ ผลลัพธ์แสดงให้เห็นว่าผู้เข้าร่วมที่ไม่ได้ระบุที่อยู่ในการโต้ตอบด้วยภาษามือเฟลมิชมีแนวโน้มที่จะติดตามผู้พูดคนปัจจุบันได้อย่างน่าเชื่อถือมากกว่าผู้เข้าร่วมที่ไม่ได้ระบุที่อยู่ในการโต้ตอบด้วยภาษามือแบบเฟลมิช อย่างไรก็ตาม การวิเคราะห์ช่วงเวลาของการจ้องมองเปลี่ยนไป แสดงให้เห็นความคล้ายคลึงกันอย่างน่าทึ่งกับ Holler and Kendrick (2015) ดังนั้น ดูเหมือนว่าผู้เข้าร่วมที่ไม่ได้พูดโต้ตอบทั้งภาษาอังกฤษและภาษามือเฟลมิชจะมุ่งสู่การทำให้สำเร็จโดยวางแผนการจ้องมองของพวกเขาเพื่อตอบสนองต่อสัญญาณสุดท้าย เนื่องจากทั้งจุดสิ้นสุดของเทิร์นและความสำเร็จในครั้งแรกที่เป็นไปได้ถูกกำหนดโดยจังหวะของสัญญาณสุดท้าย การค้นพบของเราจึงสนับสนุนแนวคิดของขอบเขตจังหวะต่อจังหวะในการโต้ตอบที่ลงนาม

การสื่อสารด้วยคำพูด เล่มที่ 65, 2014, หน้า 50-66

ในบทความนี้ เรานำเสนอการศึกษาที่หุ่นยนต์สอนมนุษย์เกี่ยวกับวิธีการวาดเส้นทางบนแผนที่ มนุษย์และหุ่นยนต์จะนั่งหันหน้าเข้าหากันโดยมีแผนที่วางอยู่บนโต๊ะระหว่างกัน การจ้องมองของผู้ใช้และหุ่นยนต์สามารถทำหน้าที่หลายอย่างพร้อมกันได้: เป็นตัวชี้นำความสนใจร่วมกัน การผลัดเปลี่ยน ระดับความเข้าใจ และความก้าวหน้าของงาน เราได้เปรียบเทียบการตั้งค่าแบบเห็นหน้ากันนี้กับการตั้งค่าที่หุ่นยนต์ใช้พฤติกรรมการจ้องมองแบบสุ่ม เช่นเดียวกับการตั้งค่าเสียงอย่างเดียวที่หุ่นยนต์ซ่อนอยู่หลังกระดานกระดาษ นอกจากนี้ เรายังได้ปรับเปลี่ยนสัญญาณการเลี้ยว เช่น ความสมบูรณ์และการหยุดชั่วคราวในการพูดของหุ่นยนต์ โดยการวิเคราะห์การให้คะแนนตามอัตวิสัยของผู้เข้าร่วม การทำงานให้เสร็จ การตอบสนองด้วยวาจา พฤติกรรมการจ้องมอง และกิจกรรมการวาดภาพ เราแสดงให้เห็นว่าผู้ใช้ได้รับประโยชน์จากการจ้องมองของหุ่นยนต์เมื่อพูดถึงจุดสังเกต และพฤติกรรมการใช้คำพูดและการจ้องมองของหุ่นยนต์มีผลอย่างมากต่อ พฤติกรรมการเลี้ยวของผู้ใช้ นอกจากนี้ เรายังนำเสนอการวิเคราะห์การจ้องมองของผู้ใช้และการรับรู้ความคิดเห็นตามคำศัพท์และฉันทลักษณ์หลังจากคำสั่งของหุ่นยนต์ และแสดงให้เห็นว่าสัญญาณเหล่านี้เปิดเผยว่าผู้ใช้ยังไม่ได้ดำเนินการตามคำสั่งก่อนหน้าหรือไม่ ตลอดจนระดับความไม่แน่นอนของผู้ใช้