ก่อนหน้านี้ฉันได้เขียนโพสต์ไว้ว่าสิ่งที่นักการตลาดควรรู้ (เป็นอย่างน้อย) หนึ่งก็คือวิธีการทางสถิติพื้นฐานเพื่อทำการทดสอบ A/B อย่างเหมาะสม(one basic statistical method to properly perform A/B testing) และหวังว่าหากคุณมีความรู้เพียงพอ คุณจะเลิกปล่อยให้ความวิตกกังวลทางสถิติเป็นอุปสรรคต่ออาชีพการตลาดของคุณ(stop letting statistics anxiety hold you back your marketing career) และหันมาทำการทดสอบที่ท้าทายมากขึ้นอีกเล็กน้อยด้วย การทดสอบ A/B/C
การทดสอบ A/B/C คืออะไร?
การทดสอบ A/B/C ก็เหมือนกับการทดสอบ A/B เป็นรูปแบบหนึ่งของการทดสอบที่มีการควบคุม ในกรณีของ A/B/C คุณกำลังทดสอบมากกว่าสองเวอร์ชัน (ด้วยเหตุนี้จึงเพิ่ม “C” ลงใน A/B) ของตัวแปร (หน้าเว็บ องค์ประกอบของหน้าเพจ, อีเมล ฯลฯ) ข้อมูลนี้สามารถใช้เพื่อเปรียบเทียบเวอร์ชัน 3 รายการขึ้นไปเพื่อพิจารณาว่าเวอร์ชันใดทำงานได้ดีกว่า เช่น การส่งอีเมลหลายฉบับเพื่อดูว่าเวอร์ชันใดสร้างการมีส่วนร่วมมากกว่า หรือใช้โฆษณาที่แตกต่างกันเพื่อวัดอัตราการคลิก กรณีการใช้งานทั่วไปประการหนึ่งคือการทดสอบกับมาตรฐานหรือกลุ่มควบคุมกับตัวแปรหลายตัว ตัวอย่างเช่น การทดสอบหน้าเว็บปัจจุบันกับการออกแบบหน้าเว็บทางเลือกสองแบบเพื่อดูว่าการออกแบบใดที่กระตุ้นให้เกิดการตอบรับ(Conversion)ได้มากกว่า แบบเดิมหรือแบบทดสอบสองแบบใหม่ที่นำมาทดลอง
ดังที่เราได้เขียนไว้ก่อนหน้านี้ มีการทดสอบต่างๆ มากมายที่คุณสามารถดำเนินการได้ รวมถึงเครื่องมือที่ทดสอบส่วนประกอบหลายรายการในเวลาเดียวกัน วันนี้เราจะดูการทดสอบ A/B/C แบบง่ายๆ โดยเปรียบเทียบ 3 เวอร์ชันจากการวัดครั้งเดียว โดยอาจเป็นอัตราการเปิดหรืออัตราการคลิกผ่านในอีเมล โฆษณา หรือหน้าเว็บ
เรียนรู้เพิ่มเติมเกี่ยวกับ classification และ regression trees – เครื่องมือที่มีประสิทธิภาพในการแก้ปัญหาการวิเคราะห์เชิงคาดการณ์(predictive analytics)
แนะนำ BINARY LOGISTIC REGRESSION
Binary logistic regression analysis ใช้เพื่ออธิบายความสัมพันธ์ระหว่างชุดข้อมูลตัวแปรทำนายและตัวแปรตอบสนองแบบไบนารี คำตอบแบบไบนารี่จะมีผลลัพธ์ 2 แบบ เช่น ผ่านหรือไม่ผ่าน ในด้านการตลาด หรือจะแปลงเป็นการคลิก การเปิด หรือการตอบรับ แต่ถ้าคุณเปรียบเทียบสองวิธีเท่านั้น จะมีวิธีที่ง่ายกว่า เช่น การทดสอบแบบสัดส่วน(two-proportion test)
ตัวอย่างของการทดสอบ A/B/C
ลองนึกภาพนักการตลาดจัดแคมเปญโฆษณาบนโซเชียลมีเดียเป็นประจำเพื่อดึงดูดผู้เข้ามาชมยังเว็บไซต์ของตน พวกเขาตัดสินใจทำการทดสอบ A/B/C กับโฆษณาเวอร์ชันต่างๆ เพื่อดูว่าโฆษณาใดจะทำให้เกิดการคลิกมากที่สุด พวกเขากำหนดเป้าหมายการแสดงผล 20,000 ครั้งสำหรับโฆษณาแต่ละรายการและทำการทดสอบ พวกเขารวบรวมผลลัพธ์และสร้างกราฟ เมื่อพิจารณาจากกราฟ individual value plot ของแต่ละรายการ เป็นที่ชัดเจนว่าเวอร์ชัน A ทำงานได้แย่กว่าเวอร์ชันดั้งเดิมและเวอร์ชัน B เกิดคำถามว่า : มีความแตกต่างจากเวอร์ชั่น Original อย่างมีนัยสำคัญทางสถิติหรือไม่?
ใช้ BINARY LOGISTIC REGRESSION เพื่อวิเคราะห์การทดสอบ
จากข้อมูลที่รวบรวมมา ฉันสามารถใช้ Minitab เพื่อสร้าง binary logistic regression model
โดยไปที่ Stat > Regression > Binary Logistic Regression > Fit Binary Logistic Model Minitab จะแสดงไดอะลอกบ๊อกซ์ให้ฉันเลือก “Response in event/trial format,” และกรอก events (Clicks) และ trials (Impressions) ฉันยังเลือก Advertisement เป็นรายการที่ฉันกำลังทดสอบและให้ Minitab สร้างโมเดลของฉันขึ้นมา!
สรุปจากการวิเคราะห์ผลลัพธ์
ตอนนี้เราต้องเจาะลึกสถิติเล็กๆ น้อยๆ (ไม่มาก เพียงเล็กน้อย! คุณมาที่นี่เพื่อเรียนรู้อะไรบางอย่างใช่ไหม) เมื่อดูตารางด้านล่าง เราจะเห็นอัตราส่วนอัตราต่อรอง(Odds Ratio)ซึ่งเปรียบเทียบอัตราต่อรองของสองเหตุการณ์เทียบกัน ในกรณีของเราคลิกที่โฆษณาที่แตกต่างกัน Minitab ตั้งค่าการเปรียบเทียบโดยแสดงระดับใน 2 คอลัมน์ ได้แก่ ระดับ A และระดับ B โดยระดับ B เป็นระดับอ้างอิงสำหรับแฟคเตอร์ อัตราส่วนราคาต่อรองที่มากกว่า 1 บ่งชี้ว่าเหตุการณ์ ในกรณีของเรามีการคลิก มีแนวโน้มมากกว่าที่ระดับ A อัตราส่วนราคาต่อรองที่น้อยกว่า 1 บ่งชี้ว่ามีโอกาสน้อยที่จะมีการคลิกที่ระดับ A
จากตารางของเรา การเปรียบเทียบเวอร์ชัน A กับเวอร์ชัน Original อัตราต่อรองที่น้อยกว่า 1 หมายความว่าการคลิกมีโอกาสน้อยที่จะเกิดขึ้นที่เวอร์ชัน A เมื่อพิจารณาจากตาราง เราจะเห็นว่าเวอร์ชัน B มีแนวโน้มที่จะได้รับการคลิกมากกว่า ทั้งเวอร์ชั่น Original และเวอร์ชัน A สิ่งนี้จะตรวจสอบสิ่งที่เราสร้างกราฟและเปรียบเทียบไว้แต่แรก แต่ได้อะไรเพิ่มเติมจากการวิเคราะห์นี้?
เมื่อดูที่คอลัมน์ที่สอง ช่วงความเชื่อมั่น 95% เราจะได้ข้อมูลเชิงลึกเพิ่มเติมเกี่ยวกับข้อมูลของเรา ในการวิเคราะห์ประเภทเหล่านี้ ช่วงความเชื่อมั่นที่มี 1 ภายในช่วง (เช่น เวอร์ชัน B เทียบกับเวอร์ชัน Original โดยที่ CI 95% อยู่ที่ 0.9882,1.1038) บ่งชี้ว่าโอกาสของการคลิกเทียบกับการไม่มีการคลิกนั้นโดยพื้นฐานแล้วจะเท่ากันสำหรับทั้งสองเวอร์ชั่นนี้
ผลก็คือ การทดสอบนี้สอนเราว่าเวอร์ชัน A เป็นโฆษณาที่มีประสิทธิภาพแย่ที่สุดและไม่คุ้มที่จะเก็บไว้ อย่างไรก็ตาม การเปลี่ยนเวอร์ชัน Original เป็นเวอร์ชั่น B โดยอัตโนมัติอาจเป็นความผิดพลาด ขั้นตอนต่อไปของเราควรกำหนดเวอร์ชั่น Original เป็น a) ปรับแต่งการทดสอบของเราเป็นการทดสอบ A/B โดยเปรียบเทียบเวอร์ชั่น Original กับเวอร์ชัน B หรือ b) เลือกเวอร์ชั่น Original หรือเวอร์ชัน B ด้วยเหตุผลเชิงคุณภาพ เช่น “คงข้อความที่สอดคล้องกันของเราไว้” หรือ “ปรับปรุงข้อความของเรา” โดยไม่ต้องกังวลกับผลลัพธ์ที่พอๆกัน
ทำการทดสอบ A/B/C ของคุณเอง – ทดลองใช้ Minitab Statistical Software ฟรี
บทความต้นฉบับ : A/B/C Testing for Marketers: Binary Logistic Regression to the Rescue
ต้นฉบับนำมาจาก Minitab blog , แปลและเรียบเรียงโดยชลทิชา จํารัสพร
บริหารจัดการ SCM Blog โดยชลทิชา จำรัสพร, บริษัท โซลูชั่น เซ็นเตอร์ จํากัด ตัวแทน Minitab ในประเทศไทย
เพิ่มเติมเกี่ยวกับบริษัท Minitab
Minitab ช่วยให้บริษัทและองค์กรต่างๆ สามารถมองเห็นแนวโน้มของข้อมูล, แก้ปัญหาและค้นพบประเด็นสำคัญจากข้อมูลเชิงลึก โดยนำเสนอชุดโซลูชั่นที่ครอบคลุมทุกด้านและดีที่สุดสำหรับซอฟต์แวร์ในระดับเดียวกัน ที่ใช้สำหรับการวิเคราะห์ข้อมูลและการปรับปรุงกระบวนการ
ด้วยวิธีการที่เป็นเอกลักษณ์ และการนำเสนอซอฟต์แวร์และบริการแบบองค์รวม Minitab ช่วยให้องค์กรเข้าถึงกระบวนการตัดสินใจในส่วนที่ช่วยผลักดันให้เกิดความเป็นเลิศทางธุรกิจได้ดีขึ้น ความง่ายในการใช้งานที่โดดเด่นกว่าใครมีส่วนช่วยให้ Minitab สามารถทำให้การเข้าถึงข้อมูลเชิงลึกเป็นเรื่องที่ง่าย ทีมงานของ Minitab ซึ่งประกอบด้วยผู้เชี่ยวชาญทางด้านการวิเคราะห์ข้อมูลที่ได้ผ่านการอบรมมาเป็นอย่างเข้มงวด จะช่วยให้ผู้ใช้งานมั่นใจว่าจะได้รับประโยชน์สูงสุดจากการใช้งานวิเคราะห์ข้อมูลและพร้อมที่จะให้คำปรึกษาตลอดเวลาที่ใช้งานเพื่อนำไปสู่การตัดสินใจที่ดีขึ้น รวดเร็ว และแม่นยำ
เป็นเวลากว่า 50 ปีที่ Minitab ได้ช่วยองค์การต่าง ๆ เพิ่มรายได้ ควบคุมและลดต้นทุน เพิ่มคุณภาพ เสริมสร้างความพึงพอใจของลูกค้า และเพิ่มประสิทธิภาพ ธุรกิจและองค์นับหมื่นทั่วโลกใช้ Minitab Statistical Software®, Companion by Minitab®, Minitab Workspace®, Salford Predictive Modeler® and Quality Trainer® เป็นเครื่องมือช่วยในการค้นพบและปรับปรุงความบกพร่องในกระบวนการ