Apa itu pengujian A/A dalam pemasaran?

Memilih untuk mengubah desain dan tata letak situs web atau aplikasi perusahaan Anda dapat berdampak signifikan pada pengalaman pengguna dan pada akhirnya tujuan perusahaan Anda. Melakukan pengujian acak dapat membantu menentukan fitur tambahan mana yang akan dimasukkan ke dalam peningkatan. Memilih program dan metode pengujian yang akurat dapat membantu memastikan data yang kredibel mendukung perubahan Anda. Dalam artikel ini, kami membahas apa itu pengujian A/A, mengapa itu penting, dan bagaimana menjalankannya untuk halaman web dan aplikasi Anda.

Apa itu pengujian A/A?

Pengujian A/A adalah metode pengujian statistik yang digunakan dalam desain web dan aplikasi. Ini menggunakan alat algoritme untuk menguji dua versi aplikasi atau halaman web yang identik satu sama lain. Pengujian A/A dapat menjadi pendahuluan untuk pengujian A/B, atau pengujian terpisah. Pengujian A/B membandingkan dua versi berbeda dari halaman web atau aplikasi untuk menentukan mana yang berkinerja lebih baik dengan pengguna.

Mengapa pengujian A/A penting?

Salah satu tujuan utama pengujian A/A adalah membantu memilih alat yang akurat dan terkalibrasi dengan baik untuk pengujian A/B. Saat menjalankan pengujian A/A, program yang andal melaporkan rasio konversi serupa yang secara statistik tidak signifikan di antara kedua halaman. Juga bermanfaat untuk menunjukkan kepada Anda potensi margin kesalahan konversi untuk alat pengujian tertentu.

Kapan Anda harus menjalankan tes A/A?

Ada tahapan tertentu dalam desain web dan proses pengembangan di mana menjalankan tes A/A mungkin paling bermanfaat. Situasi ini meliputi:

• Ketika Anda telah menginstal alat pengujian baru di sistem Anda
• Saat Anda memperbarui atau mengubah penyiapan alat pengujian Anda saat ini
• Saat Anda memulai proyek web atau aplikasi baru
• Saat Anda menemukan perbedaan dalam laporan data alat pengujian Anda dan analitik lain yang dilaporkan

Cara menjalankan pengujian A/A

Gunakan langkah-langkah ini untuk mempelajari cara melakukan pengujian A/A:

Pilih alat Anda

Pilih alat pengujian untuk memulai proses pengujian A/A Anda. Jenis program ini tersedia dari beberapa perusahaan analitik yang berbeda. Anda dapat memilih alat yang pernah Anda gunakan di masa lalu atau program baru yang ingin Anda coba dan berpotensi beralih ke pengujian A/B. Tinjau dokumen pelatihan untuk alat baru apa pun untuk memastikan Anda mengkalibrasinya dan memasukkan parameter pengujian dengan benar. Ini membantu Anda menentukan apakah program memberikan hasil yang akurat.

Pilih jenis pengujian Anda

Bergantung pada alat yang Anda pilih, putuskan metode mana yang akan diterapkan untuk pengujian A/A Anda. Pilihan meliputi:

Hipotesa

Pengujian hipotesis membutuhkan ukuran sampel yang telah ditentukan sebelumnya. Program berjalan sampai ada cukup sampel untuk setiap variasi. Setelah mencapai jumlah sampel yang diinginkan, Anda dapat menentukan apakah ada kekurangan perbedaan dalam indikator kinerja utama Anda dan menghentikan pengujian.

Bayesian

Pengujian Bayesian tidak memerlukan ukuran sampel yang telah ditentukan sebelumnya, yang mungkin Anda pilih untuk pengujian A/B. Sebaliknya, jenis ini menunjukkan, dari dua opsi, variasi mana yang paling baik didasarkan pada perbedaan kecil sekalipun dalam metrik utama. Semakin banyak data yang dikumpulkan untuk uji Bayesian, semakin sensitif terhadap perbedaan dalam indikator kinerja utama. Ini berarti lebih mungkin untuk memilih versi “lebih baik” dalam pengujian A/A, meskipun sampelnya persis sama.

Siapkan pengalaman pengguna

Pengguna tidak akan tahu bahwa Anda mengumpulkan data tentang kebiasaan menjelajah mereka di situs Anda saat melakukan pengujian A/A. Salah satu alasannya adalah karena pengalaman pengguna bagi mereka yang mengunjungi halaman kontrol dan halaman variabel bisa sama. Pastikan tidak ada perubahan di antara keduanya, lalu tetapkan indikator kinerja utama untuk kedua grup untuk menguji rasio konversi. Indikator kinerja utama dapat mencakup tindakan seperti mengklik tombol, memperbesar gambar, menavigasi ke halaman tertentu lainnya, atau melakukan pembelian.

Interpretasikan hasilnya

Lihat data yang telah Anda kumpulkan untuk melihat apakah data tersebut masuk akal dalam konteks program dan proyek yang lebih besar. Ingatlah bahwa selalu ada unsur keacakan dalam pengujian A/A. Halaman identik Anda mungkin memiliki tingkat konversi yang sedikit berbeda tergantung pada program dan metode pengujian yang Anda pilih. Rasio konversi adalah persentase pengguna yang melakukan tindakan yang diinginkan yang dinyatakan dalam indikator kinerja utama Anda.

Tingkat konversi apa pun yang lebih kecil dari 0,05 atau 5% secara statistik tidak signifikan, dan Anda dapat melihatnya sebagai generasi acak dalam pengujian. Tes Bayesian mungkin lebih cenderung memilih hasil yang secara statistik tidak signifikan tetapi lebih tinggi sebagai versi yang berkinerja lebih baik, tetapi Anda dapat mengabaikannya selama peninjauan data manusia. Anda dapat menentukan bahwa hasil pengujian A/A yang identik dan tidak signifikan secara statistik menunjukkan bahwa program pengujian berfungsi dengan baik.

Tetapkan tingkat konversi dasar

Setelah menyelesaikan pengujian A/A, Anda dapat menentukan margin kesalahan tingkat konversi untuk alat pengujian spesifik Anda. Mengetahui angka ini dapat membantu Anda menetapkan rasio konversi dasar untuk pengujian A/B guna menentukan area perubahan yang paling signifikan dari halaman kontrol ke variasi Anda.

Tentukan ukuran sampel Anda

Melakukan pengujian A/A dapat membantu Anda menentukan berapa banyak interaksi pengguna yang diharapkan dalam pengujian A/B Anda. Untuk uji hipotesis, ini dapat membantu Anda memilih jumlah yang masuk akal untuk ukuran sampel yang telah ditentukan sebelumnya. Untuk pengujian Bayesian, mungkin membantu Anda memahami pada titik mana Anda harus mengakhiri pengujian dan menganalisis hasil Anda.

Praktik terbaik pengujian A/A

Gunakan tip berikut untuk membantu Anda melakukan tes A/A yang menyeluruh dan akurat:

Gunakan ukuran sampel yang besar

Apa pun metode pengujian yang Anda pilih, pilih ukuran sampel minimum yang cukup besar untuk menghasilkan hasil yang sebenarnya. Jumlahnya mungkin proporsional secara statistik dengan sasaran rasio konversi Anda. Gunakan data dan statistik analitik Anda saat ini untuk memilih nomor yang sesuai dengan jangkauan atau akses harian Anda. Ingatlah bahwa tes A/A mengikuti metode ilmiah dan dapat diulang beberapa kali sebelum memberikan hasil yang nyata.

Perhatikan waktumu

Pengujian A/A mungkin memerlukan waktu lebih lama daripada pengujian A/B untuk mencapai kesimpulan tentang akurasi kinerja. Dengan program yang andal, ini menguntungkan karena sulit menemukan perbedaan antara dua sampel karena tidak ada. Membiarkan pengujian Anda berjalan lebih lama membantu meningkatkan akurasi dan mengumpulkan berbagai macam data. Hal ini juga memungkinkan untuk hasil yang lebih konsisten dan akurat.