•  
  •  
 

Tytuł

Fałszywi respondenci w ankietach internetowych

ORCID

Marta Kabut: 0000-0002-2870-0258

Słowa kluczowe

ankieta internetowa,fałszywi respondenci,badania ankietowe

Abstract

Purpose: The aim of the conducted analyses was to propose and test an FR procedure for detecting false respondents (who answer survey questions mindlessly) in online surveys. Design/methodology/approach: Statistical analyses of data from 9 online surveys with a total of 4224 respondents, and 3 offline surveys (a total of 3169 respondents), aimed to identify false respondents using 4 warning signs (WS) based on: (WS1) too short answering time, (WS2) attention check questions, (WS3) rating style that considers, among others, the number of “Don’t know”, (WS4) logical consistency test of the answers and self-reported engagement of respondents. Findings: The percentage of respondents flagged by any of 4 signs (strict criteria) ranged from 5.2% to 71% depending on the survey. With lenient criteria (allowing respondents to be flagged by one warning sign), the percentage of excluded respondents ranged from 0% to 45.9%. Respondents could be excluded from analyses locally (for a specific block of items) or globally. Research limitations/implications: The surveys used in the analyses in this paper were of high quality (designed to minimize the participation of false respondents), which means that the percentages of false respondents for surveys made available to all interested parties will be higher. The analyzed data included respondents with at least secondary education. Originality/value: The conducted analyses provide evidence for the necessity of cleaning data obtained in online surveys. The tested FR procedure proved to be useful. The utility of the FLEXMIX procedure for examining the logical consistency of respondents’ answers was also demonstrated.

Abstrakt

Cel: celem przeprowadzonych analiz było zaproponowanie i przetestowanie procedury FR do wykrywania fałszywych respondentów (odpowiadających bezmyślnie na pytania ankiety) w badaniach internetowych. Projekt/metodologia/podejście: analizy statystyczne danych z 9 badań internetowych (w których w sumie uczestniczyło 4224 osób) i 3 badań nieinternetowych (łącznie 3169 respondentów) miały na celu identyfikację fałszywych respondentów za pomocą czterech sygnałów ostrzegawczych opartych na: (WS1) zbyt krótkim czasie odpowiedzi; (WS2) pytaniach sprawdzających uwagę; (WS3) stylu oceniania z uwzględnieniem liczby odpowiedzi DK (nie wiem); (WS4) teście spójności logicznej odpowiedzi oraz deklaracji zaangażowania respondentów. Wyniki: procent respondentów oznaczonych przez wszystkie cztery sygnały (kryterium ostre) wahał się w granicach od 5,2 do 71% w zależności od badania. Przy kryterium łagodnym (akceptowani respondenci także z jednym sygnałem ostrzegawczym) procent wykluczonych wyniósł od 0 do 45,9%. Ograniczenia/implikacje: badania w analizach użytych w tym artykule były wysokiej jakości (zaprojektowane w sposób minimalizujący udział fałszywych respondentów), co oznacza że procenty fałszywych respondentów dla ankiet udostępnianych dla wszystkich chętnych będą wyższe. W analizowanych danych respondenci mieli co najmniej wykształcenie średnie. Oryginalność/wartość: przeprowadzone analizy dowodzą konieczności czyszczenia danych pozyskanych w badaniach internetowych. Przetestowana procedura FR wykazała swoją przydatność. Pokazano także użyteczność procedury FLEXMIX do badania spójności logicznej odpowiedzi respondentów.

First Page

85

Last Page

95

Page Count

10

DOI

10.7172/1733-9758.2023.38.8

JEL Code

C82

Publisher

University of Warsaw

Download

Share

COinS