Czym jest dobór próby w badaniach?

Definicja doboru próby (i 5 pojęć, które musisz dobrze rozumieć)

Dobór próby to proces wybierania mniejszej grupy (próby) z większej grupy (populacji), aby poznać populację bez mierzenia wszystkich. Badanie całej populacji jest często niepraktyczne, dlatego badacze dobierają próbę, by praca była wykonalna, a wnioski nadal użyteczne.

Na tych pięciu pojęciach opiera się każdy rozdział metodologiczny. Pomyl je, a każda późniejsza decyzja odziedziczy ten błąd.

• warning
  Populacja: cała grupa, którą chcesz opisać, określona granicami i przedziałem czasowym. „Wszyscy studenci ostatniego roku pielęgniarstwa w trzech kampusach, zapisani na dzień 1 marca” to populacja. „Pielęgniarki” już nie.
• warning
  Populacja docelowa a populacja dostępna: kogo chcesz opisać, a do kogo Twoja rekrutacja i narzędzia mogą faktycznie dotrzeć. Nazwanie luki między nimi to w opisie badania atut, a nie słabość.
• warning
  Operat losowania: lista lub mechanizm, z którego losujesz. Rejestr studentów, rejestr pacjentów, baza klientów, spis gospodarstw domowych we wsi, rejestr wyborców. Problemy z operatem powodują błąd pokrycia i żadna metoda ich nie naprawi.
• warning
  Jednostka losowania: to, co faktycznie zostaje wybrane. Osoba, gospodarstwo domowe, przychodnia, klasa, zmiana, zamówienie. W schematach grupowych i wielostopniowych jednostką na pierwszym etapie jest grupa, nazywana jednostką losowania pierwszego stopnia.
• warning
  Schemat doboru próby: cały plan zapisany na piśmie. Operat, metoda, liczba jednostek, sposób kontaktu oraz to, co zrobisz z osobami, które nie odpowiedzą. „Schemat doboru próby” to właśnie to, o co pyta egzaminator lub recenzent, gdy pyta o Twój dobór próby.

Krótką oficjalną definicję tego samego pojęcia znajdziesz w materiale szkoleniowym amerykańskiego U.S. Office of Research Integrity na temat doboru próby.¹ Jeśli umieszczasz dobór próby w szerszym planie badania, nasz przewodnik po projekcie badania ankietowego omawia kroki przed nim i po nim.

Po co w ogóle dobierać próbę i kiedy lepsze jest badanie pełne

Potrzeba doboru próby ma podłoże praktyczne, zanim stanie się statystyczna. Wciąż powracają cztery powody.

1. Koszt

   Każdy dodatkowy uczestnik kosztuje pieniądze, czas pracowników lub dobrą wolę. Dobrze dobrana próba licząca 600 osób może odpowiedzieć na to samo pytanie co źle przeprowadzone badanie 60 000 osób.

2. Szybkość

   Decyzje mają terminy. Próba daje Ci odpowiedź w czasie, w którym ta odpowiedź jest jeszcze przydatna.

3. Wykonalność

   Niektórych populacji w ogóle nie da się spisać: przechodniów na targu, osób, które zrezygnowały z usługi, handlarzy z szarej strefy. Inne są w praktyce nieskończone albo zmierzenie jednostki ją niszczy.

4. Jakość

   To wielu zaskakuje. Skupienie wysiłku na mniejszej grupie pozwala docierać do osób, które nie odpowiedziały, porządnie przeszkolić ankieterów i sprawdzić dane. Wysiłek włożony w każdą jednostkę jest zwykle wart więcej niż sama liczba jednostek.

Badanie pełne mierzy natomiast wszystkich. Jest lepszym wyborem, gdy populacja jest na tyle mała, że można do niej dotrzeć, gdy dane kontaktowe już istnieją lub gdy każdy jej członek ma prawo zostać zapytany. Ankieta pracownicza w organizacji liczącej 200 osób to kwestia badania pełnego, a nie doboru próby. Podobnie ocena zajęć. Gdy populacja jest mała, dobór próby nie daje prawie nic, a odbiera możliwość raportowania według zespołów.

Jak naprawdę wygląda dobra próba

Podręczniki opisują dobrą próbę jako „reprezentatywną”, co nie jest kryterium operacyjnym. Te cztery cechy nim są.

• Pokrycie: każdy z populacji docelowej mógł w zasadzie zostać wybrany.
• Kontrolowany wybór: o tym, kto trafia do próby, decyduje reguła, a nie to, kto się zgłosi albo kto stoi najbliżej drzwi.
• Wystarczająca liczba jednostek w najmniejszej grupie, którą musisz raportować: ogólna liczba może wyglądać dobrze, podczas gdy grupa, na której naprawdę Ci zależy, opiera się na 11 wypełnieniach.
• Możliwość opisu: możesz dokładnie zapisać, jak próba została wylosowana, a ktoś inny mógłby to powtórzyć.

Przystępny opis tego, jak próby pozwalają szacować wartości dla populacji, znajdziesz w omówieniu doboru próby i wnioskowania w badaniach ankietowych przygotowanym przez U.S. Census Bureau. To dobry punkt wyjścia.²

Operat losowania wyznacza pułap

Operat losowania to konkretna lista lub mechanizm, z którego losujesz. To najrzadziej omawiana część doboru próby i miejsce, w którym większość rzeczywistych badań po cichu się psuje, bo to operat decyduje o tym, kto w ogóle mógł zostać wybrany.

Operaty to zwyczajne obiekty. Rejestr studentów, rejestr pacjentów, lista pracowników z działu HR, baza klientów. Lista wsi z liczbą gospodarstw domowych, rejestr wyborców, seria zamówień, lista przychodni w powiecie. Zauważ, że niektóre operaty wymieniają ludzi, a inne miejsca. To rozróżnienie decyduje o tym, które metody są dla Ciebie dostępne.

Sprawdź operat przed losowaniem, a nie po nim. Policz wiersze. Porównaj tę liczbę z dowolną niezależną sumą, jaką znajdziesz, na przykład liczbą pracowników według działu HR lub liczbą zapisanych studentów. Poszukaj segmentu, którego pominięcie byłoby dla Ciebie najbardziej kompromitujące, i sprawdź, czy jest obecny. Usuń duplikaty. Zapisz, czego operat nie obejmuje, bo to zdanie i tak trafi do ograniczeń Twojego badania.

Porównanie 9 metod doboru próby

Metody doboru próby dzielą się na dwie rodziny. Dobór probabilistyczny wykorzystuje mechanizm losowy, więc każda jednostka w operacie ma znane, niezerowe prawdopodobieństwo wyboru. Dobór nieprobabilistyczny go nie wykorzystuje, więc prawdopodobieństwa wyboru są nieznane. Wszystko inne wynika z tego jednego rozróżnienia.

Druga kolumna to ta, którą większość poradników pomija, dlatego tutaj jest na początku. Tylko schemat probabilistyczny pozwala podać margines błędu, przedział ufności albo zdanie „plus minus 5 punktów procentowych”. Jeśli przy danej metodzie widnieje tam „nie”, nadal możesz się z niej wiele dowiedzieć. Po prostu nie możesz opublikować miary precyzji obok wyniku. Sama precyzja to osobny temat, omówiony w naszym przewodniku po wielkości próby.

Jak czytać tabelę: pierwsze pięć metod to schematy probabilistyczne, a ostatnie cztery nie. To jedno rozróżnienie, a nie nazwy poszczególnych metod, decyduje o tym, czy podana precyzja jest uczciwa.

Metody doboru probabilistycznego po kolei

Dobór probabilistyczny oznacza, że każda jednostka w operacie ma znane, niezerowe prawdopodobieństwo wyboru, a wyboru dokonuje mechanizm losowy. To jedyna podstawa, by mówić cokolwiek liczbowego o populacji. Pięć schematów obejmuje niemal każde rzeczywiste badanie. Przeglądy z badań klinicznych i badań nad zdrowiem omawiają tę samą rodzinę pod nieco innymi nazwami i warto wiedzieć dlaczego, zanim się z nimi zetkniesz: oba cytowane tutaj przeglądy włączają dobór wielostopniowy do doboru grupowego, zamiast wymieniać go osobno.³⁴

Prosty dobór losowy

Prosty dobór losowy daje każdej jednostce na liście dokładnie takie samo prawdopodobieństwo wyboru. Numerujesz listę, generujesz liczby losowe i bierzesz jednostki, na które one wypadną.

Przykład z obliczeniami. Rejestr uczelni obejmuje 12 000 zapisanych studentów, a Ty potrzebujesz 400 wypełnień. Ponumeruj rejestr od 1 do 12000, wygeneruj w arkuszu kalkulacyjnym lub pakiecie statystycznym 400 niepowtarzalnych liczb losowych z tego zakresu i zaproś tych studentów. Jeśli spodziewasz się 40-procentowego wskaźnika odpowiedzi, wylosuj i zaproś 1000 osób, aby 400 wypełnień było realne.

Gdzie zawodzi. Przy 400 wypełnieniach rozłożonych na rejestr 12 000 studentów wydział liczący 300 studentów dostarcza około 10 osób. To za mało, by o nim raportować. Jeśli jakakolwiek podgrupa musi pojawić się w Twoich wynikach, prosty dobór losowy jest złym narzędziem, a rozwiązaniem jest dobór warstwowy.

Zapisz sposób losowania. Użyte oprogramowanie, ziarno generatora, jeśli było, i datę. To jedno zdanie sprawia, że losowanie da się odtworzyć, a recenzenci naprawdę o nie pytają.

Dobór systematyczny

Dobór systematyczny polega na wybieraniu co k-tej jednostki z uporządkowanej listy po losowym starcie. Podziel liczebność listy przez potrzebną liczbę, aby uzyskać interwał k, wybierz losową liczbę od 1 do k jako punkt startowy, a następnie odliczaj dalej.

Przykład z obliczeniami. Szpital powiatowy odnotowuje w kwartale 9000 wizyt ambulatoryjnych i chce przeprowadzić 600 wywiadów z pacjentami wychodzącymi z wizyty. Interwał to 9000 podzielone przez 600, czyli k równa się 15. Wybierz losowy start od 1 do 15, powiedzmy 7, a następnie przeprowadź wywiad przy wizycie 7, 22, 37, 52 i tak dalej. Zespół terenowy może stosować tę regułę bez laptopa i to jest prawdziwy powód, dla którego ta metoda przetrwała.

Gdzie zawodzi. Okresowość. Jeśli lista ma powtarzający się cykl zgodny z k, za każdym razem losujesz to samo miejsce w cyklu. Lista wizyt uporządkowana według dni przyjęć w 7-dniowym cyklu przy interwale 7 dałaby Ci jeden dzień tygodnia i nic więcej. Sprawdź kolejność, zanim ustalisz k, i przetasuj listę, jeśli kolejność ma związek z tym, co mierzysz.

Dobór warstwowy

Dobór warstwowy dzieli populację na rozłączne grupy zwane warstwami, a następnie losuje próbę w każdej warstwie. To najbardziej użyteczne ulepszenie dostępne w większości badań, bo gwarantuje, że każda grupa, o której musisz raportować, faktycznie się pojawi.

Przykład z pokazanymi obliczeniami. Organizacja zatrudnia 4200 pracowników w sześciu województwach i potrzebuje 600 wypełnień.

• Alokacja proporcjonalna. Województwo z 1400 pracownikami to 1400 podzielone przez 4200, czyli jedna trzecia kadry, więc otrzymuje jedną trzecią z 600, czyli 200 wypełnień. Województwo z 210 pracownikami otrzymuje 210 podzielone przez 4200 razy 600, czyli 30 wypełnień. Każde województwo jest reprezentowane proporcjonalnie do swojej wielkości i na etapie analizy nie trzeba stosować wag.
• Alokacja nieproporcjonalna, nazywana też nadreprezentacją. Trzydzieści wypełnień to za mało, by raportować o tym małym województwie osobno. Celowo bierzesz więc z niego 80 i dla równowagi zmniejszasz liczbę z największego województwa. Teraz prawdopodobieństwa wyboru różnią się między województwami, więc zanim podasz jakąkolwiek liczbę dla całej organizacji, musisz zważyć dane z powrotem do rzeczywistych proporcji. Pominięcie tego kroku to najczęstszy błąd w doborze warstwowym.

Wybór warstw. Wybieraj zmienne, które mają związek z badaną cechą lub z tym, kto prawdopodobnie odpowie, i które już są w Twoim operacie. Zwykle są to region, placówka, stanowisko, staż pracy, kierunek studiów, rodzaj planu i przedział wiekowy. Warstwy niezwiązane z badaną cechą dokładają pracy administracyjnej i nie dają żadnej precyzji. Jeśli zmiennej grupującej brakuje w operacie, być może trzeba będzie zebrać ją w samym kwestionariuszu. Nasz przewodnik po pytaniach demograficznych w ankiecie pokazuje, jak pytać o te zmienne, nie tracąc uczestników.

Dobór grupowy

Dobór grupowy polega na losowaniu całych naturalnie istniejących grup, a następnie badaniu wszystkich w wylosowanych grupach. Potrzebujesz listy grup, a nie listy osób, i właśnie dlatego ta metoda istnieje.

Przykład z obliczeniami. Powiat ma 180 szkół podstawowych i żadnej centralnej listy uczniów. Losujesz 24 szkoły i przeprowadzasz ankietę wśród wszystkich uczniów 8 klasy w każdej z nich. Odbywasz 24 wizyty w szkołach zamiast 180 i na starcie w ogóle nie potrzebujesz rejestru uczniów.

Ile Cię to kosztuje. Uczniowie tej samej szkoły są do siebie bardziej podobni niż do uczniów z całego powiatu. Każdy dodatkowy uczeń w szkole, którą już wybrano, wnosi więc mniej nowych informacji niż niezależnie wybrany uczeń. Efektywna liczba wypełnień jest mniejsza niż ich rzeczywista liczba. To zawyżenie to efekt schematu losowania i trzeba go uwzględnić w planie, a nie odkrywać na etapie analizy.

Gdzie zawodzi. Zbyt mało grup. Sześć losowo wybranych szkół może bardzo się od siebie różnić, a wynik zależy od tego, którą szóstkę akurat wylosujesz. Więcej grup z mniejszą liczbą osób w każdej jest prawie zawsze lepsze niż odwrotnie.

Dobór wielostopniowy

Dobór wielostopniowy polega na wyborze w dwóch lub więcej etapach: najpierw grupy, potem jednostki w wylosowanych grupach, a czasem trzeci etap w ich obrębie. Prawie każde krajowe badanie gospodarstw domowych na świecie jest zbudowane w ten sposób.

Przykład z obliczeniami. Wylosuj 120 okręgów z krajowej listy okręgów. W każdym wylosowanym okręgu zespół terenowy spisuje gospodarstwa domowe na miejscu, a następnie losuje 20 z nich. W każdym wylosowanym gospodarstwie domowym jedna osoba dorosła jest wybierana losowo, a nie ta, która akurat otworzy drzwi. To trzy etapy, a ostatni ma znaczenie: pozwolenie gospodarstwu domowemu na decyzję, kto odpowie, przywraca dokładnie to obciążenie wyboru, przed którym schemat miał chronić.

Ile Cię to kosztuje. Różne osoby mają różne prawdopodobieństwa wyboru, więc analiza wymaga wag, a obliczenie wariancji musi uwzględniać grupowanie na każdym etapie. To prawdziwy schemat, który wymaga kogoś, kto potrafi przeprowadzić analizę ważoną. Jeśli nikt w projekcie tego nie potrafi, wybierz prostszy schemat zamiast nieważonego schematu wielostopniowego.

Dobór warstwowy a grupowy: różnica w jednym zdaniu

Te dwie metody są ciągle mylone, bo obie zaczynają od podziału populacji na grupy. Różnica polega na tym, co robisz dalej.

Metody doboru nieprobabilistycznego po kolei

Dobór nieprobabilistyczny oznacza, że prawdopodobieństwa wyboru są nieznane, bo o tym, kto został wybrany, nie decydował żaden mechanizm losowy. To właściwy wybór w czterech sytuacjach. Nie możesz zbudować użytecznego operatu. Grupa jest ukryta. Szybkość jest ważniejsza niż precyzja. Albo pytanie dotyczy znaczenia, a nie skali.

Te metody nie są gorszego sortu. Odpowiadają na inne pytanie. Błędem nigdy nie jest samo ich użycie, tylko użycie ich, a potem napisanie zdania, które mogłaby uzasadnić wyłącznie próba probabilistyczna.

Dobór wygodny

Dobór wygodny, nazywany też doborem dostępnościowym, rekrutuje tych, do których najłatwiej dotrzeć. Okienko pop-up na stronie internetowej, link w newsletterze, studenci z Twojej własnej grupy, osoby przechodzące obok stoiska na targu.

Przykład. Sklep umieszcza link do opinii na paragonie. Każdy, kto odpowiada, coś kupił, miał przy sobie telefon, miał czas i miał powód, żeby się tym zająć. Każdy z tych filtrów usuwa inną część klientów.

Uczciwe zastosowanie. Badanie pilotażowe kwestionariusza, generowanie hipotez, poznawanie języka, jakim posługują się klienci, sprawdzanie, czy pytanie jest zrozumiałe. Wszystko to doskonałe zastosowania. Żadne z nich nie wymaga oszacowania dla populacji.

Dobór kwotowy

Dobór kwotowy wyznacza cele rekrutacyjne dla określonych grup i je wypełnia. Czterdzieści osób ze wsi i sześćdziesiąt z miast. Pięćdziesiąt kobiet i pięćdziesięciu mężczyzn. Po dwadzieścia osób w każdym z pięciu przedziałów wiekowych.

Przykład. Zespół badań rynkowych potrzebuje 500 wypełnień odpowiadających krajowemu rozkładowi wieku, płci i regionu i nie ma listy populacji. Rekrutuje, aż każda komórka zostanie wypełniona.

Dlaczego to nadal nie jest dobór probabilistyczny. Kwoty kontrolują kształt próby, a nie wybór osób, które się w niej znajdą. Rekrutujący nadal wybiera, a osoby, do których łatwo podejść, systematycznie różnią się od tych, do których nie. Próba może idealnie odpowiadać populacji pod względem wieku i płci, a mimo to poważnie mylić się co do postaw, bo to nie wiek i płeć były zmiennymi wyrządzającymi szkodę.

Dobór celowy

Dobór celowy, nazywany też doborem eksperckim, polega na świadomym wyborze przypadków spełniających określone kryteria. Typowe warianty to dobór przypadków typowych, skrajnych, krytycznych, maksymalnego zróżnicowania oraz dobór ekspertów.

Przykład. Badanie tego, jak używany jest nowy system płatności, obejmuje osiem osób. Dwie, które korzystają z niego codziennie, dwie, które z niego zrezygnowały, dwie, które nigdy nie zaczęły z niego korzystać, i dwie osoby z działu wsparcia, które obsługują reklamacje. Taki rozkład jest wybrany celowo, a uzasadnienie wyboru jest metodą.

Uczciwe zastosowanie. Większość badań jakościowych. Kryterium nie jest tu losowość. Liczy się to, czy potrafisz powiedzieć, dlaczego te przypadki, a nie inne, i czy zakres opinii jest wystarczająco szeroki, by uzasadnić Twoje wnioski.

Dobór metodą kuli śnieżnej

Dobór metodą kuli śnieżnej polega na zrekrutowaniu niewielkiej liczby uczestników, którzy następnie wskazują inne osoby spełniające kryteria, a te wskazują kolejne.

Przykład. Badanie nieformalnych handlarzy przygranicznych zaczyna się od czterech uczestników wskazanych przez lokalne stowarzyszenie, a każdy z nich przedstawia dwie kolejne osoby. Nie istnieje rejestr nieformalnych handlarzy, więc żadna metoda oparta na operacie nie jest dostępna.

Co to robi z Twoją próbą. Homofilia. Ludzie polecają osoby podobne do siebie. Próba dryfuje w stronę jednej sieci społecznej i oddala się od odizolowanych członków populacji, a to często ich badanie najbardziej potrzebuje usłyszeć. Rozpoczęcie od kilku niepowiązanych ze sobą osób startowych zamiast jednej zmniejsza ten dryf, ale go nie usuwa.

Jak sprawić, by próba nieprobabilistyczna była do obrony

Większość poradników kończy na „nie można uogólniać” i zostawia czytelnika bez pomocy, choć większość czytelników prowadzi właśnie takie badanie. Oto część, której zwykle brakuje.

• Opisz rekrutację, a nie tylko nazwę metody. Gdzie zamieszczono link, w jakich dniach, kto go zobaczył, czy oferowano zachętę oraz ile osób poproszono o udział, a ile odpowiedziało. To pozwala czytelnikowi ocenić próbę, zamiast zgadywać.
• Porównaj uzyskaną próbę ze znanym punktem odniesienia i opublikuj to porównanie. Jeśli w Twojej organizacji 60% to pracownicy terenowi, a wśród uczestników jest ich 25%, napisz to w tabeli. Ujawnione skrzywienie jest ustaleniem badawczym. Ukryte jest wadą.
• Wiedz, co ważenie może, a czego nie może. Dostosowanie danych tak, by struktura demograficzna odpowiadała populacji, może skorygować widoczną nierównowagę. Nie skoryguje jednak różnic między uczestnikami a innymi osobami pod względem czegoś, czego nie zmierzono, i nigdy nie zamieni próby nieprobabilistycznej w taką, która pozwala podać precyzję.
• Zmień zdanie, a nie statystykę. Zamiast „38% klientów jest niezadowolonych, plus minus 4 punkty procentowe” napisz „38% spośród 620 klientów, którzy odpowiedzieli, zgłosiło niezadowolenie. Uczestników zrekrutowano przez komunikat w aplikacji w ciągu dwóch tygodni i nie stanowią oni losowej próby klientów”. Drugie zdanie jest krótsze, bardziej użyteczne i nie da się go zaatakować.

Badania jakościowe mają na to własne słownictwo. Protokół badania zwykle wymaga uzasadnienia, a nie docelowej liczby. Powinien obejmować planowaną liczbę uczestników i zakres opinii; to rozróżnienie zwięźle przedstawia poradnik University of Bath.⁵

Dopasuj metodę do sytuacji

Sześć sytuacji, sześć metod. Zdecyduj, zanim otworzysz odpowiedź. To najszybszy sposób, by sprawdzić, czy tabela powyżej naprawdę do Ciebie trafiła.

Jak wybrać metodę doboru próby

Większość badań nie upada dlatego, że ktoś wybrał niewłaściwą technikę z nazwy. Upadają, bo technika nie pasowała do operatu, do decyzji albo do tego, co zespół terenowy realnie mógł zrobić. Trzy pytania niemal zawsze to rozstrzygają.

1. Zacznij od twierdzenia, które chcesz sformułować

   Zanim cokolwiek wybierzesz, napisz zdanie, które chcesz opublikować. „Sześćdziesiąt dwa procent naszych klientów poleciłoby nas” i „klienci, którzy odchodzą, opisują trzy powtarzające się problemy” to różne zdania, które wymagają różnych schematów. Jeśli nikt nie potraktuje wyniku jako liczby dla populacji, masz znacznie więcej swobody, niż myślisz.

2. Sprawdź operat, zanim się zdecydujesz

   Czy naprawdę możesz sporządzić listę populacji lub czegoś, co ją dobrze przybliża? Jeśli nie, czy możesz sporządzić listę grup, do których należą jej członkowie? Odpowiedź na to jedno pytanie od razu eliminuje większość z dziewięciu metod i dlatego jest ono drugie, a nie ostatnie.

3. Wskaż podgrupy, o których musisz raportować

   Jeśli wynik musi zostać podany dla każdego regionu, placówki lub stanowiska, wyznacza to schemat badania przez warstwy lub kwoty. Wyznacza też liczbę wypełnień potrzebnych w każdej grupie. Decyzji podjętej dopiero po badaniu terenowym nie da się już naprawić.

4. Sprawdź schemat w zderzeniu z realiami terenu

   Czas, budżet, możliwość kontaktu, dostępność językowa, umiejętność czytania, dostęp do internetu i zasady przyznawania zachęt decydują o tym, co jest wykonalne. Schemat, którego zespół terenowy nie potrafi stosować, staje się doborem wygodnym z formalną nazwą, a to gorsze niż uczciwy wybór doboru wygodnego. Inkluzywne planowanie rekrutacji zmniejsza systematyczne niedoreprezentowanie.⁶ Gdy już wylosujesz próbę, użyj kreatora ankiet online, aby przygotować kwestionariusz i wysłać go osobom wybranym zgodnie z Twoim planem doboru próby. Udostępnienie nieograniczonego publicznego linku zmienia to, kto może odpowiedzieć, i nie zachowuje próby losowej.

Gdzie próby naprawdę zawodzą: pokrycie, wybór i brak odpowiedzi

Wybór to część, o którą wszyscy się martwią, a która psuje się najrzadziej. Szkody zwykle powstają przed wyborem, w operacie, albo po nim, w tym, kto zada sobie trud odpowiedzi. Jedno i drugie daje porządnie wyglądające arkusze i błędne wnioski.

Najsłynniejsza porażka doboru próby miała 2,4 miliona uczestników

W 1936 roku Literary Digest przewidział, że Alf Landon zdobędzie około 55% głosów. Franklin Roosevelt wygrał z wynikiem około 61%.⁷ Magazyn rozesłał 10 milionów kart do głosowania i otrzymał z powrotem około 2,4 miliona, co daje wskaźnik odpowiedzi 24%, do którego żaden dzisiejszy ogólnokrajowy sondaż nawet się nie zbliża.⁸ Sondaż zaniżył rzeczywisty wynik Roosevelta o dwadzieścia punktów procentowych, i to na próbie dwóch i pół miliona osób.

Liczba, która powinna być na każdej stronie o doborze próby. W późniejszej ponownej analizie obliczono margines błędu losowego dla szacunków Digest na poziomie stanów: wynosił od 0,18 do 2,3 punktu procentowego, z medianą 0,6.⁸ Precyzja rzędu plus minus pół punktu przy błędzie wynoszącym dwadzieścia punktów. Nic nie pokazuje wyraźniej, że margines błędu mierzy tylko jeden z kilku sposobów, w jakie ankieta może się mylić.

A standardowe wyjaśnienie jest prawdziwe tylko w połowie. Wszystkich uczy się, że Digest dobierał próbę spośród właścicieli samochodów i abonentów telefonicznych, którzy byli zamożni i głosowali na republikanów. Jeden z empirycznych testów tej tezy wykorzystał badanie Gallupa z maja 1937 roku. Osoby, które miały i samochód, i telefon, i tak częściej wybierały Roosevelta, 55 do 45. Wśród wszystkich, którzy twierdzili, że otrzymali kartę od Digest, Roosevelt prowadził 55 do 44. Operat był przechylony w stronę republikanów, ale nie na tyle, by dać miażdżące zwycięstwo Landonowi.⁷

Brakującą połową jest brak odpowiedzi. Wśród osób, które twierdziły, że odesłały kartę, Landon prowadził 51 do 48. Wśród tych, które jej nie odesłały, Roosevelt prowadził 69 do 30. Przybliżony rozkład przypisuje około jedenastu punktów błędu operatowi, a około siedmiu zróżnicowanemu brakowi odpowiedzi.⁷ Zważenie odesłanych kart według pytania, które Digest już zadał, czyli jak głosowano w 1932 roku, wskazałoby właściwego zwycięzcę za pomocą arytmetyki dostępnej w 1936 roku.⁸

Wysoki wskaźnik odpowiedzi nie jest celem, za jaki go uważasz

Wskaźniki odpowiedzi w sondażach telefonicznych samego Pew Research Center spadły z 36% w 1997 roku do 9% w 2012 roku i do 6% w 2018 roku.⁹ Tymczasem indyjskie National Family Health Survey, prowadzone metodą wywiadów bezpośrednich, wylosowało 664 972 gospodarstwa domowe i ustaliło, że 653 144 z nich są zamieszkane. Przeprowadzono wywiady w 636 699 z nich, co daje wskaźnik odpowiedzi 97,5%. Uważnie przeczytaj ten mianownik, bo to najczęstsze miejsce, w którym wskaźnik odpowiedzi się psuje: w odniesieniu do liczby wylosowanych, a nie zamieszkanych gospodarstw, to samo badanie terenowe daje 95,7%. Próbę wylosowano z 30 456 grup we wszystkich 707 dystryktach.¹⁰

Te dwa fakty pochodzą z tej samej dekady. Tryb badania i wysiłek włożony w badanie terenowe wpływają na wskaźniki odpowiedzi znacznie bardziej niż jakiekolwiek ogólne twierdzenie o zmęczeniu ankietami. Jeśli poradnik podaje Ci, że przeciętny wskaźnik odpowiedzi to jakaś jedna liczba, nie opisuje rzeczywistej wielkości.

Teraz trudniejsze ustalenie. Metaanaliza 235 oszacowań błędu braku odpowiedzi z 30 opublikowanych badań wykazała, że korelacja między wskaźnikiem odpowiedzi a wielkością błędu braku odpowiedzi wynosiła 0,33. Po podniesieniu do kwadratu oznacza to, że wskaźnik odpowiedzi wyjaśnia około 11% zmienności obciążenia.¹¹ Kolejna analiza 59 badań zaprojektowanych specjalnie do pomiaru błędu braku odpowiedzi doszła do tego samego wniosku.¹²

Wskaźnik odpowiedzi warto podawać i warto go poprawiać. Nie jest jednak certyfikatem. Obciążenie powstaje wtedy, gdy skłonność do udzielenia odpowiedzi wiąże się z tym, co mierzysz. Ankieta o wolontariacie cierpi na to znacznie bardziej niż ankieta o prędkości internetu. Goń za korelacją, a nie za odsetkiem.

Więcej wypełnień nie naprawi wadliwego operatu

Podczas kampanii szczepień w 2021 roku dwie bardzo duże ankiety śledziły poziom zaszczepienia w Stanach Zjednoczonych. Jedna zbierała około 250 000 wypełnień tygodniowo i zawyżyła odsetek osób zaszczepionych pierwszą dawką o 17 punktów procentowych w porównaniu z oficjalnym punktem odniesienia. Druga zbierała około 75 000 co dwa tygodnie i zawyżyła go o 14. Trzecia ankieta, licząca około 1000 uczestników i prowadzona zgodnie ze standardową praktyką probabilistyczną, dała wiarygodne oszacowania.¹³

Ten sam wzorzec pojawia się w zwykłej pracy ankietowej. W porównaniu trzech paneli probabilistycznych z trzema internetowymi źródłami opartymi na dobrowolnym zgłoszeniu, obejmującym 28 punktów odniesienia i 29 937 wywiadów, średni błąd bezwzględny wyniósł 5,8 punktu procentowego dla prób z dobrowolnym zgłoszeniem i 2,6 dla paneli probabilistycznych. W przypadku 25 z tych punktów odniesienia, dostępnych dla podgrup, różnica dla dorosłych w wieku od 18 do 29 lat wyniosła 11,2 wobec 3,6.¹⁴

I zapadający w pamięć test diagnostyczny: w jednej ankiecie z dobrowolnym zgłoszeniem 12% dorosłych poniżej 30 roku życia stwierdziło, że ma uprawnienia do kierowania okrętem podwodnym o napędzie atomowym.¹⁵ Rzeczywista liczba jest bliska zeru. Jeśli panel potrafi dać taki wynik, potrafi dać każdy, a większe zamówienie w tym samym panelu kupuje tylko więcej tego samego.

Kogo pomija Twój operat poza USA i Wielką Brytanią

Większość poradników o doborze próby po cichu zakłada zachodni operat: listę adresów e-mail, telefon stacjonarny, krajowy rejestr adresów. Duża część świata nie dobiera prób w ten sposób, a luki w pokryciu mają zmierzony kształt.

• Ankieta online w kraju o niskim lub średnim dochodzie to próba jego podłączonej do sieci części, a ta część jest zdominowana przez mężczyzn. Kobiety w krajach o niskim i średnim dochodzie o 14% rzadziej niż mężczyźni korzystają z mobilnego internetu, co oznacza około 235 milionów kobiet mniej niż mężczyzn w sieci.¹⁶
• Próby telefoniczne nadreprezentują głowy gospodarstw domowych. W telefonicznych badaniach Banku Światowego w czterech krajach afrykańskich mężczyźni stanowili 52% uczestników w Ugandzie i 73% w Nigerii, wobec mniej więcej połowy populacji dorosłych. W Ugandzie 6% uczestników badania telefonicznego było w wieku od 15 do 24 lat, wobec 38% populacji dorosłych.¹⁷
• Co z tym zrobić. Łącz tryby badania, zamiast bronić jednego. Spisuj gospodarstwa domowe na miejscu tam, gdzie nie ma rejestru. Prowadź badanie w językach, w których Twoja populacja faktycznie czyta, i przeprowadź pretest tłumaczenia, zamiast tłumaczyć je z powrotem. Następnie opisz pozostałą lukę w ograniczeniach badania, bo i tak nadal będzie istnieć.

Co ważenie może naprawić, a czego nie

Ważenie dostosowuje dane tak, by skład próby odpowiadał znanym danym o populacji. To naprawdę skuteczne narzędzie i nagminnie przecenia się jego możliwości.

Argument za. W 2016 roku ostatni sondaż University of New Hampshire dawał Clinton przewagę 11 punktów procentowych w wyścigu, który wygrała różnicą 0,4. Sondaż nie był ważony według wykształcenia. Komisja oceniająca uznała, że ta jedna korekta usunęłaby praktycznie cały błąd.¹⁸ Jedna zmienna, skorelowana zarówno z udzieleniem odpowiedzi, jak i z wynikiem, wykonała całą pracę.

Argument przeciw poleganiu na nim. Gdy ponad 30 000 internetowych wywiadów z dobrowolnym zgłoszeniem porównano z 24 punktami odniesienia, średnie szacowane obciążenie bez ważenia wyniosło 8,4 punktu procentowego. Żadna z testowanych procedur ważenia, łącznie z zaawansowanymi metodami dopasowania, nie obniżyła średniego obciążenia poniżej 6 punktów.¹⁹ Czterokrotne zwiększenie wielkości próby dało kolejne 0,2 punktu.

Wniosek jest prosty. Ważenie koryguje nierównowagę w zmiennych, według których ważysz, w takim stopniu, w jakim te zmienne wiążą się z wynikiem. Nie zmienia niczego w tym, czym uczestnicy różnią się od osób, które nie odpowiedziały, pod względem cech, których nigdy nie zmierzono, i nigdy nie zamienia próby nieprobabilistycznej w taką, która pozwala podać precyzję.

Miara precyzji to dolna granica, a nie górna

Margines błędu określa zmienność wynikającą z losowania próby i tylko ją. Zakłada, że próbę wylosowano z populacji docelowej i że pozostałe obciążenie zostało usunięte. Błąd pokrycia, błąd braku odpowiedzi, błąd pomiaru i nieuczciwi uczestnicy leżą poza nim.

Dowody są bezlitosne. W ostatnich dwóch tygodniach przed wyborami w 2020 roku 348 stanowych sondaży prezydenckich podało margines błędu, a średnia podana wartość wynosiła 3,9 punktu. W odniesieniu do tej średniej 55% z nich pomyliło się co do ostatecznej różnicy o więcej niż jeden margines błędu, a 21% o więcej niż dwa.²⁰ Były to nowoczesne sondaże prowadzone nowoczesnymi metodami. Traktuj margines błędu jako dolną granicę swojej niepewności, nigdy jako górną.

Ocena A oznacza oficjalną statystykę, metaanalizę lub powtórzony wynik. Ocena B oznacza jedno mocne badanie, którego wniosku nie powtórzono jeszcze niezależnie.

Efekt schematu losowania: dlaczego próby grupowe potrzebują więcej osób

Prawie każdy poradnik poleca dobór grupowy ze względu na oszczędność kosztów i na tym kończy. Oszczędność jest prawdziwa, ale rachunek także. Osoby w tej samej szkole, przychodni, okręgu czy sklepie są do siebie podobne. Bardziej niż do osób wylosowanych z całej populacji. Każde dodatkowe wypełnienie z grupy, którą już wybrano, wnosi więc mniej nowych informacji.

Efekt schematu losowania to liczba, która to mierzy. Mówiąc słowami: o ile szerszy staje się zakres Twojej niepewności w porównaniu z niezależnym wylosowaniem tej samej liczby osób. Dla schematu z grupami równej wielkości wynosi on

efekt schematu losowania = 1 + (średnia wielkość grupy - 1) x korelacja wewnątrzklasowa

Korelacja wewnątrzklasowa mówi, jak bardzo osoby w obrębie grupy są do siebie podobne pod względem tego, co mierzysz. Zero oznacza, że przynależność do tej samej szkoły nic nie mówi o odpowiedzi ucznia. Jeden oznacza, że wszyscy w szkole odpowiadają identycznie, więc szkoła równie dobrze mogłaby być jedną osobą. Rzeczywiste wartości są małe, ale małe wartości wyrządzają dużo szkód, gdy grupy stają się duże. Po zsumowaniu danych z 48 krajowych badań gospodarstw domowych średnia korelacja wewnątrzklasowa wynosi około 0,06. Zależy od tego, co mierzysz. Dla pytań o dzietność wynosi około 0,01 do 0,03, dla obecnego stosowania antykoncepcji 0,03 do 0,05, a dla porodów z pomocą medyczną w danych krajowych nawet 0,22.²¹

Jeśli nie masz własnego oszacowania, ostrożnie zapożycz wartość domyślną. Podręcznik doboru próby DHS przyjmuje 1,5 dla deft, gdy badanie nie ma własnej wartości.²² Deft to nie ta sama wielkość co efekt schematu losowania we wzorze powyżej: to stosunek dwóch błędów standardowych, podczas gdy efekt schematu losowania to stosunek dwóch wariancji. Deft podnosi się do kwadratu, więc deft równy 1,5 to efekt schematu losowania równy 2,25. Podręcznik nazywa tę wartość awaryjną, a nie typową, a w jego własnych przykładach z obliczeniami przyjęto 1,40 dla stosowania nowoczesnej antykoncepcji i 1,22 dla szczepień dzieci.

Ważenie dodaje własny składnik. Krajowe badanie, które nadreprezentuje jeden region, a potem przywraca mu właściwy udział przez ważenie, ma jednocześnie dwa efekty schematu. Efekt ważenia 1,22 i efekt grupowania 1,80 dają łączny efekt schematu losowania 2,20. Tak więc 5000 przebadanych gospodarstw domowych zachowuje się jak 2277 niezależnych.²³

Lekcja dla projektu badania. Więcej grup z mniejszą liczbą osób w każdej wygrywa z mniejszą liczbą grup z większą liczbą osób w każdej niemal zawsze. Czterdzieści szkół po 24 uczniów i 24 szkoły po 40 uczniów kosztują mniej więcej tyle samo, czyli 960 wypełnień, ale pierwszy wariant ma mniejszy efekt schematu losowania i daje wynik do obrony. Jeśli planujesz, ile wypełnień potrzebujesz łącznie, oblicz to w naszym przewodniku po wielkości próby, a następnie pomnóż przez efekt schematu losowania. Robienie tego w odwrotnej kolejności sprawia, że badania grupowe kończą się zbyt małą mocą statystyczną.

Trzy przykłady z obliczeniami, od początku do końca

Nazwy metod są łatwe. To decyzje wokół nich sprawiają, że badania naprawdę się psują. Te trzy przykłady prowadzą rzeczywisty schemat od określenia populacji aż do zdania, które możesz opublikować.

Przykład 1: doświadczenia pacjentów w całym powiecie

• Populacja. Dorośli, którzy byli na wizycie ambulatoryjnej w którejkolwiek z 46 publicznych przychodni w powiecie między 1 kwietnia a 30 czerwca.
• Operat. Nie istnieje rejestr pacjentów obejmujący cały powiat. Istnieje lista 46 przychodni z miesięczną liczbą wizyt.
• Metoda. Dobór wielostopniowy. Wylosuj 18 przychodni z prawdopodobieństwem proporcjonalnym do liczby wizyt, a następnie systematycznie wybieraj co 8. wychodzącego pacjenta w dwa losowo wybrane dni przyjęć.
• Dlaczego nie coś prostszego. Pełna lista pacjentów pozwoliłaby na dobór warstwowy, ale nie istnieje i nie da się jej zbudować w dostępnym czasie. Próba wygodna w trzech największych przychodniach byłaby szybsza i opisywałaby trzy największe przychodnie.
• Co trzeba podać. Prawdopodobieństwa wyboru różnią się w zależności od wielkości przychodni, więc analiza wymaga wag, a przedział trzeba poszerzyć o efekt schematu losowania.
• Zdanie do publikacji. „Wśród dorosłych korzystających z publicznych przychodni ambulatoryjnych w powiecie w drugim kwartale szacunkowo 71% oceniło czas oczekiwania jako akceptowalny; oszacowanie oparto na 1240 wywiadach z pacjentami wychodzącymi z wizyty w 18 przychodniach wylosowanych z prawdopodobieństwem proporcjonalnym do liczby wizyt”.

Przykład 2: badanie do pracy dyplomowej na populacji studentów

• Populacja. Studenci zapisani na Wydział Handlu w bieżącym roku akademickim: 3100 osób na trzech latach studiów.
• Operat. Rejestr studentów wydziału, zawierający rok i kierunek studiów.
• Metoda. Warstwowy dobór losowy według roku studiów, alokacja proporcjonalna, cel: 350 wypełnień.
• Obliczenia. Pierwszy rok liczy 1300 studentów, czyli 42% z 3100, więc otrzymuje 42% z 350, czyli 147 wypełnień. Powtórz to dla każdego roku. Ponieważ alokacja jest proporcjonalna, ważenie nie jest potrzebne.
• Planowanie odpowiedzi. Przy oczekiwanym wskaźniku odpowiedzi 35% musisz zaprosić około 1000 studentów, aby uzyskać 350 wypełnień, a zaproszenia należy wysyłać warstwa po warstwie, aby słaby odzew na jednym roku był widoczny, póki jest jeszcze czas na reakcję.
• Ograniczenia do opisania. Studenci, którzy zrezygnowali, ale nadal są w rejestrze, to nadmierne pokrycie. Studenci zapisani po pobraniu rejestru to niepełne pokrycie. Oba przypadki należą do akapitu o ograniczeniach.

Przykład 3: opinie klientów sklepu internetowego

• Populacja. Klienci, którzy złożyli zamówienie w ciągu ostatnich 90 dni.
• Operat. Tabela zamówień. Jest kompletna dla zamówień online i kompletna dla zakupów bez rejestracji, ale klient z dwoma kontami pojawia się w niej dwa razy.
• Metoda. Usuń duplikaty, zostawiając jeden wiersz na klienta, a następnie zastosuj dobór systematyczny co 12. klienta po losowym starcie, prowadzony w sposób ciągły, a nie jednorazowo.
• Pułapka, której to pozwala uniknąć. Zapraszanie wyłącznie subskrybentów newslettera jest szybsze i daje próbę wygodną najbardziej zaangażowanych klientów. Sprawi, że zadowolenie będzie wyglądać lepiej, niż jest naprawdę, niezawodnie, w każdym kwartale.
• Uwaga o pracownikach. Ta sama organizacja, badając swoich 180 pracowników, w ogóle nie powinna dobierać próby. Ta populacja jest mała, osiągalna, a każdy ma prawo zostać zapytany. Przeprowadź badanie pełne, a jeśli udział jest niski, potraktuj to jako ustalenie, a nie problem doboru próby.

Jak napisać część metodologii poświęconą doborowi próby

To krok, który większość poradników pomija, a to właśnie go czyta promotor, recenzent lub klient. Opis doboru próby musi po kolei odpowiedzieć na pięć pytań: kto, z jakiej listy, jak wybrany, ilu i co w związku z tym wolno Ci twierdzić.

Uzupełnij luki poniżej. Wzór jest celowo prosty: egzaminatorzy nie szukają tu eleganckiej prozy, tylko schematu, który mogą ocenić.

To samo badanie opisane słabo i opisane dobrze

Słabo. „Pobrano losową próbę studentów i zebrano 350 wypełnień”.

Niczego tu nie da się sprawdzić. Słowo „losowa” wykonuje pracę, na którą nie zasłużyło, nie ma operatu, mianownika ani informacji o tym, kogo wykluczono.

Dobrze. „Populację docelową stanowiło 3100 studentów zapisanych na Wydział Handlu w 2026 roku. Operatem losowania był rejestr studentów wydziału pobrany 3 marca 2026 roku. Zastosowano warstwowy dobór losowy według roku studiów z alokacją proporcjonalną, aby każdy rok można było raportować osobno. Zaproszono tysiąc studentów, a 350 wypełniło kwestionariusz, co daje wskaźnik odpowiedzi 35%. Nie zastosowano ważenia, ponieważ alokacja była proporcjonalna. Studenci, którzy zrezygnowali po dacie pobrania rejestru, pozostali w operacie i nie można ich było zidentyfikować, co stanowi niewielkie źródło nadmiernego pokrycia”.

Druga wersja jest dłuższa, a każde dodatkowe zdanie to zdanie, o które recenzent nie musi już pytać.

Lista kontrolna planu doboru próby

Spisany plan doboru próby zapobiega większości błędów, których da się uniknąć, bo wymusza podjęcie decyzji przed badaniem terenowym, a nie w trakcie analizy. Osiem punktów, jedna strona.

Gdy plan jest ustalony, to narzędzie badawcze decyduje o tym, czy warto było losować próbę. Idealna próba nie uratuje pytania sugerującego ani pytania o dwie rzeczy naraz, dlatego zanim cokolwiek uruchomisz, warto przejrzeć przykładowe pytania do ankiety.

Najczęściej zadawane pytania

Powiązane artykuły

Dobór próby to jedna decyzja w ramach większego badania. Te przewodniki omawiają decyzje przed nią i po niej.

• Projekt badania ankietowego pokazuje, gdzie dobór próby mieści się wśród pozostałych etapów badania, od zdefiniowania populacji po uruchomienie.
• Jak ustalić wielkość próby omawia obliczenia precyzji, które ta strona celowo pomija, łącznie ze wzorami.
• Jak pisać pytania do ankiety omawia stronę pomiarową, której żaden schemat doboru próby nie uratuje.
• Zasady budowy kwestionariusza pokazują, jak złożyć całe narzędzie, gdy pytania są już gotowe.
• Zniekształcenie odpowiedzi dokładniej omawia różnicę między osobami wybranymi a osobami, które odpowiedziały.
• Pytania demograficzne w ankiecie przydadzą się, gdy w Twoim operacie brakuje zmiennej potrzebnej do warstwowania.
• Istotność statystyczna pokazuje, co zrobić z liczbami, gdy próba jest już zebrana.
• Ilościowa analiza danych omawia kolejne kroki analizy, w tym miejsce na wagi.

Jak powstał ten przewodnik i czego nie obejmuje

Kto go napisał. Michael Hodge, który zajmuje się metodologią badań ankietowych, konstruowaniem pytań i jakością danych w SuperSurvey oraz pisze praktyczne przewodniki w naszym dziale „Poradniki i pomoc”.

Na czym się opiera. Definicje są zgodne z przeglądem metodologicznym i wytycznymi uczelnianymi cytowanymi poniżej, bo to tam faktycznie definiuje się pojęcia techniczne. Oficjalne strony dotyczące rzetelności badań i urzędów statystycznych podajemy jako krótkie, przystępne punkty wyjścia, a nie jako źródło tych definicji. Opisy metod opierają się na tych samych przeglądach i wytycznych. Każda liczba w części z dowodami pochodzi z wymienionego poniżej źródła pierwotnego. Każde twierdzenie ma też ocenę wiarygodności, więc widać, które ustalenia są pewne, a które opierają się na jednym badaniu. Wartości efektu schematu losowania na wykresie i w tabeli to nasze własne obliczenia. Użyliśmy standardowego wzoru, a założenia podaliśmy w podpisie, więc możesz je przeliczyć lub zakwestionować na podstawie wielkości własnych grup.

Czego nie obejmuje. Ten przewodnik dotyczy doboru próby w ankietach i badaniach obserwacyjnych. Nie omawia projektowania eksperymentów ani losowego przydziału poza ich odróżnieniem. Pomija też dobór próby w kontroli odbiorczej, audycie i przetwarzaniu sygnałów, gdzie to samo słowo oznacza co innego. Dobór sterowany przez respondentów, dobór czasowo-lokalizacyjny i adaptacyjny dobór grupowy to rzeczywiste metody stosowane przez specjalistów w badaniach populacji ukrytych, ale wykraczają poza zakres tej strony. Wartości korelacji wewnątrzklasowej pochodzą z badań gospodarstw domowych w krajach o niskim i średnim dochodzie. Traktuj je jako ilustrację, a nie wartości do przeniesienia w inne warunki.

Gdzie liczby są najsłabsze. Ponowna analiza Literary Digest opiera się na jednym badaniu z 1937 roku i jednej późniejszej ponownej analizie, a obaj autorzy sami sygnalizują swoją niepewność; dlatego ma ocenę B. Dane o błędach sondaży pochodzą z sondaży wyborczych w Stanach Zjednoczonych, które są wyjątkowo dobrze zbadane, ale niekoniecznie reprezentatywne dla błędów ankiet w ogóle.

Ujawnienie. SuperSurvey sprzedaje oprogramowanie do ankiet. Nic na tej stronie nie jest na sprzedaż, żadna jej część nie wymaga rejestracji, a żadna organizacja nie sponsorowała ani nie recenzowała tego przewodnika. Jeśli linkujemy do naszych własnych stron, to dlatego, że omawiają kolejną decyzję, a nie dlatego, że link coś nam przynosi.

Bibliografia