Losowy przydział jest dobrym sposobem sprawdzania, czy leczenie albo program przynosi skutek. W przypadku ustaw, zmian finansowania szpitali, podatków, zakazów i programów publicznych taki przydział często nie jest możliwy.
Badacze korzystają wtedy między innymi z metody difference-in-differences, w skrócie DiD. Po polsku mówi się o metodzie podwójnej różnicy albo różnicy w różnicach (1).
Jej zasada jest prosta:
– mierzymy wynik w grupie objętej zmianą przed jej wprowadzeniem i po nim,
– wykonujemy ten sam pomiar w grupie porównawczej,
– obliczamy zmianę w każdej grupie,
– odejmujemy od siebie obie zmiany.
Prosty przykład
Załóżmy, że część szpitali wprowadziła program ograniczający zakażenia pooperacyjne.
W szpitalach objętych programem odsetek zakażeń spadł z 10% do 6%. Zmiana wynosi więc 4 punkty procentowe.
W pozostałych szpitalach odsetek spadł w tym samym czasie z 8% do 6%. Zmiana wynosi 2 punkty procentowe.
Oszacowanie DiD wynosi:
–4 punkty procentowe – (–2 punkty procentowe) = –2 punkty procentowe.
Spadek o 2 punkty można przypisać programowi, o ile spełnione są założenia metody.
Samo porównanie wyniku 6% przed i po reformie dałoby spadek o 4 punkty. Pomijałoby jednak zmiany zachodzące w całym systemie: nowe leki, sezonowość, poprawę diagnostyki, zmianę sposobu raportowania albo ogólnokrajową kampanię higieny.
Grupa porównawcza służy do oszacowania, jaka część zmiany prawdopodobnie wystąpiłaby również bez badanego programu (1).
Grupy nie muszą zaczynać z tego samego poziomu
W przykładzie szpitale objęte programem miały początkowo więcej zakażeń niż pozostałe: 10% wobec 8%.
DiD może uwzględnić taką stałą różnicę między grupami. Badanie nie wymaga identycznych wartości przed interwencją.
Znaczenie ma sposób, w jaki wyniki zmieniałyby się w czasie bez programu.
Założenie równoległych trendów
Podstawą interpretacji przyczynowej jest założenie, że bez interwencji wynik w obu grupach zmieniałby się podobnie.
W przykładzie trzeba przyjąć, że bez programu zakażenia w objętych nim szpitalach spadłyby o około 2 punkty procentowe, tak jak w grupie porównawczej.
Tego przebiegu nie można bezpośrednio zaobserwować. Po wprowadzeniu programu nie wiemy, co wydarzyłoby się w tych samych szpitalach, gdyby program nie powstał. Jest to wynik kontrfaktyczny, czyli wynik w sytuacji, która nie nastąpiła (1, 2).
Wiarygodność założenia ocenia się na podstawie kilku rodzajów informacji:
– przebiegu wyników w wielu okresach przed interwencją,
– wiedzy o sposobie wyboru miejsc objętych programem,
– podobieństwa grup pod względem czynników wpływających na zmianę wyniku,
– innych reform i wydarzeń występujących w badanym okresie,
– możliwości, że interwencja wpłynęła także na grupę porównawczą.
Podobne trendy przed programem zwiększają wiarygodność analizy. Nie stanowią dowodu, że pozostałyby równoległe po dacie jego rozpoczęcia.
Dlaczego sam test statystyczny trendów nie wystarcza
Badacze czasem sprawdzają, czy różnice w trendach przed interwencją są statystycznie istotne. Brak istotnego wyniku bywa przedstawiany jako potwierdzenie założenia.
Taki test może mieć małą moc. Przy krótkim okresie obserwacji, niewielu jednostkach albo dużej zmienności może nie wykryć różnicy, która ma znaczenie dla wyniku.
Lepsza ocena obejmuje wykres, rozmiar możliwych odchyleń, przedziały ufności i wiedzę o badanym systemie. Badacz powinien określić, jak duże odejście od równoległych trendów mogłoby zmienić wniosek (1, 6).
Do czego służy analiza typu event study
Event study przedstawia oszacowania dla kolejnych okresów przed interwencją i po niej.
Pozwala sprawdzić:
– czy grupy rozchodziły się już przed zmianą,
– czy efekt pojawił się od razu,
– czy narastał stopniowo,
– czy zanikał,
– czy zachowanie zmieniło się jeszcze przed formalnym rozpoczęciem programu.
Ostatnia sytuacja może wystąpić, gdy szpitale znają datę reformy i wcześniej zmieniają procedury. Taką reakcję określa się jako efekt wyprzedzający.
Wyniki event study wymagają ostrożnej interpretacji. Gdy różne szpitale lub regiony przyjmują program w różnych terminach, tradycyjny model z efektami stałymi może porównywać jednostki nowo objęte interwencją z jednostkami objętymi nią już wcześniej. Przy zmieniającym się efekcie programu prowadzi to do trudnych do interpretacji średnich, a czasem do pozornych różnic jeszcze przed interwencją (3–5).
Problem reform wprowadzanych w różnych terminach
Najprostszy DiD obejmuje dwie grupy i dwa okresy: przed i po.
Prawdziwe reformy często wyglądają inaczej:
– jeden region rozpoczyna program w styczniu,
– drugi w lipcu,
– trzeci rok później,
– część regionów nie wprowadza go wcale.
Efekt może zależeć od czasu, który upłynął od wdrożenia. Początkowo program może powodować zakłócenia, a poprawa pojawia się dopiero po kilku miesiącach. Skutek może też różnić się między dużymi i małymi szpitalami.
Klasyczna regresja z efektami stałymi dla jednostek i czasu może wtedy łączyć porównania o różnym znaczeniu. Niektóre z nich mogą otrzymać nietypowe wagi.
Powstały estymatory przeznaczone do analiz z wieloma okresami i różnymi terminami wdrożenia. Osobno szacują efekty dla grup rozpoczynających program w danym czasie, a następnie łączą wyniki w sposób zgodny z pytaniem badawczym (3–5).
Dobór metody powinien zależeć od:
– dat wprowadzenia interwencji,
– obecności grupy, która nigdy jej nie otrzymała,
– możliwości zmiany efektu w czasie,
– różnic efektu między grupami,
– rodzaju dostępnych danych.
Obserwacje w jednej jednostce są ze sobą powiązane
Reforma może być wprowadzona na poziomie stanu, powiatu, szkoły albo szpitala, podczas gdy dane dotyczą tysięcy pojedynczych osób.
Pacjenci z tego samego szpitala nie stanowią tysięcy niezależnych wdrożeń. Otrzymują tę samą interwencję i podlegają wspólnym procedurom, personelowi oraz lokalnym zdarzeniom.
Błędy standardowe powinny uwzględniać taki układ danych. Często grupuje się je na poziomie, na którym przydzielono lub wprowadzono interwencję.
Ignorowanie zależności wewnątrz grup może dać zbyt wąskie przedziały ufności i zbyt małe wartości p. Badanie zaczyna wtedy wyglądać na bardziej precyzyjne, niż jest w rzeczywistości (1, 7).
Problem staje się trudniejszy, gdy liczba stanów, szpitali lub szkół jest mała. Zwykłe grupowanie błędów może wtedy działać źle. Stosuje się między innymi korekty dla małej liczby grup, procedury bootstrap albo testy oparte na randomizacji.
Równoległe trendy mogą obowiązywać dopiero po uwzględnieniu cech grup
W niektórych badaniach grupy miałyby podobny przebieg dopiero po porównaniu jednostek o zbliżonych cechach.
Przykładowo duże szpitale miejskie mogą mieć inne trendy niż małe placówki wiejskie. Porównywanie wszystkich szpitali bez uwzględnienia tej różnicy może naruszyć założenie metody.
Można wtedy modelować trendy warunkowe, stosować ważenie albo dobierać jednostki porównawcze. Zmienne używane w analizie powinny być mierzone przed interwencją i wynikać z wiedzy o procesie, który decydował o wdrożeniu programu oraz zmianach wyniku.
Automatyczne dodawanie dużej liczby zmiennych nie naprawia źle dobranej grupy porównawczej.
Inne reformy mogą zostać pomylone z badanym programem
Załóżmy, że region wprowadza nowy sposób finansowania szpitali, a jednocześnie:
– zwiększa zatrudnienie pielęgniarek,
– zmienia system raportowania,
– uruchamia centralne zakupy leków,
– zamyka część oddziałów.
DiD może oszacować łączną zmianę związaną z pakietem działań. Rozdzielenie skutków poszczególnych części wymaga dodatkowych danych lub innego projektu badania.
Badacze powinni wcześniej określić, jaki efekt próbują oszacować: ogłoszenia reformy, formalnego wdrożenia, rzeczywistego stosowania nowych procedur czy poziomu uczestnictwa pacjentów.
Grupa porównawcza może zostać objęta skutkami programu
Interwencja w jednym regionie może zmienić zachowanie sąsiednich regionów.
Pacjenci mogą przenieść się do innych szpitali. Personel może zmienić miejsce pracy. Sąsiednie placówki mogą skopiować część procedur. Ogólnokrajowa informacja o programie może wpłynąć na podmioty, które formalnie nie brały w nim udziału.
Taki przepływ skutków zmniejsza różnicę między grupami i narusza założenie, że grupa porównawcza pozostaje poza oddziaływaniem interwencji.
Zmiana składu badanych osób też może zmienić wynik
DiD można prowadzić na tych samych osobach obserwowanych przez dłuższy czas albo na kolejnych próbach pobieranych przed i po reformie.
W drugim przypadku wynik może się zmienić, ponieważ po reformie badana populacja jest inna.
Przykładowo spadek średniego czasu pobytu w szpitalu może wynikać z wcześniejszego wypisywania pacjentów. Może też wynikać z przyjmowania po reformie osób o lżejszym stanie zdrowia.
Analiza powinna sprawdzać, czy zmieniły się cechy pacjentów, kryteria kwalifikacji, migracja, sposób zbierania danych oraz liczba brakujących obserwacji.
Kiedy można mówić o przyczynie
Sam wybór modelu DiD nie gwarantuje wniosku przyczynowego.
Taki wniosek staje się wiarygodny, gdy:
– grupa porównawcza odpowiada badanemu pytaniu,
– równoległe trendy są uzasadnione przez dane i wiedzę o kontekście,
– nie wystąpiły równoczesne zdarzenia działające odmiennie na obie grupy,
– interwencja nie zmieniła wyniku w grupie porównawczej,
– prawidłowo uwzględniono terminy wdrożenia, zależności w danych i różnice efektów,
– wyniki pozostają podobne w analizach sprawdzających inne rozsądne założenia.
JAMA zaleca dostosowanie języka wniosków do siły tych argumentów. Dobrze zaprojektowana analiza może wspierać stwierdzenie o efekcie interwencji. Gdy założenia są słabo uzasadnione, bezpieczniejsze jest opisanie związku między wdrożeniem a zmianą wyniku (1, 2).
Co powinien zawierać dobry raport z analizy DiD
Czytelnik powinien otrzymać:
– dokładny opis interwencji i grupy porównawczej,
– daty wdrożenia,
– wykres surowych wyników przed i po interwencji,
– uzasadnienie równoległych trendów,
– event study lub inną analizę okresów przedinterwencyjnych,
– opis równoczesnych reform i możliwych efektów wyprzedzających,
– informację o poziomie grupowania błędów standardowych,
– metodę odpowiednią dla stopniowego wdrażania,
– analizy wrażliwości,
– jasną definicję szacowanego efektu.
Difference-in-differences pozwala badać skutki zmian, których nie można było losowo przydzielić. Jego wiarygodność zależy od jakości porównania i wiedzy o tym, co działo się w obu grupach przed interwencją oraz po jej wprowadzeniu.
Źródła:
- A. Bilinski, S. Feng, L.A. Hatfield, „Estimating Intervention Effects With Difference-in-Differences”, JAMA, opublikowano online 16 lipca 2026, DOI: 10.1001/jama.2026.12551.
- I.J. Dahabreh, R.J. Lewis, „Causal Language for Studies Using Difference-in-Differences Analyses”, JAMA, opublikowano online 16 lipca 2026, DOI: 10.1001/jama.2026.12553.
- B. Callaway, P.H.C. Sant’Anna, „Difference-in-Differences with Multiple Time Periods”, Journal of Econometrics 225, 200–230, 2021, DOI: 10.1016/j.jeconom.2020.12.001.
- L. Sun, S. Abraham, „Estimating Dynamic Treatment Effects in Event Studies with Heterogeneous Treatment Effects”, Journal of Econometrics 225, 175–199, 2021, DOI: 10.1016/j.jeconom.2020.09.006.
- A. Goodman-Bacon, „Difference-in-Differences with Variation in Treatment Timing”, Journal of Econometrics 225, 254–277, 2021, DOI: 10.1016/j.jeconom.2021.03.014.
- J. Roth i in., „What’s Trending in Difference-in-Differences? A Synthesis of the Recent Econometrics Literature”, Journal of Econometrics 235, 2218–2244, 2023, DOI: 10.1016/j.jeconom.2023.03.008.
- M. Bertrand, E. Duflo, S. Mullainathan, „How Much Should We Trust Differences-in-Differences Estimates?”, Quarterly Journal of Economics 119, 249–275, 2004, DOI: 10.1162/003355304772839588.