Czy wyszukiwarki internetowe zastąpią bibliograficzne bazy danych w systematycznej identyfikacji badań?

W dzisiejszym świecie, gdzie informacja jest na wyciągnięcie ręki, akademicy, bibliotekarze i specjaliści ds. informacji stają przed nie lada wyzwaniem – jak skutecznie i efektywnie przeszukiwać zasoby wiedzy, by dotrzeć do rzeczywiście istotnych badań? Pytanie to nabiera szczególnego znaczenia w kontekście rosnącej popularności wyszukiwarek internetowych, takich jak Google Scholar, które kuszą łatwością dostępu i szerokim zakresem. Czy jednak są one w stanie zastąpić tradycyjne bibliograficzne bazy danych?

Podróż przez labirynt informacji

Wyobraźmy sobie badacza, który staje przed zadaniem przeglądu literatury na dany temat. Może on wybrać tradycyjną ścieżkę, korzystając z baz danych takich jak Scopus, Web of Science, czy Medline, oferujących zaawansowane narzędzia wyszukiwania i precyzyjnie indeksowane treści. Może też skierować swoje kroki ku Google Scholar – wygodnemu, ale i tajemniczemu narzędziu, którego algorytmy pozostają w dużej mierze nieznane.

Eksperyment myślowy

Załóżmy, że nasz badacz poszukuje publikacji z zakresu zdrowia i opieki społecznej, porównujących efektywność baz danych i wyszukiwarek internetowych. Jakie napotka wyzwania? Czy Google Scholar okaże się wystarczający?

Rezultaty badania – spojrzenie na metapoziom

Przyjrzyjmy się badaniu Batesa i in. (2016), które systematycznie analizuje tę kwestię (patrz załączony artykuł). Autorzy przeprowadzili rygorystyczny przegląd literatury, przeszukując 8 baz danych i 5 wyszukiwarek internetowych, by ostatecznie zidentyfikować 16 unikalnych badań porównujących te dwa rodzaje narzędzi. I co się okazało?

Wnioski – gdzie leży prawda?

Główne odkrycie jest jednoznaczne: wyszukiwarki internetowe nie są jeszcze gotowe, by zastąpić bibliograficzne bazy danych. Chociaż ich precyzja (precision) – czyli stosunek trafnych wyników do wszystkich zwróconych – może być porównywalna z najlepszymi bazami (szczególnie, gdy ograniczymy się do pierwszych 100 wyników posortowanych według trafności), to ich czułość (sensitivity) – czyli zdolność do wychwycenia wszystkich istotnych publikacji – pozostawia wiele do życzenia.

Czułość (Recall) odnosi się do odsetka istotnych dokumentów, które zostały odzyskane przez wyszukiwanie, w stosunku do wszystkich istotnych dokumentów dostępnych w przeszukiwanym zasobie. Jest to miara „kompletności” wyszukiwania.

Precyzja (Precision) to odsetek odzyskanych dokumentów, które są rzeczywiście istotne dla zapytania. Jest to miara „dokładności” wyszukiwania.

Innymi słowy, korzystając wyłącznie z wyszukiwarek, ryzykujemy pominięcie ważnych badań, co w przypadku przeglądów systematycznych (systematic reviews), dążących do wyczerpania tematu, jest niedopuszczalne.

Co więcej, wyszukiwarki internetowe stwarzają problemy związane z:

1. Ograniczoną kontrolą nad procesem wyszukiwania: Nie mamy pewności, czy zasady logiki Boole’a (AND, OR, NOT) są w pełni przestrzegane, szczególnie przy zmianie kolejności grup pojęć.
2. Brakiem zaawansowanych funkcji: Wyszukiwarki nie oferują tak rozbudowanych możliwości filtrowania i doprecyzowania wyników, jak bazy danych.
3. Nieprzejrzystością algorytmów: Nie wiemy dokładnie, jak wyszukiwarki sortują wyniki, co utrudnia replikację badań i ocenę ich wiarygodności.
4. Zmiennością w czasie: Funkcjonalność i zawartość wyszukiwarek mogą się zmieniać, co dodatkowo komplikuje systematyczne podejście.
5. Brak exportu abstraktów

Metaarchetyp spójności – czyli jak „przybliżać i oddalać”

Ważnym aspektem badania Batesa i in. jest nie tylko analiza samych wyników, ale także metodologii przeprowadzonych badań. Autorzy opracowali specjalną ramę oceny jakości (QAFELS – Quality Appraisal Framework for Electronic Literature Searching), która pozwala na krytyczne spojrzenie na sposób raportowania strategii wyszukiwania w publikacjach naukowych.

Okazuje się, że wiele badań w tej dziedzinie ma braki w dokumentacji, co utrudnia ich replikację i porównywanie. To z kolei rzuca światło na potrzebę większej rygorystyczności i transparentności w raportowaniu strategii wyszukiwania. Badacze powinni precyzyjnie opisywać użyte bazy danych, wyszukiwarki, słowa kluczowe, operatory logiczne, a także daty przeprowadzenia wyszukiwań.

Droga naprzód – w poszukiwaniu „wystarczająco dobrego rygoru”

Badanie Batesa i in. pokazuje, że choć wyszukiwarki internetowe nie zastąpią baz danych w systematycznym identyfikowaniu badań, mogą stanowić cenne uzupełnienie, zwłaszcza w kontekście tzw. „wystarczająco dobrego rygoru”. W sytuacjach, gdzie czas i zasoby są ograniczone (np. prace dyplomowe, granty badawcze), można rozważyć połączenie przeszukiwania baz danych z selektywnym wykorzystaniem wyszukiwarek, koncentrując się na pierwszych, najbardziej trafnych wynikach.

Ostatecznie, kluczem do sukcesu jest świadome i krytyczne podejście do narzędzi wyszukiwania, uwzględniające ich mocne i słabe strony, a także specyfikę danego projektu badawczego. W dobie rosnącej lawinowo ilości publikacji, umiejętność efektywnego i rzetelnego przeszukiwania zasobów wiedzy staje się coraz bardziej cenna.

• Anders, M.E. and Evans, D.P. (2010). Comparison of PubMed and Google Scholar literature searches. Respiratory Care, 55(5), 578-583.
• Badgett, R.G., Dylla, D.P., Megison, S.D. and Harmon, E.G. (2015). An experimental search strategy retrieves more precise results than PubMed and Google for questions about medical interventions. PeerJ, 3: e913.
• Beller, E., Chen, J., Wang, U. and Glasziou, P. (2013). Are systematic reviews up-to-date at the time of publication? Systematic Reviews, 2 (36).
• Best, P., Taylor, B., Manktelow, R. and McQuilkin, J. (2014). Systematically retrieving research in the digital age: case study on the topic of social networking sites and young people’s mental health. Journal of Information Science, 40(3), 346–356.
• Boeker, M., Vach, W. and Motschall, E. (2013). Google Scholar as replacement for systematic literature searches: good relative recall and precision are not enough. BMC Medical Research Methodology, 13(131).
• Bramer, W.M., Giustini, D., Kramer, B.M. and Anderson, P. (2013). The comparative recall of Google Scholar versus PubMed in identical searches for biomedical systematic reviews: a review of searches used in systematic reviews. Systematic Reviews, 2(115).
• Carinci, F. (2012). Implementation of the Tallinn Charter in the WHO European region: where is the evidence? a systematic comparison of online information before and after the end of the year of signature. Health Policy, 104(3), 215-221.
• Centre for Reviews and Dissemination. (2009). Systematic Reviews: CRD’s guidance for undertaking reviews in health care.
• Delaney, G. and Bates, J. (2015). Envisioning the academic library: a reflection on roles, relevancy and relationships. New Review of Academic Librarianship, 21(1), 30-51.
• Doldi, L.M. and Bratengeyer, E. (2005). The Web as a free source for scientific information: a comparison with fee-based databases. Online Information Review, 29(4), 400-411.
• Foster, M. (2015). An overview of the role of librarians in systematic reviews: from expert search to project manager. Journal of EAHIL, 11(3), 3-7.
• Freeman, M.K., Lauderdale, S.A., Kendrach, M.G. and Woolley, T.W. (2009). Google Scholar versus PubMed in locating primary literature to answer drug-related questions. Annals of Pharmacotherapy, 43(3), 478-484.
• Hausner, E., Wafffenschmidt, S., Kaiser, T. and Simon, M. (2012). Routine development of objectively derived search strategies. Systematic Reviews, 1(19).
• Hawker, S.; Payne, S.; Kerr, C.; Hardey, M. and Powell, J. (2002). Appraising the evidence: reviewing disparate data systematically. Qualitative Health Research, 12 (9), 1284-1299.
• Higgins, J. and Green, S. (Eds.) (2011). Cochrane Handbook for Systematic Reviews of Interventions.
• Jones, D.Y. (2005). Biology article retrieval from various databases: making good choices with limited resources. Issues in Science and Technology Librarianship, Fall 2005.
• Koffel J. (2015). Use of recommended search strategies in systematic reviews and the impact of librarian involvement: a cross-sectional survey of recent authors. PLoS ONE, 10(5).
• Lawrence D. W. (2008). What is lost when searching only one literature database for articles relevant to injury prevention and safety promotion? Injury Prevention, 14(6), 401-404.
• Liberati, A., Altman, D., Tetzlaff, J., Mulrow, C., Gøtzsche, P., Ioannidis, J., Clarke, M., Devereaux, P., Kleijnen, J. and Moher, D. (2009). The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate healthcare interventions: explanation and elaboration, BMJ, 339, b2700.
• Linder, S.K., Kamath, G.R., Pratt, G.F., Saraykar, S.S. and Volk, R.J. (2015). Citation searches are more sensitive than keyword searches to identify studies using specific measurement instruments. Journal of Clinical Epidemiology, 68(4), 412-417.
• McFadden, P., Taylor, B., Campbell, A. and McQuilkin, J. (2012). Systematically identifying relevant research: case study on child protection social workers’ resilience. Research on Social Work Practice, 22(6), 626-636.
• McGowan, J. and Sampson, M. (2005). Systematic reviews need systematic searchers, Journal of the Medical Library Association, 93(1), 74-80.
• McGowan, J., Sampson, N. and Lefebvre, C. (2010). An evidence based checklist for the peer review of electronic search strategies (PRESS EBC), Evidence based Library and Information Practice, 5(1).
• McGowan, J., Sampson, M., Salzwedel, D., Cogo, E., Foerster, V., Lefebvre, C. (2016). PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement. Journal of Clinical Epidemiology, 75, 40-46.
• Moher, D., Liberati, A., Tetzlaff, J., Altman, D. G. and The PRISMA Group (2009). Preferred Reporting Items for Systematic Reviews and Meta-Analyses: the PRISMA statement, PLoS Medicine, 6(7).
• Montori, V.M., Wilczynsk, N.L., Morgan, D. and Haynes, R.B. (2005). Optimal search strategies for retrieving systematic reviews from Medline: analytical survey. BMJ, 330, 68.
• Niu, X. and Hemminger, B. M. (2012). A study of factors that affect the information-seeking behavior of academic scientists. Journal of the American Society for Information Science and Technology, 63(2), 336-353.
• Nourbakhsh, E., Nugent, R., Wang, H., Cevik, C. and Nugent, K. (2012). Medical literature searches: a comparison of PubMed and Google Scholar. Health Information and Libraries Journal, 29(3), 214-222.
• Rader, T., Mann, M., Stansfield, C., Cooper, C. and Sampson, M. (2014). Methods for documenting systematic review searches: a discussion of common issues. Research Synthesis Methods, 5(2), 98-115.
• Shamseer, L., Moher, D., Clarke, M., Ghersi, D., Liberati, A., Petticrew, M., Shekelle, P. and Stewart, L. (2015). Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015: elaboration and explanation. BMJ, 350, g7647.
• Shariff, S.Z., Bejaimal, S.A., Sontrop, J.M., lansavichus, A.V., Haynes, R.B., Weir M.A. and Garg, A.X. (2013). Retrieving clinical evidence: a comparison of PubMed and Google Scholar for quick clinical searches. Journal of Medical Internet Research, 15(8), e164.
• Shariff, S.Z., Sontrop, J.M., lansavichus, A.V., Haynes, R.B., Weir, M.A., Gandhi, S., Cuerden, M.S. and Garg, A.Χ. (2012). Availability of renal literature in six bibliographic databases. Clinical Kidney Journal, 5(6), 610-617.
• Stevenson, M., Taylor, B. and Knox, J. (2015). Risk in dementia care: searching for the evidence. Health, Risk and Society, 18(1-2), 4-20.
• Taylor, B., Campbell, K. and McGlade, A. (2015) Understanding and Using Research in Social Work. London: Sage.
• Taylor, B.J., Wylie, E., Dempster, M. and Donnelly, M. (2007). Systematically retrieving research: a case study evaluating seven databases, Research on Social Work Practice, 17 (6), 697-706.
• Tober, M. (2011). PubMed, ScienceDirect, Scopus or Google Scholar: which is the best search engine for an effective literature research in laser medicine? Medical Laser Application, 26(3), 139-144.
• Walters, W.H. (2009). Google Scholar search performance: comparative recall and precision. Libraries and the Academy, 9(1), 5-24.
• Walters, W.H. (2007). Google Scholar coverage of a multidisciplinary field. Information Processing and Management, 43(4), 1121-1132.
• Wright, K., Golder, S. and Rodriguez-Lopez, R. (2014). Citation searching: a systematic review case study of multiple risk behaviour interventions. BMC Medical Research Methodology, 14(73).
• Yoshii, A., Plaut, D., McGraw, K., Anderson, M. and Wellik, K. (2009). Analysis of the reporting of search strategies in Cochrane systematic reviews. Journal of the Medical Library Association, 97(1), 21-29.