Development, validation, and reliability of an instrument for assessing knowledge of comprehensive care
DOI:
https://doi.org/10.21527/2176-7114.2026.51.17999Keywords:
Health Education, Patient-Centered Care, Health Human Resource TrainingAbstract
Objective: To develop and validate an instrument to assess knowledge of comprehensive health care in undergraduate Health Sciences programs. Methods: A methodological study with a qualitative-quantitative approach, conducted in three stages: construction of the instrument, content validation using an expert consensus technique, and reliability assessment. The expert panel comprised 21 participants in the first round and 14 in the second, with diverse backgrounds in the health sciences and from different regions of Brazil. Reliability and factor structure were assessed through internal consistency analysis and exploratory factor analysis, with a pilot test administered to 130 undergraduate medical students at a public higher education institution, excluding interns. Results: The final instrument contains 16 items organized into two components: students’ perception of comprehensive care in undergraduate education (4 items) and knowledge of comprehensive health care (12 items). The overall content validity index reached 1.0 in the second round, and the overall Cronbach’s alpha coefficient was 0.865, indicating good internal consistency. The factor analysis confirmed a unidimensional structure for the knowledge component, with satisfactory fit indices and factor loadings between 0.43 and 0.81 for all items. Conclusion: The instrument developed showed robust evidence of content validity and reliability, constituting a useful tool for diagnosing training in comprehensive care in undergraduate health programs, with the potential to inform pedagogical decisions and multicenter studies.
References
1. Brasil. Constituição da República Federativa do Brasil. Brasília, DF: Senado Federal; 1988.
2. Makuch DMV, Zagonel IPS. A integralidade do Cuidado no Ensino na Área da Saúde: uma Revisão Sistemática. Rev Bras Educ Med. 2017;41(4):515-524.
3. Reeves S, Pelone F, Harrison R, Goldman J, Zwarenstein M. Interprofessional collaboration to improve professional practice and healthcare outcomes. Cochrane Database Syst Rev. 2017;5(5):CD000072.
4. Ros C, Peres AM, Kalinowski CE, Souza MAR, Straub M, Montenegro LC, et al. Modelo assistencial na atenção primária à saúde: acesso e integralidade do cuidado durante a pandemia COVID-19. Cogitare Enferm. 2023;28:e89671.
5. Albuquerque VS, Gomes AP, Rezende CHA, Batista RS. A integração ensino-serviço no contexto dos processos de mudança na formação superior dos profissionais da saúde. Rev Bras Educ Med. 2022;46(1):e006.
6. Batista NA, Batista SHSS, Abdalla IG. Ensino em saúde: visitando conceitos e práticas. Interface. 2022;26:e210509.
7. Brasil. Portaria Interministerial Nº 1.124, de 4 de agosto de 2015. Institui as diretrizes para a celebração dos Contratos Organizativos de Ação Pública Ensino-Saúde (COAPES). Diário Oficial da União; 2015.
8. Brasil. Parecer nº 1.133, de 7 de outubro de 2001. Dispõe as Diretrizes Curriculares para os cursos de graduação de Enfermagem, Farmácia, Medicina, Nutrição e Odontologia. Brasília: Ministério da Saúde/Educação; 2001.
9. Brasil. Portaria Interministerial nº 3.019, de 26 de novembro de 2007. Dispõe sobre o Programa Nacional de Reorientação da Formação Profissional em Saúde – Pró-Saúde. Diário Oficial da União; 2007.
10. Brasil. Portaria Interministerial nº 1.802, de 26 de agosto de 2008. Institui o Programa de Educação pelo Trabalho para a Saúde – PET-Saúde. Diário Oficial da União; 2008.
11. Brasil. Portaria Interministerial nº 116, de 3 de abril de 2014. Dispõe as Diretrizes Curriculares Nacionais para o curso de graduação em Medicina. Diário Oficial da União; 2014.
12. Brasil. Resolução Nº 6, de 19 de outubro de 2017. Institui as Diretrizes Curriculares Nacionais do Curso de Graduação em Farmácia. Diário Oficial da União; 2017.
13. Lemos CLS. Educação permanente em saúde no Brasil: educação ou gerenciamento permanente? Ciênc Saúde Colet. 2022;27(6):2169-2179.
14. Frenk J, Chen L, Bhutta ZA, Cohen J, Crisp N, Evans T, et al. Health professionals for a new century: transforming education to strengthen health systems in an interdependent world. Lancet. 2010;376(9756):1923-1958.
15. Ceccim RB, Feuerwerker LCM. O quadrilátero da formação para a área da saúde: ensino, gestão, atenção e controle social. Physis. 2004;14(1):41-65.
16. Gontijo ED, Alvim CG, Fonseca MT, Alvarenga GC, Pinto HA. Revisão das Diretrizes Curriculares Nacionais dos cursos de graduação em saúde: para além das competências. Rev Bras Educ Med. 2021;45(1):e004.
17. Boateng GO, Neilands TB, Frongillo EA, Melgar-Quiñonez HR, Young SL. Best practices for developing and validating scales for health, social, and behavioral research: a primer. Front Public Health. 2018;6:149.
18. Silva CB, Lopes FM. Comparative analysis of comprehensive care approach in health education curriculum. Concilium. 2023;23(18).
19. Brasil. Lei nº 8.080, de 19 de setembro de 1990. Dispõe sobre as condições para a promoção, proteção e recuperação da saúde, a organização e o funcionamento dos serviços correspondentes. Diário Oficial da União; 1990.
20. Brasil. Ministério da Saúde. Secretaria de Assistência à Saúde. Norma Operacional Básica do SUS – NOB 01/93. Brasília: Ministério da Saúde; 1993.
21. Campos CEA. O desafio da integralidade segundo as perspectivas da vigilância da saúde e da saúde da família. Ciênc Saúde Colet. 2003;8(2):509-84.
22. Ceccim RB, Ferla AA. Residência integrada em saúde: uma resposta à formação e desenvolvimento profissional para a montagem do projeto de integralidade da atenção à saúde. In: Pinheiro R, Mattos RA, organizadores. Construção da integralidade: cotidiano saberes e práticas em saúde. Rio de Janeiro: IMS-UERJ/ABRASCO; 2003.
23. Likert R. A technique for the measurement of attitudes. Arch Psychol. 1932;22(140):1-55.
24. Jebb AT, Ng V, Tay L. A review of key Likert scale development advances: 1995-2019. Front Psychol. 2021;12:637547.
25. Kane MT. Validating the interpretations and uses of test scores. J Educ Meas. 2022;59(1):5-26.
26. Massaroli A, Martini JG, Lino MM, Spenassato D, Massaroli R. Método Delphi como referencial metodológico para pesquisa em enfermagem. Texto Contexto Enferm. 2017;26(4):e1110017.
27. Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and reporting the Delphi method for selecting healthcare quality indicators: a systematic review. PLoS One. 2020;15(2):e0228621.
28. Rocha Filho CR, Cardoso TC, Dewulf NLS. Método e-Delphi modificado: um guia para validação de instrumentos avaliativos na área da saúde. Curitiba: Brazil Publishing; 2019.
29. American Educational Research Association; American Psychological Association; National Council on Measurement in Education. Standards for educational and psychological testing. Washington, DC: AERA; 2014.
30. Andrade JM, Valentini F. Teoria de resposta ao item: conceitos e aplicações. Aval Psicol. 2021;20(3):257-268.
31. McNeish D. Thanks coefficient alpha, we'll take it from here. Psychol Methods. 2018;23(3):412-433.
32. Asparouhov T, Muthén B. Weighted least squares estimation with missing data. Mplus Technical Appendices. Los Angeles: Muthén & Muthén; 2010.
33. Auerswald M, Moshagen M. How to determine the number of factors to retain in exploratory factor analysis: a comparison of extraction methods under realistic conditions. Psychol Methods. 2019;24(4):468-491.
34. Lorenzo-Seva U, Ferrando PJ. Robust Promin: a method for diagonally weighted factor rotation. Technical Report. Tarragona: Universitat Rovira i Virgili; 2019.
35. Hair JF, Black WC, Babin BJ, Anderson RE. Multivariate data analysis. 8th ed. Hampshire: Cengage Learning; 2023.
36. Creswell JW, Creswell JD. Research design: qualitative, quantitative, and mixed methods approaches. 5th ed. Thousand Oaks: SAGE; 2023.
37. Humphrey-Murto S, Varpio L, Wood TJ, Gonsalves C, Ufholz LA, Mascioli K, et al. The use of the Delphi and other consensus group methods in medical education research: a review. Acad Med. 2021;96(5):665-671.
38. Niederberger M, Spranger J. Delphi technique in health sciences: a map. Front Public Health. 2020;8:457.
39. Souza AC, Alexandre NMC, Guirardello EB. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e validade. Epidemiol Serv Saude. 2017;26(3):649-659.
40. Ferrando PJ, Lorenzo-Seva U. Program FACTOR at 10: origins, development and future directions. Psicothema. 2023;35(1):7-21.
41. Lorenzo-Seva U, Ferrando PJ. MSA: the forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 2021;17(4):296-306.
42. Castanheira ERL, Nemes MIB, Lima VLB, Sanine PR, Corrente JE. Técnica Delphi no processo de validação do Questionário de Avaliação da Atenção Básica (QualiAB) para aplicação nacional. Saúde Soc. 2021;30(2):e190505.
Downloads
Published
Issue
Section
License
Copyright (c) 2026 Cleiton Bueno da Silva, Flavio Marques Lopes, Nathalie de Lourdes Souza Dewulf, Ângela Ferreira Lopes
This work is licensed under a Creative Commons Attribution 4.0 International License.
By publishing in Revista Contexto & Saúde, authors agree to the following terms:
The works are licensed under the Creative Commons Atribuição 4.0 Internacional (CC BY 4.0) license, which allows:
Share — to copy and redistribute the material in any medium or format;
Adapt — to remix, transform, and build upon the material for any purpose, including commercial.
These permissions are irrevocable, provided that the following terms are respected:
Attribution — authors must be properly credited, with a link to the license and indication of any changes made.
No additional restrictions — no legal or technological measures may be applied that restrict the use permitted by the license.
Notes:
The license does not apply to elements in the public domain or covered by legal exceptions.
The license does not grant all rights necessary for specific uses (e.g., image rights, privacy, or moral rights).
The journal is not responsible for opinions expressed in the articles, which are the sole responsibility of the authors. The Editor, with the support of the Editorial Board, reserves the right to suggest or request modifications when necessary.
Only original scientific articles presenting research results of interest that have not been published or simultaneously submitted to another journal with the same objective will be accepted.
Mentions of trademarks or specific products are intended solely for identification purposes, without any promotional association by the authors or the journal.
License Agreement (for articles published from September 2025): Authors retain copyright over their article and grant Revista Contexto & Saúde the right of first publication.
