AO-4333 VERSÃO ORIGINAL EM INGLÊS_PREPRINT_JULIANA

Evaluation of the quality of Primary Health Care services for child:

reflections on the feasibility of using the Brazilian version of the Primary

Care Assessment Tool as a routine assessment tool

Avaliação da qualidade dos serviços de Atenção Primária à Saúde para

crianças: reflexões sobre a viabilidade do uso rotineiro do Primary Care

Assessment Tool-Brasil

Short title: Evaluation of the quality of Primary Health Care services for child:

reflections on the feasibility of using the Brazilian version of the Primary Care

Assessment Tool as a routine assessment tool

Liz Ponnet1, Sara Willems2, Veerle Vyncke2, Aylene Emilia Moraes Bousquat3,

Ana Luiza d’Ávila Viana3, Guilherme Arantes Mello1, Marcelo Marcos Piva

Demarzo1

1 Universidade Federal de São Paulo, São Paulo, SP, Brasil.

2 Ghent University, Gent, Bélgica.

3 Universidade de São Paulo, São Paulo, SP, Brasil.

How to cite this article:

Ponnet L, Willems S, Vyncke V, Bousquat A, Viana AL, Mello GA, Demarzo

MM. Evaluation of the quality of Primary Health Care services for child:

reflections on the feasibility of using the Brazilian version of the Primary Care

Assessment Tool as a routine assessment tool. einstein (São Paulo).

2018;x(x):eAO4333.

Corresponding author: Liz Ponnet - Programa de Pós-Graduação em Saúde

Coletiva da Universidade Federal de São Paulo (PPGSC - UNIFESP)

Rua Botucatu, 740, 4º andar, sala 404 • Vila Clementino • São Paulo/SP •

CEP: 04023-062. Telefone: (11) 5576-4848 ramal 1879 - E-mail:

liz.ponnet@usf.edu.br

Received on: Nov 15, 2017 – Accepted on: Jun 22, 2018

Conflict of interest: none.

DOI: ************

ABSTRACT

Objective: Primary Health Care (PHC) services managed by city health

authorities are the preferential gateway to the Brazilian national health system.

Measuring the quality of these services has been taken up in the big cities but

not yet in the small towns, although they represent 70% of all Brazilian cities.

This cross-sectional study aimed to assess the quality of the PHC Primary

Health Care services provided to children and the feasibility of using the

Primary Care Assessment Tool (PCAT) as a routine quality assessment tool in

a small rural town in Brazil. Methods: Seven health professionals and 502

caretakers of children using the public health center were interviewed using the

Brazilian PCAT-Brasil. SPSS (Statistical Package for Social Sciences)

version 23.0 for Windows was used for data processing. Results:

Caretakers rated as good the following attributes of “degree of affiliation”, “first

contact care- use of services”, “coordinated care”, and “comprehensive care -

available services” as good. The attributes of “first contact accessibility”, “long

term person care”, “comprehensive care - offered services” and “family- and

community-oriented care” were scored as badpoor. In contrast, tThe health

professionals only rated the attribute of “first contact accessibility” as

satisfactory, and considered that all other PHC-attributes in needed of

improvement. Conclusion: The useUsing of the PCATool-Brasil as a routine

assessment and planning tool seemed to be not feasible in the given setting

due to high costs, lack of trained personnel and huge workload

requiredinvolved. In order tTo overcome the encountered obstacles, advices

wasare given formulated based on the field experience.

Keywords: Quality of health care; Primary health care; Child; Brazil

RESUMO

Objetivo: Os serviços de Atenção Primária à Saúde (APS), administrados

pelas autoridades municipais de saúde, são a porta de entrada preferencial no

sistema nacional de saúde. A qualidade desses serviços está sendo medida

nas grandes cidades, mas ainda não nas pequenas cidades, embora estas

representem 70% de todas as cidades brasileiras.

Métodos: Este estudo transversal objetivou avaliar a qualidade dos serviços de

APS prestados às crianças e a viabilidade de usar o PCATool-Brasil como

ferramenta rotineira de avaliação da qualidade em uma pequena cidade rural

no Brasil. Sete profissionais de saúde e 502 cuidadores de crianças que

usaram o centro de saúde foram entrevistados usando o PCATool-Brasil. SPSS

(Statistical Package for Social Sciences) version 23.0 for Windows SPSS foi

usado para processamento de dados. Resultados: Os cuidadores

classificaram os atributos de "grau de afiliação", "acesso de primeiro contato -

utilização", "coordenação" e "integralidade - serviços disponíveis" como

satisfatórios. Os atributos da "acesso de primeiro contato - acessibilidade",

"longitudinalidade", "integralidade - serviços prestados" e "orientação familiar e

comunitária" foram classificados como instisfatórios. Em contraste, os

profissionais de saúde apenas classificaram o atributo de "acessibilidade do

primeiro contato" como satisfatórios e consideraram todos os outros atributos

de APS em necessidade de melhoria.

Conclusão: Usar o PCATool-Brasil como uma ferramenta de avaliação e

planejamento de rotina pareceu não ser viável neste estudo por motivo de altos

custos, falta de pessoal treinado e enorme carga de trabalho envolvida. Para

superar os obstáculos encontrados, conselhos foram formulados com base na

experiência de campo.

Descritores: Qualidade da assistência à saúde; Atenção primária à saúde;

Criança; Brasil

INTRODUCTION

Over the last twenty years, Brazil, a country traditionally characterized by

regional, socioeconomic and health care inequalities,(1) has made progress

towards the provision of more equitable health care.(2) A milestone in this

progress has been the creation of the national Unified Health System (best

known under its Brazilian Portuguese acronym, SUS), instituting that

establishes the right of universal and free access to integrated health care

services for to all its Brazilian citizens.(3) Primary Health Care (PHC) services

are the preferential gateway to the national health system;(4) a policy shown to

reduce health care inequities.(5) When a Brazilian citizen feels the need to see a

doctor, he/she can visit a local PHC center where he/she will be attended

assisted by a nurse, a clinician (adult user), a pediatrician (child user) or a

gynecologist (female user). This is considered the traditional model of PHC, that

still serving 38% of the Brazilian population.(6) The majority of Brazilians (62%)

are now subscribed to the Family Health Strategy model, where a

multidisciplinary team of a family doctor, a nurse, an auxiliary assistant nurse,

four community healthcare workers and an oral health care team are

responsible for a defined population in a delineated geographical area .(7) In this

model, a community health worker will visit each family once a month, and will

constitute the link between the community and the Family Health Strategy unit

(called PSF in its Portuguese abbreviation) for all health-related issues. If a

SUS’s user expresses the need to make a medical appointment, he/she will do

so at his/her usual PSF unit, where his/her known family doctor will attend

provide care to most common health problems, and he/she will be referred to

other specialists if the family doctor judges this to be necessary. Besides

medical care, a user can rely on other services from the PHC service such as

vaccinations, wound dressings, dental care, as well as health promotion

activities.

Each city is responsible for organizing its own PHC services,(4) managed

by the municipality health authorities, with active participation of the SUS users.

Over time, cities have been moving from the traditional PHC model to the PSF-

model, supported by strong evidence that the latter model reduces health care

inequities and infant mortality rates.(2,8,9)

Brazil counts 5.570 cities; 70% of these cities are small towns with less

than 20.000 inhabitants.(10) A huge panorama of locally adapted PHC models

can be found, especially in rural or mountainous townscities, where it can be

challenging to guarantee access to PHC services near to the people’s homes,

due to long distances to the health care unit, non-asphavlted roads that are

inaccessible during the rainy season, and even the lack of means of

communication means such as mobile telephone networks.

PHC provides an answer to these barriers by its nature. The core

competencies(11) of PHC can be defined as: (a) first-contact accessibility and

use of care, or the PHC unit sought by a user for each new emerging health

need; (b) long-term patient care, meaning a user will go to his regular health

center or PSF unit for whatever health-related problem arising over time; (c)

comprehensive care, or the health services options provided to the users,

including preventive and curative care, and referrals to other specialist doctors;

and (d) coordination of care, entitling the PHC unit as a key partner in the

management of the health problems of its users, through medical files and a

good user-health professional relationship.

Another three related competencies define PHC:(11) (a) family-centered

care, referring to the understanding of the complex influences of a family on an

individual´s health need; (b) community-oriented care, meaning the PHC unit

recognizes the (unmet) health needs of the community of which the user is part

and understands the health-related characteristics of this particular community;

and (c) cultural competence: a user will interact with a PHC-professional who

respects his fears and health beliefs, who recognizes their influence on health

and who can understand and express himself in a language that can be fully

understood by the user.

Various instruments have been developed to evaluate the competencies

of PHC, including the Primary Care Assessment Tool (PCAT).(12) The PCAT has

been translated and adapted to be used in different countries,(13-15) including

Latin American countries such as Uruguay,(16) Argentina,(17) and Brazil,(18) pointing

out the main advantage of the PCAT, being its cross-cultural reliability. The

Brazilian Ministry of Health (MOH) encourages the use of the PCAT for

evaluating and monitoring the quality of PHC services.(19) Many national studies

have been performed to evaluate the PHC attributes using the PCAT. Most of

them however were performed in big large cities, with some studies being part

of a MOH-World Bank funded research project on the Expansion and

Consolidation of the Family Health Strategy (ProESF) in cities with over

100.000 inhabitants.(20, 21 )

OBJECTIVE

To assess the quality of the PHC services provided to children in a small rural

town before the implementation of the Family Health Strategy, by providing

“baseline” data related with local health care managers, and SUS’s users, and

with “baseline” data on the PHC attributes in a traditional PHC model,.

Therefore, enablinge them to compareisonTo compareo f these data with

possible future quality data on PHC characteristics after implementation of once

the Family Health Strategy, in and to allow addition to allow will be

implemented, and to empower them in their local decision-making.

The second goal of this study was to reflect on the feasibility of

performingto conduct a PCAT study as a routine quality assessment in a small

rural town in Brazil.

METHODS

SettingThe study was conducted in Joanópolis, a small rural town of 12,610

inhabitants, located in the Mantiqueira Mountains in the State of São Paulo. (10)

Poverty incidence in the area is high, with 31.30% of the population in the town

earning an monthly income up to half of Brazil a minimum wage.(10) Overall per

capita monthly income is R$607 (190.7 USD), i.e., equivalent to 1.2 minimum

wages.(10) The majority of the population older than aged over 25 years

(76.3.%) has less than eight years of schoolingformal education.(10) Half of the

population lives in the center of the town and half in the rural mountainous

areas. The territory is extensive (374.28Km2),(10) with some people living more

than 30km away from the center of the town where all health care services are

concentrated. There is no public transportation available. The town counts one

public health center offering Primary Health Care services, one Emergency

Room, ran by a philanthropic organization, providing emergency care

24/24hours; and one solo practitioner private doctorphysician office. The

coefficient of medical doctors attending in the public sector is 0.72 per 1,000

inhabitants.(22 ) The health professionals working at the health center are 2

nurses, 3 nursing aids assistants (2.2 full time equivalents ([FTE)]), 3 clinicians

(2FTE), 2 pediatricians (1FTE), 2 gynecologists (1FTE), and other specialists

such as an orthopedic surgeon (1/6 FTE), a psychiatrist (1/5 FTE) and a

cardiologist (1/5 FTE). There is sporadic provision of medical outreach activities

to the rural areas.(22 ) The Family Health Strategy (with a multidisciplinary team

attending a defined population) was not yet been put into practice at the time of

the study.(22 ) The vast majority of the population (79.9%) does not have any

private health insurance plan, and therefore most of individuals exclusively

relies on the public health services.(22 )

Ethical considerationsThis study received approval of the Ethical Committee of the Universidade

Federal de São Paulo under the Brazilian number CAAE:

02244812.0.0000.5505, as well as approval of the Ethical Committee of the

Ghent University under the Belgian number BE670201420498.

DesignThis is a cross-sectional study applying the PCATool-Brasil to child-users and to

health professionals of the public health center in Brazil.

Assessment toolThe PCATool-Brasil child version is the PCAT adapted to the Brazilian reality,

(19) available as a consumer-client questionnaire applied to caretakers of child-

users, and as a health professional survey. The PCATool-Brasil child version

counts has 55 items in its the consumer version, and 77 in itsthe professional

version,. These questionnaires and mmeasures the degree of affiliation to in a

health care-unit, the use of these health care services, and the PHC attributes.

They also contain; the four main PHC attributes (namely “first-contact” care,

long -term person care, coordination of care) (an integrated care and

information systems), and comprehensive care (available and provided

services)); and the two other related PHC attributes related to s, being family-

and community-oriented care. For each attribute, a score can be calculated on

a scale ranging from 0 to 10. The sum of all attributes, observing predetermined

rules,(19) results in the General PHC score, expressing the overall quality of

provided PHC services. If only the four main attributes are taken into account,

the Essential PHC score can be calculated, reflecting the performance of the

core domains of the offered PHC services.

PCATool-Brasil child version: questionnaire

Subjects - Selection of the respondents

Eligible participants were parents or legal representatives of a children aged 0

to 12, entering the public health center and seeking non-urgent medical care for

their child. The caretaker was approached in the waiting room and invited to

participate in the study. After reading a letter explaining the study and signing

the informed consent form, the PCATool-Brasil child version was administered

orally.

Exclusion criteria considered caretakers with mental disabilities. In case

of a caretaker seeking care for two or more children, it was decided that the

PCATool questionnaire would be applied to the youngest child only.

Sample

The sample size of caretakers of child-users was estimated at n=319. ,We

adopted for a confidence level of 95% and a 5% confidence interval, and

considering the population of 1,861 children aged 0 to 12 years who were,

resident in Joanópolis in 2012.

Data collection

Of the 508 caretakers who were approached to participate in the study, six

refused (response rate was 98.9%). Data from 502 caretakers were collected

using the PCATool-Brasil child version between October 2013 and August

2014.

Outcome variables

The scores for each attribute, the General and Essential PHC scores, are the

outcome variables.

Main outcome measures

The higher the score, the better, with 6.6 being the cut-off point for high quality

care.(18)

Data analysis

Data were entered in Excel by one person and double-checked by a second

person. SPSS (Statistical Package for Social Sciences) version 23.0 for

Windows was used for data processing. Results are shown as mean scores and

their 95% confidence interval.

PCATool-Brasil health professional version

Subjects

All health care professionals included held holding a university degree (doctors

PhD and nursinges undergraduate degree). Professionals who assisted

attending children, as well as the two local health managers, were invited to

participate in the study (n=8), of which all but one participated.

Outcome variables

The PCATool-Brasil professional version allows calculating scores for each

attribute, as well as the General and Essential PHC score, indicating the

performance of the PHC services from the health professional´s point of view.

Main outcome measures

The numeric scores range from 0 to 10, with 6.6 being the cut-off point for well

performing PHC services.(18)

Data collection

After provision of consent form by participants, the PCATool-Brasil self-

administered by health professional version was self-administered, and sent

back to the researcher. One of the professionals did not answer the PCATool-

Brasil due to recent employment at the health center, bringing the total number

of respondents of PCATool-Brasil professional version to 7.

Data analysis

To guarantee accuracy, Ddata were entered in Excel by one of the researchers

person and revised by double-checked by a second personother researcher.

SPSS (Statistical Package for Social Sciences) version 23.0 for Windows was

used for data processing. Results are shown as mean scores and along with

their 95% confidence interval.

Feasibility of PCAT-study

To assess the feasibility of the PCAT-study, the total invested man-hours,

budget and timeline were documentedrecorded, as well as enabling and

disabling factors described by the main researcher.

RESULTS

Evaluation of the quality of Primary Health Care services provided

to children from the caretaker´s point of view

The caretakers evaluated the overall quality of PHC-services provided to their

children as unsatisfactory: the General PHC score is 5.62. However, if only the

core domains of PHC are considered, the parents attribute a better score: the

Essential PHC score is 6.92.

Most caretakers consider the health center as the place where they

usually take their child to for a health need: the degree of affiliation to the health

center is 7.96. They also use the health center often: as the use of first contact

care, which was is scored as 9.57. The accessibility was considered as low

(4.09), as well as the long term person care (5.48). The coordination of care

(8.54) and the information systems (7.58) were considered satisfactory from the

caretakers’ point of view. The comprehensive care attribute was positive for the

component of available services (7.20), and almost positive for the offered

service (6.23). Family-orientated care scored low (2.04) and community-

oriented care was almost absent (0.01). Table 1 shows the mean scores for

attributes with a 95% confidence interval, based on the experience of child

users of the public health center in Joanópolis-, São Paulo, Brazil.

Table 1. PHC attributes, means scores and 95% confidence interval for child

users in Joanópolis, São Paulo, Brazil

PHC-attributes n Score CI95%

Degree of affiliation 50

2

7.96 (7.77;8.15)

First care contact care. Use of services. 50

2

9.57 (9.46;9.69)

First care contact care. Accessibility 50

2

4.09 (3.93;426)

Long term personal care 50

2

5.48 (5.39;5.58)

Coordinated care. Integrated services. 10

0

8.54 (7.88;9.20)

Coordinated care. Information systems. 50

2

7.58 (7.44;7.73)

Comprehensive care. Available services. 44

8

7.20 (7.09;7.32)

Comprehensive care. Offered services. 49

5

6.23 (5.89;6.57)

Essential PHC-score 6.92 (6.82;7.01)

Family oriented care 50

0

2.04 (1.83;2.26)

Community oriented care 50

2

0.01 (-0.01;0.02)

General PHC-score 5.62 (5.53;5.70)

Evaluation of the quality of Primary Health Care services

provided to children from the health professionals’ point of

view

The health professionals evaluated the Primary Health Care services provided

to children as unsatisfactory (below the cut-off of 6.6): General PHC-score is

5.52. Even if only the main PHC attributes are considered, the Essential PHC

score still is negative (5.67). First contact accessibility scored well (7.20). Long

term person care (5.57), coordination of care (5.32), coordination of information

systems (4.44), comprehensive care available service (5.95) and offered

services (5.56) were considered negative. Family- (5.71) and community-

oriented care (4.44) scored low. Table 2 summarizes the attribute, general and

essential PHC scores from the health professionals’ point of view.

Table 2. PHC attributes (PCATool-Brasil professional version)

PHC-attributes Score (n=7)First care contact care. Accessibility 7.20Long term personal care 5.57Coordination of care. Integrated services. 5.32Coordination of care. Information systems. 4.44Comprehensive care. Available services. 5.95

Comprehensive. Offered services. 5.56

Essential PHC-score 5.67

Family oriented care. 5.71

Community oriented care 4.44

General PHC-score 5.52

Feasibility of using PCATool-Brasil as a routine assessment

tool

In order to realize tTo conduct thihis study, at least 1,241 working hours were

invested, of which 39% in the design of the study, 21% in data collection, 13%

in data analysis, writing the report and divulgating diffuse the preliminary

results. The study started in 2012 and results were disseminated in March

2016. The estimated budget was R$ 12,.900,.00R$ (equivalent to US$

3,953.73USD). Table 3 resumes summarizes the invested man-hours, budget

and timeline of the PCAT study in conducted in Joanópolis.

Table 3. Invested man-hours, budget and timeline of the PCAT-study

  TimeValu

e Timeline

 Man

hours

Budget in R$

Starting date

Final date

Writing study protocol 480 hours

0 01/04/2012

30/07/2012

Getting Obtaining ethical approval 48 hours

0 30/07/2012

18/02/2013

Getting Obtaining approval from local health authorities

30 hours

0 01/08/2012

01/07/2013

Informing health professionals and staff health center

24 hours

0 01/06/2013

20/07/2013

Preparing data collection (copying tools and consents)

8 hours

1.800 01/06/2013

25/07/2013

Training of the interviewers 56 hours

0 01/07/2013

30/07/2013

Collecting data PCATool-Brasil 265 hours

5.100 25/07/2013

11/08/2014

Transportation, communication 1.000Input data (double-check) 160 hou

rs4.000 01/05/2

01401/12/2

014Analyzing data 40 hou

rs0 05/01/2

01511/01/2

015Writing up the results 50 hou

rs0 12/01/2

01505/02/2

015Divulgating Diffusing the results 80 hou

rs1.000 12/01/2

015ongoing

  1.2 hou 12.90

41 rs 0

Motivation of health care personnel and support of the local health

manager were considered as enabling factors for realizingto conduct the

PCAT study in this particular context.

Although the Brazilian MOH provides the PCATool-Brasil online and

stresses the importance of using the tool as an instrument to measure the

quality of the PHC services on a routine basis, the researchers encountered

some difficulties. Firstly, the MOH does not foresee funding for such studies,

and even on such a small scale as our study as the present one, this kind of

studies do have a reasonable cost. Secondly, the MOH provides the tool, but

not the program to calculate the scores. Indeed, calculating the scores is

doable, but time consuming and a constant quality check is needed. Other

authors(23 ) also pointed out that a shorter version of the PCATool -Brazil Brasil

would be helpful to enable using the tool as a routine assessment. Even moreIn

addition, to performing research in a rural area is often challenging because of :

communication can be difficulty (poorbad or lacking no internet connections or

even energy black outs during the rainy season), distance to university or

research centers is long, public transportation is not available,inexistent etc.

Also, practical problems had to be solved, such as the small space in a health

center that has to be divided shared by researchers and health staff. During the

study, there was a turnover of a local health managers because of due to

changing in political mandatesadministration; this unexpected change was

considered as a disabling factor.

DISCUSSION

Evaluation of the quality of Primary Health Care services provided

to children in this rural town

General and Essential PHC score

Both caretakers and health professionals evaluate the quality of the PHC

services provided to the children as unsatisfactory, as expressed by the

General PHC score. If caretakers only consider the main attributes, the PHC

services are considered to be adequate. If family- and community-oriented care

is not considered, the health professionals’ score does not change regarding

the quality of the PHC services: it is still inadequate.

Family- and community-oriented care

Although it is true that the Family Health Strategy had was not yet been

implemented in the town during the study period of the study, this fact alone

cannot explain these very low results. Most studies in Brazil show deficient

family- and community-orientation, even if scores for these derived PHC

attributes tend to be better in PSF units compared to traditional PHC units.

(20,23 ,24 ) Some authors tried to find an explanation in the fact that family

orientation can be challenging in big large urban centers or huge metropoles,(25 )

however, this study suggests that even in rural areas, this orientation is lacking.

Maybe part of the explanation can be found in the fact that very is that few

health professionals working in PHC services are trained in Family Medicine,(26 ,

27 ) and they have a traditional curative hospital-centered vision. For this reason,

where they treat the patients´’ symptoms with medicines,(28 ) but and do not

integrate family or community aspects in their patients´’ management.

Degree of affiliation, use and first contact accessibility of the health center

Although the caregivers consider the health center as the entrancey point in the

health system and use it very often, they rate the accessibility as low;, which

agrees with this in line with other studies in Brazil.(20- 24 ) In

contradictionHowever, it iwas the only attribute that the health professionals

score as good. This can be explained by the low doctor density during the study

period: 5.37 doctors physician per attending 10,000 children aged 0 to 12; while

the nurse density is 1.59 per 10,000 adult and child users. In a typical Brazilian

small town, health professional density is much lower than the 23 health

professionals (doctors, nurses and midwives) per 10.000 inhabitants,

considered to be needed appointed as adequate by the World Health

Organization to provide to deliver essential maternal and child health care.(29 )

Besides the number of professionals, organizational aspects such as limited

medical consultations may also be responsible for low accessibility, such as

limited consultations slots for instance.

Long term person care

Long term personal care wais scored low, both by caregivers and

professionals;. the lLiterature shows divergent different results on this attribute.

(20,21,23 ) In our study, this low score might ay be explained by the know high

turnoverrotation of the doctors attending physicians delivering care for children

in the town, as well as the fact that very few doctors physicians are trained in to

offeringprovide long term personal care.(26 ,27 )

Coordination of care: integrated services and information systems

The caretakers, in contrast with the professionals, consider the coordination of

care as being of good quality; the scores for these attributes are higher

thancompared with those mentioned in the literature.(20,21,23 )

Reflections of the feasibility of using PCATool-Brasil as a routine

assessment tool

The evaluation of the quality of the PHC services provided to children in this

small town shows that overall care is considered as inadequate, with extremely

low scores for family - and community orientation.

Based on this study, it does not seem feasible to use the PCATool-Brasil

as a routine assessment tool in this small rural town. Some recommendations

were formulated from this experience: (i) Foresee a budget to assess the

quality of the PHC services provided to all users on a routine basis, in order to

plan and evaluate Primary Health Care interventions; (ii) Reduce the number of

items of the long PCAT assessment and to validate short PHC assessment

tools that can easily be used by healthcare managers; (iii) Provide alternatives

for classic paper versions of the PCATool-Brasil, such as machine-readable

data forms that can be automatically be validated and stored in databases

available for analysis, or tablet-versions where in which data can be stored on

the device and be transferred to a central database when a wireless connection

is available; (iv) Provide automatic data analysis platforms or free software

programs where in which conversions of obtained attribute scores can be

automatically be re-coded in scores between 0 to 10, and General and

Essential PHC scores are calculated automatically; (v) Gather data of all studies

using PCATool-Brasil on one platform, allowing to compare obtained scores

between municipalities or health regions; (vi) Support municipal health

professionals and managers with health care quality assessment, especially in

remote rural areas, for instance by expanding telemedicine or other remote-

platforms, in order to help planning PHC activities; (vii) Strengthen the

collaboration of medical educational institutions with remote PHC-services in

order to facilitate such assessments; and (viii) Expand Family Medicine training

programs, including rural health internships, to enable future medical specialists

with adequate assessment tools.

In this way, PCATool-Brasil can ould be used performed on a routine

basis and used as a planning tool, particularly, , also in a non-academic rural

setting, with the ultimate goal of providing good quality PHC-services for its

users.

CONCLUSION

This study provides insight on the quality of provided Primary Health Care

services provided in a small rural town in Brazil. We observed that Tthere is

room for improvement, especially concerning family- and community orientation.

The use Using of the PCATool-Brasil as a routine assessment tool seems to be

not feasible in the given setting due to the high costs, lack of trained personnel

and huge workload involvedrequired.

ACKNOWLEDGMENTS

The authors thank the funding agencies. Liz Ponnet received a PhD-scholarship

from the Conselho Nacional de Desenvolvimento Científico e Tecnológico

(CNPQ) and a PhD-sandwich scholarship from the Coordenação de

Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Sara Willems

received from thea  Coordenação de Aperfeiçoamento de Pessoal de Nível

Superior

a scholarship as Special Visiting ReasearcherResearcher.

List of abbreviations

FTE: Full time equivalent

MOH: Ministry of Health

PCAT: Primary Care Assessment Tool

PHC: Primary Health Care

PSF: Family Health Strategy unit

SUS: Unified Health System

REFERENCES

1. Paim J, Travassos C, Almeida C, Bahia L, Macinko J. The Brazilian

health system: history, advances, and challenges. Lancet.

2011;377(9779):1778-97.

2. Mullachery P, Silver D, Macinko J. Changes in health care inequity in

Brazil between 2008 and 2013. Int J Equity Health. 2016;15(1):140.

3. Lei nº 8.080, de 19 de setembro de 1990. Dispõe sobre as condições

para a promoção, proteção e recuperação da saúde, a organização e o

funcionamento dos serviços correspondentes e dá outras providências. Diário

Oficial da República Federativa do Brasil, Brasília (DF); 1990 Set 20; Seção

1:18055-9.

4. Brazil. Portaria nº 2.488, de 21 de outubro de 2011. Aprova a Política

Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas

para a organização da Atenção Básica, para a Estratégia Saúde da Família

(ESF) e o Programa de Agentes Comunitários de Saúde (PACS) [Internet].

Diário Oficial da República Federativa do Brasil, Brasília (DF); 2011 Out 21

[citado 2018 Maio 30]. Disponível em:

http://www.saude.mt.gov.br/upload/legislacao/2488-%5B5046-041111-SES-MT

%5D.pdf

5. Goddard M, Smith P. Equity of access to health care services: theory and

evidence from the UK. Soc Sci Med. 2001;53(9):1149-62. Review.

6. Macinko J,Harris MJ. Brazil's family health strategy--delivering

community-based primary care in a universal health system. N Engl J Med,

2015;372(23):2177-81.

7. Brasil. Portaria no 648 de 28 de março de 2006. Aprova a Política

Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas

para a organização da Atenção Básica para o Programa Saúde da Família

(PSF) e o Programa Agentes Comunitários de Saúde (PACS) [Internet]. Diário

Oficial da República Federativa do Brasil, Brasília (DF); 2006 Mar 28 [citado

2018 Maio 30]. Disponível em:

https://www.nescon.medicina.ufmg.br/biblioteca/imagem/1837.pdf

8. Facchini LA, Piccini RX, Tomasi E, Thumé E, Teixeira VA, Silveira DS, et

al. Avaliação de efetividade da Atenção Básica à Saúde em municípios das

regiões Sul e Nordeste do Brasil: contribuições metodológicas. Cad Saúde

Pública. 2008;24(Suppl 1):s159-72.

9. Macinko J, Marinho de Souza Mde F, Guanais FC, da Silva Simões CC.

Going to scale with community-based primary care: an analysis of the family

health program and infant mortality in Brazil, 1999-2004. Soc Sci Med.

2007;65(10):2070-80.

10. Brasil. Instituto Brasileiro de Geografia e Estatística (IBGE) [Internet].

[citado 2018 Jun 21]. Disponível em: https://sidra.ibge.gov.br/Acervo?

nivel=6&unidade=3525508#/T/Q

11. Starfield B. Atenção primária: equilíbrio entre necessidades de saúde,

serviços e tecnologia. Brasília (DF): UNESCO; Ministério da Saúde; 2002. p.

725

12. Cassady CE, Starfield B, Hurtado MP, Berk RA, Nanda JP, Friedenberg

LA. Measuring consumer experiences with primary care. Pediatrics 2000;105(4

Pt 2):998-1003.

13. Pasarin MI, Berra S, Rajmil L, Solans M, Borrell C, Starfield B. [An

instrument to evaluate primary health care from the population perspective].

Aten Primaria. 2007;39(8):395-401. Spanish.

14. Lee JH, Choi YJ, Sung NJ, Kim SY, Chung SH, Kim J, Jeon TH, Park

HK; Korean Primary Care Research Group. Development of the Korean primary

care assessment tool--measuring user experience: tests of data quality and

measurement performance. Int J Qual Health Care. 2009;21(2):103-11.

15. Yang H, Shi L, Lebrun LA, Zhou X, Liu J, Wang H. Development of the

Chinese primary care assessment tool: data quality and measurement

properties. Int J Qual Health Care. 2013;25(1):92-105.

16. Pizzanelli M, Ponzo J, Buglioli M, Toledo A, Casinelli M, Gómez A; Grupo

PCAT.UY. Validación del primary care assement tool en Uruguay. Rev Med

Urug. 2011;27(3):187-9.

17. Berra S, Hauser L, Audisio Y, Mántaras J, Nicora V, Oliveira MM, et al.,

Validez y fiabilidad de la versión argentina del PCAT-AE para evaluar la

atención primaria de salud. Validity and reliability of the Argentine version of the

PCAT-AE for the evaluation of primary health care. Rev Panam Salud Publica.

2013;33(1):30-9.

18. Harzheim E, Starfield B, Rajmil L, Álvarez-Dardet C, Stein AT. [Internal

consistency and reliability of Primary Care Assessment Tool (PCATool-Brasil)

for child health services]. Cad Saude Publica. 2006;22(8):1649-59. Portuguese.

19. Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde.

Departamento de Atenção Básica. Manual do instrumento de avaliação da

atenção primária à saúde: primary care assessment tool pcatool - Brasil:

primary care assessment Tool PCAT Tool-Brasil [Internet]. Brasília (DF):

MInistério da Saúde; 2010 [citado 2018 Maio 30]. [Série A. Normas e Manuais

Técnicos]. Disponível em:

http://bvsms.saude.gov.br/bvs/publicacoes/manual_avaliacao_pcatool_brasil.pd

f

20. Ibañez N, Rocha JS, Castro PC, Ribeiro MC, Forster AC, Novaes MH, et

al. Avaliação do desempenho da atenção básica no Estado de São Paulo. Ciên

Saúde Coletiva. 2006;11(3):683-703.

21. Elias PE, Ferreira CW, Alves MC, Cohn A, Kishima V, Escrivão Junior

A,et al. Atenção Básica em Saúde: comparação entre PSF e UBS por estrato

de exclusão social no município de São Paulo. Ciên Saúde Coletiva.

2006;11(3):633-41.

22. Brazil. Ministério da Saúde. Department of Information of the Brazilian

Unified Health System - Datasus.

http://cnes.datasus.gov.br/pages/estabelecimentos/consulta.jsp

23. Harzheim E, Pinto LP, Hauser L, Soranz D. Assessment of child and

adult users of the degree of orientation of primary healthcare in the city of Rio

de Janeiro, Brazil. Cien Saude Colet. 2016;21(5):1399-408.

24. Paula WK, Samico IC, Caminha MF, Batista Filho M, Silva SL.Primary

health care assessment from the users' perspectives: a systematic review. Rev

Esc Enfermda USP. 2016;50(2):335-45.

25. Viana AL Rocha JS, Elias PE, Ibañez N, Bousquat A. Atenção básica e

dinâmica urbana nos grandes municípios paulistas, Brasil. Cad Saúde Pública.

2008;24(Suppl 1):s79-90.

26. Sociedade Brasileira de Medicina de Família e Comunidade.  Currículo

baseado em competências para Medicina de Família e Comunidade [Internet].

Rio de Janeiro: Ministério da Saúde, Universidade de Toronto; 2014 [citado

2018 Maio 30]. Disponível em: http://www.sbmfc.org.br/media/Curriculo

%20Baseado%20em%20Competencias(1).pdf

27. Scheffer M, coordenador. Demográfica médica no Brasil 2015 [Internet].

São Paulo: Departamento de Medicina Preventiva, Faculdade de Medicina da

USP; CREMESP; CFM; 2015 [citado 2018 Maio 30]. Disponível em:

https://www.usp.br/agen/wp-content/uploads/DemografiaMedica30nov2015.pdf

28. Orlandin EA, Moscovic L, Franzon AC, Passos AD, Fabbro AL, Vieira

EM, et al. Uma agenda de pesquisa para a Atenção Primária à Saúde no

estado de São Paulo, Brasil: o estudo ELECT. Interface Comun Saúde

Educação. 2017;21(61):349-61.

29. World Health Organization (WHO). Achieving the health-related MDGs. It takes

a workforce! [Internet]. Genebra: WHO; 2017 [cited 2017 Apr 9]. Available from:

http://www.who.int/hrh/workforce_mdgs/en/

AO-4333 VERSÃO ORIGINAL EM INGLÊS_PREPRINT_JULIANA

Avaliação da qualidade dos serviços de Atenção Primária à Saúde para

crianças: reflexões sobre a viabilidade do uso rotineiro do Primary Care

Assessment Tool-Brasil

Evaluation of the quality of Primary Health Care services for child: reflections on

the feasibility of using the Brazilian version of the Primary Care Assessment

Tool as a routine assessment tool

Título curto: Avaliação da qualidade dos serviços de Atenção Primária à

Saúde para crianças: reflexões sobre a viabilidade do uso rotineiro do Primary

Care Assessment Tool-Brasil

Liz Ponnet1, Sara Willems2, Veerle Vyncke2, Aylene Emilia Moraes Bousquat3,

Ana Luiza d’Ávila Viana3, Guilherme Arantes Mello1, Marcelo Marcos Piva

Demarzo1

1 Universidade Federal de São Paulo, São Paulo, SP, Brasil.

2 Ghent University, Gent, Bélgica.

3 Universidade de São Paulo, São Paulo, SP, Brasil.

Como citar este artigo:

Ponnet L, Willems S, Vyncke V, Bousquat A, Viana AL, Mello GA, Demarzo

MM. Evaluation of the quality of Primary Health Care services for child:

reflections on the feasibility of using the Brazilian version of the Primary Care

Assessment Tool as a routine assessment tool. einstein (São Paulo).

2018;x(x):eAO4333.

Autor correspondente: Liz Ponnet - Programa de Pós-Graduação em Saúde

Coletiva da Universidade Federal de São Paulo (PPGSC - UNIFESP)

Rua Botucatu, 740, 4º andar, sala 404 • Vila Clementino • São Paulo/SP •

CEP: 04023-062. Telefone: (11) 5576-4848 ramal 1879 - E-mail:

liz.ponnet@usf.edu.br

Data de submissão: 15/11/2017 – Data de aceite: 22/06/2018

Conflito de interesse: não há.

DOI: ************

ABSTRACT

Objective: This cross-sectional study aimed to assess the quality of the PHC

services provided to children and the feasibility of using the Primary Care

Assessment Tool (PCAT) as a routine quality assessment tool in a small rural

town in Brazil. Methods: Seven health professionals and 502 caretakers of

children using the public health center were interviewed using the Brazilian

PCAT. SPSS (Statistical Package for Social Sciences) version 23.0 for

Windows was used for data processing. Results: Caretakers rated the

attributes of “degree of affiliation”, “first contact care- use of services”,

“coordinated care”, and “comprehensive care - available services” as good. The

attributes of “first contact accessibility”, “long term person care”,

“comprehensive care - offered services” and “family- and community-oriented

care” were scored bad. In contrast, the health professionals only rated the

attribute of “first contact accessibility” as satisfactory, and considered all other

PHC-attributes in need of improvement. Conclusion: Using the PCATool-Brasil

as a routine assessment and planning tool seemed not feasible in the given

setting due to high costs, lack of trained personnel and huge workload involved.

In order to overcome the encountered obstacles, advice was formulated based

on the field experience.

Keywords: Quality of health care; Primary health care; Child; Brazil

RESUMO

Objetivo: Os serviços de Atenção Primária à Saúde (APS), administrados

pelas autoridades municipais de saúde, são a porta de entrada preferencial no

sistema nacional de saúde. A qualidade desses serviços está sendo medida

nas grandes cidades, mas ainda não nas pequenas cidades, embora estas

representem 70% de todas as cidades brasileiras.

Métodos: Sete profissionais de saúde e 502 cuidadores de crianças que

usaram o centro de saúde foram entrevistados usando o PCATool-Brasil. SPSS

(Statistical Package for Social Sciences) version 23.0 for Windows SPSS foi

usado para processamento de dados. Resultados: Os cuidadores

classificaram os atributos de "grau de afiliação", "acesso de primeiro contato -

utilização", "coordenação" e "integralidade - serviços disponíveis" como

satisfatórios. Os atributos da "acesso de primeiro contato - acessibilidade",

"longitudinalidade", "integralidade - serviços prestados" e "orientação familiar e

comunitária" foram classificados como instisfatórios. Em contraste, os

profissionais de saúde apenas classificaram o atributo de "acessibilidade do

primeiro contato" como satisfatórios e consideraram todos os outros atributos

de APS em necessidade de melhoria.

Conclusão: Usar o PCATool-Brasil como uma ferramenta de avaliação e

planejamento de rotina pareceu não ser viável neste estudo por motivo de altos

custos, falta de pessoal treinado e enorme carga de trabalho envolvida. Para

superar os obstáculos encontrados, conselhos foram formulados com base na

experiência de campo.

Descritores: Qualidade da assistência à saúde; Atenção primária à saúde;

Criança; Brasil

INTRODUÇÃO

Ao longo dos últimos 20 anos, o Brasil, país tradicionalmente caraterizado por

inigualadas diferenças regionais, socioeconômicas e de assistência à saúde,(1)

tem progredido em relação a provisão de um assistência a saúde mais

equitário igualitária.(2) Um importante passo neste progresso foi a criação de um

sistema único de saúde (SUS) que disponibiliza acesso imediato, universal e

gratuito à serviços de saúde à todos os cidadãos.(3) A atenção primária à saúde

(APS) é a porta de entrada o meio de comunicação preferencial para o sistema

nacional de saúde;(4) uma política que mostra redução das inequidades

diferenças na assistência a saúde.(5) Quando um cidadão brasileiro sente a

necessidade de procurar um médico, ele pode visitar um centro de APS onde é

atendido por um enfermeiro, um clínico geral (adulto), um pediatria (criança) ou

ginecologista (mulheres). Considera-se um modelo tradicional de APS, que

ainda atende 38% da população brasileira.(6) A maioria dos brasileiros (62%)

são inscritos na Modelo de Estratégia de Saúde da Família estratégia do

modelo de saúde da família, em que uma equipe multidisciplinar composta por

um médico de família, uma enfermeira, um auxiliar de enfermagem, quatro

agentes comunitários de saúde trabalhadores de assistência à saúde

comunitária e um equipe de saúde bucal são responsáveis por uma população

específica em um área geográfica delineada.(7)

Neste modelo, um agente comunitário de saúde uma comunidade de

profissionais de saúde visitam cada família uma vez por mês e estabelecem um

elo entre a comunidade e a unidade da estratégia do programa de saúde da

família (PSF) para todas as questões relacionadas à de saúde relacionadas.

Se um usuário do SUS expressa necessidade de consulta médica, o

atendimento pode ser realizado na unidade do PSF onde o médico da família

atende a maioria dos problemas de saúde, e poderá encaminhar para outras

especialidades se julgar necessário. Além do cuidado médico, o usuário pode

contar com outros serviços de APS como vacinações, curativos, assistência

odontológica, também como ações de promoção de saúde.

Cada município cidade é responsável por organizar seus próprio

serviços de APS(4) que são é gerenciados pela Secretaria Municipal de saúde

por autoridades de saúde no âmbito municipal com participação ativa dos

usuários do SUS. Ao longo do tempo, cidade municípios evoluiram têm partido

de modelos tradicionais de APS para o modelo de PSF baseando-se em

solidas evidencias com a justificativa de que esse último modelo reduz as

inequidades diferenças na assistência à saúde e também as taxas da

mortalidade infantil.(2,8,9)

O Brasil conta com 5.570 cidademunicípios, destessas 70% são

pequenoas e compostoas de menos de 20,000 habitantes.(10) Um extenso

panorama de modelos de APS pode ser encontrado, especialmente em

cidademunicípios rurais ou montanhosoas, em que é o desafio é garantir o

acesso aos serviços de APS próximo as casas dos cidadãos, devido as longas

distâncias da unidade de assistência à saúde, vias sem asfalto que são

inacessíveis durante as estações de chuva e mesmo aà falta de comunicação,

talis como sinal de rede de telefone móvel.

A APS por natureza disponibiliza uma resposta às barreiras

mencionadas por natureza. Os atributos essenciais As competências

principais(11) da APS podem ser definidoas como: (a) o acesso acessibilidade do

primeiro contato e a utilização dos serviços de saúdeuso da assistência, ou a

unidade de APS procurada peloor usuário à cada nova necessidade

emergência de saúde; (b) a longitudinalidade do cuidado assistência à paciente

de longo prazo, significando que oum usuário procurará seu centro de saúde

regular ou unidade de PSF para qualquer problema de saúde que ocorrará ao

longo do tempo; (c) a integralidade dos serviços, cuidado compreensivo, ou

opções de serviço de saúde disponibilizados aos usuários, incluindo serviços

de saúde assistência preventivosa e curativosa, e encaminhamentos à outros

especialistas; e (d) coordenação do cuidado, envolvendo a unidade APS como

um parceiro chave no gerenciamento de problemas de saúde de seus usuários

por meio do prontuário médico e bom relacionamento paciente/profissional de

saúde.

Outroas três atributos derivados competências relacionadas definem a

APS:(11) (a) cuidado centrado na família, referindo-se a relacionadas a

compreensão de influências complexas de uma família na necessidade de

saúde individual comparado as necessidades individuais, (b) orientaçãocuidado

centrada orientado na comunidade, significando que aa unidade de APS

entende , reconhecendo as necessidades (não atendidadas) de saúde (não

abordadas) da comunidade da qual em que o usuário faz parte e entendendo

as características de saúde relacionadas a uma comunidade específica, e (c)

competência cultural: um usuário se relaciona com um profissional de APS que

respeita seus medos e crenças de saúde, que reconhece sua influência na

saúde e que pode se fazer entender e expressar questões técnicas em uma

linguagem que é totalmente compreendida pelo usuário.

Diversos instrumentos têm sido desenvolvidos para avaliar os atributos

as competências dao APS, incluindo ferramentsa de avaliação da atenção

primária à saúde (PCAT na sigla em Inglês) (FAAPPCAT).(12) O A FAAPPCAT foi

traduzidoa e adaptadoa para uso em diferentes países,(13-15) incluindo países da

américa latina como Uruguai,(16) Argentina,(17) e Brasil,(18) sendo que uma das

principais vantagens apontadas doa FAAPPCAT é sua confiabilidade

transcultural. O Ministério da Saúde Brasileiro (MSBMS) incentiva o uso doa

FAAPPCAT para avaliação e monitoria da qualidade dos serviços de APS.(19)

Muitos estudos nacionais têm sido realizados para avaliar os atributos da APS

utilizando FAAPPCAT. A maioria deles, porém, foram conduzidos em grandes

cidades e alguns deles fazem parte do estudo financiado pela MS e obtiveram

financiamento para parte da pesquisa junto ao MSB MS e banco mundial por

meio do Projeto de Expansão e Consolidação da Saúde da Família (PROESF)

em cidademunicípios com mais de 100.000 habitantes.(20, 21)

OBJETIVO

Avaliar a qualidade dos serviços de APS oferecidos à crianças de uma

pequenoa cidademunicípio rural antes da implementação da Estratégia de

Saúde da Família por meio da disponibilização de dados de linha de base

relacionados aos gestores locais de saúde local e usuários do SUS e aos

atributos da APS num modelo tradicional de APS.comparados ao modelo

tradicional. Comparar esses dados de linha de base com dados futuros dados

de qualidade das características da APS após implementação da estratégia de

saúde da família, e permitir a tomada de decisão local.

O segundo objetivo do estudo é refletir quanto a facilidade de realizar um

estudo de FAAPPCAT como rotina de avaliação de qualidade em uma pequena

cidade rural brasileira.

METÓDOS

Local do estudoO estudo foi conduzido em Joanópolis, um pequenoa cidademunicípio rural de

12.610 habitantes, localizadoa nas montanhas da Serra da Mantiqueira no

estado de São Paulo.(10)

A incidência de pobreza na área é alta, com 31,30% da população oda

cidademunicípio com renda mensal de até meio salário mínimo.(10) Em geral, a

renda per capita é R$607 (190.7 USD), equivalente a 1,2 salários mínimos.(10)

A maioria da população comtem mais de 25 anos (76,3%) teme menos de 8

anos de estudo formal.(10) Metade da população vive no centro da cidade e

metade na área rural montanhosa. O território é extenso (374.28Km2),(10) com

algumas pessoas morando a mais de 30km do centro da cidade onde todos os

serviços de saúde estão concentrados. Não há transporte público disponível. O

A cidademunicípio conta com um centro de saúde público oferecendo serviços

de Atenção Primária à Saúde, e um Pronto Socorro, serviços oferecidos por

uma organização filantrópica, e que disponibiliza atendimento de emergência

por 24⁄24 horas. Além disso, há um consultório médico privado. O coeficiente

de médicos prestando serviços de saúde no SUS assistência no setor público é

0,72 por 1.000 habitantes.(22) O quadro de profissionais de saúde no centro de

saúde inclui 2 enfermeiros, 3 auxiliares de enfermagem (2,2 equivalentes a

tempo integral (ETI), 3 clínicos (2ETI), 2 pediatras (1ETI), 2 ginecologistas

(1ETI), e outros especialistas como um cirurgião ortopedista (1/6 ETI), um

psiquiátrica (1/5 ETI) e um cardiologista (1/5 ETI). Há provisão esporádica de

atividades nas de áreas rurais.(22) A estratégia de saúde da família (com equipe

multidisciplinar atendendo uma população definida) ainda não estava em

prática quando este estudo foi conduzido.(22) A grande maioria da população

(79.9%) não tem plano de saúde e, portanto, são depende exclusivamente SUS

dependentesdos serviços de saúde pública.(22)

Considerações éticasEsse eEstudo foi aprovado pelo comitê de ética e pesquisa da Universidade

Federal de São Paulo com número CAAE: 02244812.0.0000.5505, também foi

como aprovado pelo comitê de ética da Ghent University, sob número

BE670201420498.

DesenhoTrata-se de estudo transversal por meio da aplicação doa PCATool-Brasil à

crianças e profissionais de saúde de ume centro de saúde pública no Brasil.

Ferramenta de avaliação

O PCATool-Brasil versão criança é ferramenta adaptada a realidade

Brasileira(19) disponível como questionário cliente-consumidor aplicado à

responsaveis legais cuidadores de crianças, e como pesquisa de profissionaisl

de saúde. O PCATool-Brasil versão criança conta com 55 itens na versão

consumidor, 77 na versão profissional. O formulário mede o grau de afiliação à

unidade de saúde da unidade de assistência à saúde, o uso dos serviços de

saúde, e os atributos da APS. Também medo, os quatro principais atributos

essenciais da APS (nominalmente acesso de “primeiro-contato aos serviços de

saúde” assistencial, longitudinalidade, cuidado de longo prazo, coordenação de

cuidadosassistencial (serviços disponíveis e disponibilizados); e dois atributos

derivados de APS relacionados, sendo orientação centrada na assistência

orientada a família e comunidade. Para cada atributo, umo escore pode ser

calculado em uma escala variando de 0 a 10. A soma de todos os atributos, um

escore pode ser calculado em escala variando de 0 a 10. A soma de todos os

atributos, observando regras pré-determinadas,(19) resulta em um escore geral

de APS geral, revelando a qualidade geral dos serviços de APS disponíveis

ofertados. Se apenas 4 doas principais atributos atribuições forem

consideradoas, o escore essencial dao APS pode ser calculado, refletindo o

desempenho dos atributos essencias e domínios centrais dos serviços de APS

oferecidos.

PCATool-Brasil versão criança: questionário

Participantes – Seleção de respondentes

Indivíduos elegíveis eram país ou responsáveis legais de criança com idade

entre 0 e 12 anos, que procuraram o centro de saúde pública para assistência

médica não urgente à criança. O pai/responsável era abordado na sala de

espera e convidado a participar do estudo. Após a leitura das explicações do

estudo e assinatura do termo de consentimento, o PCATool-Brasil versão

criança era administrada oralmente.

Foram excluídos país/responsáveis com distúrbios mentais. No caso de

país/responsáveis procurando assistência para duas ou mais crianças, decidiu-

se que o PCATool seria aplicadoa somente àcom a criança mais jovem.

Amostra

A amostra de responsáveis legais das crianças foi calculada em n=319.O total

de 319 país-responsáveis das crianças foi incluídos no estudo. Utilizou-se nível

de confiança de 95% e intervalo de confiança de 95%. Além disso, Iincluímos

neste estudo uma população de 1,861 crianças com idade de 0 a 12 anos,

residentes em Joanópolis em 2012.

Coleta de dados

Dose 508 responsáveiscuidadores que foram abordados para participar no

estudo, 6 recusaram a participação (taxa de resposta foi de 98,9%). Os dados

de 502 cuidadores foram coletados utilizando a PCATool-Brasil versão criança

entre Outubro 2013 e Agosto de 2014.

Variáveis de resultado "outcome"

Os escores para cada atributo, o escore geral e essencial de APS, representam

as variáveis do resultado ("outcome").

Medidas principais do principal resultado "outcome"

Quanto mais alto o escore, melhor, O escore mais alto, o melhor, com 6,6

sendo o ponto de cut-off para assistência de alta qualidade.(18)

Análise de dados

Os dados foram incluídos no Excel por uma pessoa e revisadso por duas

pessoas. e revisados. O SPSS (Statistical Package for Social Sciences) versão

23,0 para Windows foi adotado para o processamento de dados. Os resultados

mostraram os escores de média e os respectivos intervalos de médio e

intervalo de confiança de 95%.

PCATool-Brasil versão profissional de saúde

Participantes

Todos os profissionais de saúde que atenderam as crianças com possuíam

nível universitário (médico ou enfermeira-padrãodoutora ou graduação em

enfermagem). Também foram convidados a participar no estudo os dois

gerentes locais de saúde local, (n=8) contudo, todos menos um aceitaram

somente um deles aceitou o convite.

Variáveis de resultados

O PCATool-Brasil versão profissional permite calcular os escores para cada

atributo, também como o escore APS geral e essencial de APS, indicando o

desempenho dos serviços de APS a partir do ponto de vista do profissional de

saúde.

Principais resultados medidos

O escore numérico variaou de 0 a 10, com 6,6 sendo o ponto de cut-off para

melhor realização de um serviço de APS com bom desempenho.(18)

Coleta de dados

Após disponibilização do termo de consentimento, o PCATool-Brasil versão

profissional de saúde foi auto-administratado e reenviado ao pesquisador. Um

dos profissionais não respondeu o PCATool-Brasil devido a recente aplicação

no centro de saúde, o que resultou em total 7 respondentes do PCATool-Brasil

versão profissional.

Análise de dados

Os dados foram incluídos no Excel por um pesquisador e revisados por outro

pesquisador, no intuito de melhorar o "accuracy" dos dados. O SPSS

(Statistical Package for Social Sciences) versão 23,0 para Windows foi adotado

para processamento dos dados. Os resultados mostraram o escore médiao e

os respectivos intervalos de confiança de 95%.

Viabilidade Aplicabilidade do estudo PCAT

Para avaliar a viabilidade aplicabilidade do estudo PCAT, o tempo investido de

mão de obra, orçamento e cronograma ?calendário foram documentados

também como fatores capacitantes e incapacitantes descritos pelo pesquisador

principal.

RESULTADOS

Avaliação da qualidade do serviço de atenção primária a saúde

disponibilizado às crianças a partir do ponto de vista do cuidador

Os responsáveiscuidadores avaliaram a qualidade geral dos serviços de

APS disponibilizados para seus filhossuas crianças como insatisfatório: o

escore geral de APS foi de 5,62. Contudo, quando apenas os atributos

essenciasi principais domínios de APS foram considerados, os

responsáveiscuidadores atribuíram um escore o melhor escore: o escore

essencial de APS essencial foi 6,92.

A maioria dos cuidadores consideraram o centro de saúde como local

onde normalmente levavam seus filhos para tratar uma necessidade de saúde:

o grau de afiliação para centro de saúde foi de 7,96. Eles também relataram

usar o centro de saúde, em geral, para o primeiro contato de assistência à

saúde, com escore de 9,57. A acessibilidade foi considerada baixa (4,09)

também como a longitudinalidade assistência pessoal de longo prazo (5,48). A

coordenação do cuidado (8,54) e os sistemas de informação (7,58) foram

considerados satisfatórios a partir do ponto de visto do responsávelcuidador. O

atributo de integralidadeA assistência compreensiva atribuída foi positivoa para

os componentes deos serviços disponíveis (7,20) e quase positivoa para os

serviços oferecidos (6,23). O cCuidado orientado à família apresentou escore

menor (2,04) e cuidado orientado à comunidade foi quase ausente (0,01). A

tabela 1 mostra a média de escore para atributos com intervalo de confiança,

baseado na experiência dos responáveis cuidadores de crianças usuarios de

um centro de saúde pública no centro de Joanópolis- São Paulo, Brasil.

Tabela 1. Atributos de APS, escore médiao e intervalo de confiança 95% para

usuários (crianças) em Joanópolis, São Paulo, Brasil

Atríbutos APS n Escore IC 95%

Grau de afiliação. 502 7,96 (7,77;8,15)

Primeiro contato aos serviços de saúde.de

assistência à saúde. Uso dos serviços.

502 9,57 (9,46;9,69)

Primeiro contato aos serviços de saúde.de

assistência à saúde. Acessibilidade.

502 4,09 (3,93;4,26)

Longitudinalidade. Cuidado pessoal de longo

prazo.

502 5,48 (5,39;5,58)

Coordenação - Integração de cuidados.Cuidado

coordenado. Serviços integrados.

100 8,54 (7,88;9,20)

Coordenação - Cuidado coordenado. Sistemas

de informação.

502 7,58 (7,44;7,73)

Integralidade -Cuidado compreensivo. Serviços 448 7,20 (7,09;7,32)

disponíveis.

Integralidade - Cuidado compreensivo. Serviços

oferecidos.

495 6,23 (5,89;6,57)

Escore essencial de APS essencial. 6.92 (6.82;7.01)

Cuidado orientado à família. 500 2.04 (1.83;2.26)

Cuidado orientado à comunidade. 502 0.01 (-

0.01;0.02)

Escore geral de APS geral. 5.62 (5.53;5.70)

Avaliação da qualidade dos serviços de atenção assistência

primária à saúde para crianças do ponto de vista do

profissional de saúde

O profissional de saúde avaliou os serviços de atenção assistência primária à

saúde ofertados às disponível para crianças como insatisfatório (abaixo do cut-

off de 6,6) : escore geral de APS geral é 5,52. Mesmo se apenas os atributos

essencias da APS fossem considerados, o escore essencial de APS essencial

ainda é negativo (5,67). A acessibilidade do primeiro contato alcançou boa

pontuação (7,20). Foram considerados negativos a longetudinalide o cuidado

pessoal de longa prazo (5,57), a coordenação do cuidado (5,32), coordenação

dos sistemas de informação (4,44), a integralidade dos serviços disponíveis

serviço de cuidado compreensivo disponível (5,95) e serviços oferecidos (5,56).

O cuidado orientado à família (5,71) e orientado à comunidade (4,44) obteve

pontuação baixa. A tabela 2 sintetiza os atributos, os escores gerais e

essenciais de APS geral e essencial do ponto de vista dos profissionais de

saúde.

Tabela 2. Atríbutos APS (PCATool-Brasil versão profissional)

Atríbutos APS Escore (n=7)

Primeiro contato de assistência à saúde. Acessibilidade. 7,20

Longitudinalide Cuidado pessoal de longo prazo. 5,57

Coordenação do cuidado. Inegração de cuidados Serviços integrados.

5,32

Coordenação do cuidado. Sistemas de informação. 4,44

Integralidade Cuidado compreensivo. Serviços disponíveis. 5,95

Integralidade Compreensivo. Serviços oferecidos. 5,56

Escore essencial de APS-essencial 5,67

Cuidado orientado à familía. 5,71

Cuidado orientado à comunidade. 4,44

Escore geral de APS geral 5,52

Viabilidade do uso da PCTA-tool como ferramenta de

avaliação de rotina

Para conduzir este estudo, pelo menos 1.241 horas de trabalho foram

investigadas, em que 39% relacionadas ao desenho do estudo, 21% em coleta

de dados, 13% em análise de dados, e escrita e relato de divulgação de

resultados preliminares. O estudo iniciou em 2012 e os resultados forma foram

distribuídos? em Março de 2016. O orçamento estimado foi de R$12,900.00

(equivalente a US$3.953,73). A tabela 3 resume a investigação das horas

trabalhadas, orçamento e calendário do estudo FAAPPCAT em Joanópolis.

Tabela 3. Mão de obra, orçamento e calendário investido do estudo PCAT

  Tempo Valor Calendário

 Mão de

obra

Orçamento em R$

Dada inicia

l

Data

final

Escrever o pProtocolo de estudo escrito 480 horas

0 01/04/2012

30/07/2012

Obtenção de aprovação ética 48 horas

0 30/07/2012

18/02/2013

Obtenção de aprovação de autoridades locais de saúde local

30 horas

0 01/08/2012

01/07/2013

Informando profissionais de saúde e colaboradores do centro de saúde

24 horas

0 01/06/2013

20/07/2013

Preparando a coleta de dados (xerocar questionarios e ferramentas de cópia e consentimentos)

8 horas

1,800 01/06/2013

25/07/2013

Treinamento de entrevistadores 56 horas

0 01/07/2013

30/07/2013

Coleta de dados do PCATool-Brasil 265 horas

5,100 25/07/2013

11/08/2014

Transporte, comunicação 1,000Incluir dados Dados de inclusão (revisão) 160 h

oras

4,000 01/05/2014

01/12/2014

Análise de dados 40 horas

0 05/01/2015

11/01/2015

Escrever osita de resultados 50 horas

0 12/01/2015

05/02/2015

DResultados de divulgação de resultados 80 horas

1,000 12/01/2015

Em andamento

  1.241 horas

12,900

A motivação dos profissionais pessoal de saúde e suporte do gerente

local dos serviços dee saúde local foram considerados como fatores

facilitadores para realização do estudo PCAT nesteem contexto particular.

Apesar do MSa MOH brasileiroa providenciar a PCATool-Brasil online e

enfatizar a importância do uso destaas ferramentas como um instrumento de

medida de qualidade dos serviços de APSPHC em rotina de básica

rotineiramente,, os pesquisadores encontraram algumas dificuldades. Primeiro,

o MSOH não preveobserva financiamento para tais estudos, e mesmo em uma

escala menor comode nosso estudo, este tipo de estudo tem um custo

razoável. Segundo, o MSMOH disponibiliza a ferramenta, mas não o programa

para calcular os escores. Ademais, calcular os escores é factível, mas envolve

tempo e constante medição da qualidade. Outros autores(23) também apontam

que uma versão mais curta do PCATool-Brasil poderia facilitar o uso dae

ferramenta, por exemplo, numa avaliação de rotina. Além disso, realizar

pesquisa em área rural é geralmente um desafio: a comunicação pode ser

difícil (a ruim ou falta de conexão de internet ruim ou inexistente ou mesmo

falta de energia durante as estações de chuva), longa a distância àda

universidade ou centro de pesquisa é longa (grande?), o transporte público não

é disponível de baixo custo, etc. Também, problemas práticos tiveram de ser

resolvidos, tais como o espaço pequeno dentro do em um centro de saúde que

teve em de ser divido entre os pelas pesquisadores e profissionais de saúde.

Durante o estudo, houve mudança na gerencia local de saúde, devido as

mudanças de mandato político; isso foi considerado um . Sendo esse, um fator

considera como iincapacitante.

DISCUSSÃO

Avaliação da qualidade de atenção primária à saúde ofertada às

dos serviços disponibilizados para crianças em área rural

Escore geral e essencial de APS geral e essencial

Tanto os responsáveis cuidadores como os profissionais de saúde avaliaram a

qualidade dos serviços de APS oferecidos as crianças como insatisfatório,

expresso peloor escore geral de APS geral. Se oOs responsáveiscuidadores

considerando apenas consideram os principais atributos essenciais dos

serviços de APS, eles avaliam os serviços de APS ram essa questão como

adequadosa. Se o cuidado a assistência à saúde orientado à família e à

comunidade não èera consideradoa, o escore dos profissionais de saúde não

mudava em relação a qualidade dos serviços de APS; os serviços continuavam

sendo avaliados inadequados.

Cuidado orientado à família e à comunidade

Apesar do fato da estratégia de saúde da família não ter sido implementada

noa cidademunicípio durante o período do estudo estudado, esse fato isolado

não pode explicar os resultados extremamente baixos. A maioria dos estudos

no Brasil mostram orientação à família e comunidade deficiente, mesmo se os

escores desses destes se originassem de atributos derivados de APS que

tendem a ser melhor nas unidades de PSFAPS comparado com as unidades

tradicionais de APS.(20,23,24) Alguns autores tentaram encontrar uma explicação

ao fato da orientação à família ser desafiador nos grandes centros urbanos ou

grande metrópoles,(25) porém nosso estudo sugere que mesmo nas áreas

rurais, esta orientação é falha. Talvez, parte da explicação pode ser atribuída

ao fato de que poucos profissionais de saúde trabalhando no serviço de APS

são treinados em medicina de família e comunidade,(26, 27) além disso tem uma

visão curativo tradicional e a maioria tem visão tradicional em relação ao

tratamento e também hospitalocentrico. Por esta razão eles tratam os sintoma

dos pacientes com medicamentos(28) e não integram aspectos da família ou

comunidades no manejo dos pacientes.

Grau de afiliação, uso e primeiro contato de acessibilidade de primeiro

contato ao centro de saúde

Apesar dos responsáveiscuidadores considerarem o centro de saúde como um

ponto de entrada no sistema de saúde, e eles usaram este muito

frequentemente, eles avaliam a acessibilidade como baixa sendo o uso para

esse fim foi muito comum. A taxa de acessibilidade foi avaliada como baixa,

sendo que este dado corrobora como outros estudos no Brasil.(20-24) Porém

Contrariando este achado, este foi o único atributo que os profissionais de

saúde avaliaram como bom. Esse fato, talvez, pode ser explicado pela

densidade médica reduzida durante o periodo de estudode médicos (5,37)

médicos para cada 10.000 crianças com idade de 0 a 12 anos, e 1,59

enfermeiros (1,59) para 10.000 usuarios (adultos e crianças). Em uma típica

cidade pequena cidade brasileira, a densidade de profissionais de saúde é

muito menor do que 23 profissionais de saúde (médicos, enfermeiros e

enfermeiros obstétricas) por 10.000 habitantes, número considerado

necessário pela Organização Mundial da Saúde para a oferta de assistência

essencial de à saúde materno- e infantil.(29) Além do número de profissionais,

outros aspectos organizacionais podem ser responsáveis, como por exemplo, o

numero de limite de consultas limitado.

LongitudinalidadeCuidado pessoal de longo prazo

A longitudinalidade O cuidado pessoal de longo prazo alcançou pontuação

baixa, tanto pelos responsáveis para cuidadores quanto pelosara profissionais

de saúde. A literatura mostra resultados divergentes neste atributo.(20,21,23) Em

nosso estudo, esse resultado pode se explicado pela conhecida alta

rotatividade de médicos atendendo crianças noa cidademunicípio, também pelo

fato de muito poucos médicos serem treinados em oferecer cuidados ao longo

do tempo pessoal de longo prazo.(26,27)

Coordenação do cuidado: serviços integrados e sistemas de informação

O responsáveiscuidadores, em discordância com os profissionais de saúde,

consideraram a coordenação do cuidado como de boa qualidade. Os escores

para esses atributos são mais altos do que os mencionadas na literatura.(20,21,23)

Reflexões da viabilidade de utilizar a PCATool-Brasil como uma

ferramenta de avaliação de rotina

A avaliação da qualidade dos serviços de APS disponibilizados para

crianças nestea pequenoa cidademunicípio mostra que em geral os serviços de

saúde cuidado são é considerados como inadequados, com escore

extremamente baixo para orientação familiar e comunitária.de famílias e

comunidades.

Baseada em nosso estudo, não parece ser viável o uso da PCATool-

Brasil como um ferramenta de avaliação de rotina em uma pequena cidade

rural. Algumas recomendações foram formuladas a partir desta experiência: (i)

prever um orçamento para avaliar a qualidade dos serviços rotineiros de APS

disponibilizados à todos os usuários rotineiramente, com objetivo de planejar e

avaliar as intervenções emão de atenção primária àde saúde; (ii) reduzir o

número de itens dae avaliação longa de PCAT de longo prazo que pode

facilmente ser utilizado pelo gestor de saúde ; (iii) disponibilizar alternativas

para a versão clássicas de PCATool-Brasil em papel, tais como formulários

com dados que possam ser lidos por máquinas e validados automaticamente e

armazenados em base de dados disponíveis para análise, ou disponibilizadas

na versão para dispositivos móveis - em que dados podem ser armazenados e

transferidos para uma base de dados central quando conexão sem fio não está

disponível; (iv) disponibilizar plataformas de análise de dados automáticas ou

software de programas gratuitos em que as conversões de escores atribuídos

possam ser recodificados automaticamente em escores entre 0 a 10,

possibilitando que os escoresAPS geral e essencial de APS sejam calculadas

automaticamente; (v) reunir dados de todos os estudos utilizando PCATool-

Brasil em uma plataforma, permitindo comparar os escores obtidos entre

municípios e regionais de saúde; (vi) auxiliar profissionais de saúde e gestores

municipaisl e gestores com uma avaliação da qualidade dos serviços de

saúde a cuidado da saúde, especialmente em áreas rurais remotas, por

exemplo elo menos para expandindor a telemedicina ou outras plataformas

remotas para ajudar planejar as atividades de APS; (vii) fortalecer a

colaboração das instituições de educação médica com serviços APS remotos

de APS para facilitar tais avaliações; e (viii) expandir os programas de

formação treinamento em medicina de família e comunidade, incluindo estágios

em centros de saúde rurais capacitando os para permitir aos novos médicos

especialistas com ferramentas de avalição adequadas.

APor este motivo, a PCATool-Brasil poderia ser usada realizada de

modo rotineiro e utilizada como ferramenta de planejamento,em particular,

também em um ambiente não acadêmico rural, como principal objetivo dde

disponibilizar serviços de APS de qualidade para os usuários.

CONCLUSÃO

Este estudo disponibiliza ideias em relação aos serviços de atenção primária à

saúde em uma pequena cidade rural brasileira. Há possibilidade de melhoria,

especialmente em relação à orientação da famíliae e comunitária.dade. O uso

da PCATool-Brasil com um ferramenta de avaliação de rotina parece não ser

viável devido aos altos custos, falta de profissionais capacitados, e alta carga

de trabalho envolvida.

AGRADECIMENTOS

Os autores agradecem as agências de fomento. Liz Ponnet recebeu bolsa de

doutorado do Conselho Nacional de Desenvolvimento Científico e Tecnológico

(CNPQ) e bolsa de doutorado sanduíche da Coordenação de Aperfeiçoamento

de Pessoal de Nível Superior (CAPES). Sara Willems recebeu bolsa com

professor/pesquisador visitante da Coordenação de Aperfeiçoamento de

Pessoal de Nível Superior (CAPES).

List of abbreviations

FTE: Full time equivalent

MOH: Ministry of Health

PCAT: Primary Care Assessment Tool

PHC: Primary Health Care

PSF: Family Health Strategy unit

SUS: Unified Health System

REFERÊNCIAS

1. Paim J, Travassos C, Almeida C, Bahia L, Macinko J. The Brazilian

health system: history, advances, and challenges. Lancet.

2011;377(9779):1778-97.

2. Mullachery P, Silver D, Macinko J. Changes in health care inequity in

Brazil between 2008 and 2013. Int J Equity Health. 2016;15(1):140.

3. Lei nº 8.080, de 19 de setembro de 1990. Dispõe sobre as condições

para a promoção, proteção e recuperação da saúde, a organização e o

funcionamento dos serviços correspondentes e dá outras providências. Diário

Oficial da República Federativa do Brasil, Brasília (DF); 1990 Set 20; Seção

1:18055-9.

4. Brazil. Portaria nº 2.488, de 21 de outubro de 2011. Aprova a Política

Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas

para a organização da Atenção Básica, para a Estratégia Saúde da Família

(ESF) e o Programa de Agentes Comunitários de Saúde (PACS) [Internet].

Diário Oficial da República Federativa do Brasil, Brasília (DF); 2011 Out 21

[citado 2018 Maio 30]. Disponível em:

http://www.saude.mt.gov.br/upload/legislacao/2488-%5B5046-041111-SES-MT

%5D.pdf

5. Goddard M, Smith P. Equity of access to health care services: theory and

evidence from the UK. Soc Sci Med. 2001;53(9):1149-62. Review.

6. Macinko J,Harris MJ. Brazil's family health strategy--delivering

community-based primary care in a universal health system. N Engl J Med,

2015;372(23):2177-81.

7. Brasil. Portaria no 648 de 28 de março de 2006. Aprova a Política

Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas

para a organização da Atenção Básica para o Programa Saúde da Família

(PSF) e o Programa Agentes Comunitários de Saúde (PACS) [Internet]. Diário

Oficial da República Federativa do Brasil, Brasília (DF); 2006 Mar 28 [citado

2018 Maio 30]. Disponível em:

https://www.nescon.medicina.ufmg.br/biblioteca/imagem/1837.pdf

8. Facchini LA, Piccini RX, Tomasi E, Thumé E, Teixeira VA, Silveira DS, et

al. Avaliação de efetividade da Atenção Básica à Saúde em municípios das

regiões Sul e Nordeste do Brasil: contribuições metodológicas. Cad Saúde

Pública. 2008;24(Suppl 1):s159-72.

9. Macinko J, Marinho de Souza Mde F, Guanais FC, da Silva Simões CC.

Going to scale with community-based primary care: an analysis of the family

health program and infant mortality in Brazil, 1999-2004. Soc Sci Med.

2007;65(10):2070-80.

10. Brasil. Instituto Brasileiro de Geografia e Estatística (IBGE) [Internet].

[citado 2018 Jun 21]. Disponível em: https://sidra.ibge.gov.br/Acervo?

nivel=6&unidade=3525508#/T/Q

11. Starfield B. Atenção primária: equilíbrio entre necessidades de saúde,

serviços e tecnologia. Brasília (DF): UNESCO; Ministério da Saúde; 2002. p.

725

12. Cassady CE, Starfield B, Hurtado MP, Berk RA, Nanda JP, Friedenberg

LA. Measuring consumer experiences with primary care. Pediatrics 2000;105(4

Pt 2):998-1003.

13. Pasarin MI, Berra S, Rajmil L, Solans M, Borrell C, Starfield B. [An

instrument to evaluate primary health care from the population perspective].

Aten Primaria. 2007;39(8):395-401. Spanish.

14. Lee JH, Choi YJ, Sung NJ, Kim SY, Chung SH, Kim J, Jeon TH, Park

HK; Korean Primary Care Research Group. Development of the Korean primary

care assessment tool--measuring user experience: tests of data quality and

measurement performance. Int J Qual Health Care. 2009;21(2):103-11.

15. Yang H, Shi L, Lebrun LA, Zhou X, Liu J, Wang H. Development of the

Chinese primary care assessment tool: data quality and measurement

properties. Int J Qual Health Care. 2013;25(1):92-105.

16. Pizzanelli M, Ponzo J, Buglioli M, Toledo A, Casinelli M, Gómez A; Grupo

PCAT.UY. Validación del primary care assement tool en Uruguay. Rev Med

Urug. 2011;27(3):187-9.

17. Berra S, Hauser L, Audisio Y, Mántaras J, Nicora V, Oliveira MM, et al.,

Validez y fiabilidad de la versión argentina del PCAT-AE para evaluar la

atención primaria de salud. Validity and reliability of the Argentine version of the

PCAT-AE for the evaluation of primary health care. Rev Panam Salud Publica.

2013;33(1):30-9.

18. Harzheim E, Starfield B, Rajmil L, Álvarez-Dardet C, Stein AT. [Internal

consistency and reliability of Primary Care Assessment Tool (PCATool-Brasil)

for child health services]. Cad Saude Publica. 2006;22(8):1649-59. Portuguese.

19. Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde.

Departamento de Atenção Básica. Manual do instrumento de avaliação da

atenção primária à saúde: primary care assessment tool pcatool - Brasil:

primary care assessment Tool PCAT Tool-Brasil [Internet]. Brasília (DF):

MInistério da Saúde; 2010 [citado 2018 Maio 30]. [Série A. Normas e Manuais

Técnicos]. Disponível em:

http://bvsms.saude.gov.br/bvs/publicacoes/manual_avaliacao_pcatool_brasil.pd

f

20. Ibañez N, Rocha JS, Castro PC, Ribeiro MC, Forster AC, Novaes MH, et

al. Avaliação do desempenho da atenção básica no Estado de São Paulo. Ciên

Saúde Coletiva. 2006;11(3):683-703.

21. Elias PE, Ferreira CW, Alves MC, Cohn A, Kishima V, Escrivão Junior

A,et al. Atenção Básica em Saúde: comparação entre PSF e UBS por estrato

de exclusão social no município de São Paulo. Ciên Saúde Coletiva.

2006;11(3):633-41.

22. Brazil. Ministério da Saúde. Department of Information of the Brazilian

Unified Health System - Datasus.

http://cnes.datasus.gov.br/pages/estabelecimentos/consulta.jsp

23. Harzheim E, Pinto LP, Hauser L, Soranz D. Assessment of child and

adult users of the degree of orientation of primary healthcare in the city of Rio

de Janeiro, Brazil. Cien Saude Colet. 2016;21(5):1399-408.

24. Paula WK, Samico IC, Caminha MF, Batista Filho M, Silva SL.Primary

health care assessment from the users' perspectives: a systematic review. Rev

Esc Enfermda USP. 2016;50(2):335-45.

25. Viana AL Rocha JS, Elias PE, Ibañez N, Bousquat A. Atenção básica e

dinâmica urbana nos grandes municípios paulistas, Brasil. Cad Saúde Pública.

2008;24(Suppl 1):s79-90.

26. Sociedade Brasileira de Medicina de Família e Comunidade.  Currículo

baseado em competências para Medicina de Família e Comunidade [Internet].

Rio de Janeiro: Ministério da Saúde, Universidade de Toronto; 2014 [citado

2018 Maio 30]. Disponível em: http://www.sbmfc.org.br/media/Curriculo

%20Baseado%20em%20Competencias(1).pdf

27. Scheffer M, coordenador. Demográfica médica no Brasil 2015 [Internet].

São Paulo: Departamento de Medicina Preventiva, Faculdade de Medicina da

USP; CREMESP; CFM; 2015 [citado 2018 Maio 30]. Disponível em:

https://www.usp.br/agen/wp-content/uploads/DemografiaMedica30nov2015.pdf

28. Orlandin EA, Moscovic L, Franzon AC, Passos AD, Fabbro AL, Vieira

EM, et al. Uma agenda de pesquisa para a Atenção Primária à Saúde no

estado de São Paulo, Brasil: o estudo ELECT. Interface Comun Saúde

Educação. 2017;21(61):349-61.

29. World Health Organization (WHO). Achieving the health-related MDGs. It takes

a workforce! [Internet]. Genebra: WHO; 2017 [cited 2017 Apr 9]. Available from:

http://www.who.int/hrh/workforce_mdgs/en/