My name is Craig Bingham, and I support the Prevocational Training Council of NSW as the Program Coordinator. I am going to present some information about the current state of the training program and then I’m going to hand over to Ros who will outline some of our future plans.

Like other programs in Australia, CETI’s prevocational program is growing rapidly to take in the increasing number of medical graduates. You have already heard from Claire Blizard about the amazing number of new training positions that have been accredited this year.

As many of you already know because you participated in the process, last year CETI commissioned an external review of the prevocational program. The review team did a great job, and it provided us with a report that has guided our thinking about the best way forward. 

1

The external review panel found “an extraordinary level of commitment of individuals and institutions at all levels to prevocational training.” 

The panel then made recommendations for how we might get even more out of juice out of the orange. Broadly, it recommended that we develop a clearer model of what we were teaching in the prevocational program and how we were teaching it, tying that model to the Australian Curriculum Framework for Junior Doctors and to an improved assessment process.

It also made recommendations towards rejuvenating the networked system of training to ensure that governance was transparent, that all stakeholders were engaged, that funding flowed smoothly and that access to training opportunities in NSW was equitable.  

In response to the review, we are working on new models that Ros will present shortly.

I want to show you a snapshot of the system as it is, using data gathered from the reports provided to CETI every half year by Directors of Prevocational Education and Training. 

2

The DPET reports originated as funding and expenditure reports, but I think their more useful role is the information they give us about how prevocational training is actually proceeding at different sites across the state. 

When I started as Program Coordinator at the end of 2008, reporting was about 50%. We worked on improving the quality of the reporting template, tried to ask better questions, prefilling the form where possible, chasing reports pretty hard, and closing the feedback loop by reporting back to DPETs on what we found. With the goodwill of DPETs and JMO Managers, this got reporting rates above 80%.

Recently, there have been a lot of changes keeping us all busy, with IMET moving into CETI and the AHSs morphing into LHNs and then LHDs. I hope this is the reason for a temporary blip in reporting, and that the reporting rate for Jan‐Jun 2011, reports being collected now, will be back above 80%. 

The data I’m going to show you now come from July 2009 to December 2010 (the light green bars), and will be published in more detail soon.

3

DPETs report trouble getting and using their prevocational training grant, but most spend money anyway. Each financial year, expenditure equivalent to 80% of training grants allocation is reported. This leaves 20% unaccounted for, which is not a good result, and the accounting for the money that is spent is sometimes vague and difficult to check. 

Some of the problems in funding distribution and reporting are indicative of a more general problem in the system. 

In any event, the prevocational training grants are only a subsidy to the health districts, which are expected to provide other funds for prevocational training, not least by paying a DPET’s salary.

90% of DPETs report that their health service gives them funded time to perform their duties — but this means that 10% do not.

80% report that their health service gives them funded administrative support, but only 11% report that an education support officer or DPET assistant is funded. This means that most administrative support is provided by the JMO Management Unit. The external review recommended that the role of the JMO Manager in prevocational training should be more clearly defined, and this is something CETI is very happy to explore in cooperation with health district administrations.

4

So far the DPET reports have not answered the questions above, but I hope they will in future, because it would be very useful in workforce planning to know more clearly what trainee progression and retention is really like. For example, some sites appear to have big troubles keeping PGY2s until the end of the year, but others have no problem at all. It would be good to know more about this, which is why we have added these questions to the reporting template.

5

Frequency: The typical approach is one one‐hour lecture per week, plus term‐specific teaching. Nearly as many sites report holding two or more sessions a week, sometimes to give JMOs a choice of when to attend. Some DPETs organise distinct programs for PGY1s and PGY2s; others, particularly at smaller sites, conduct a combined program.

About a third of DPETs report difficulties associated with delivering the education program, such as: finding speakers, getting JMOs to attend, protecting the JMOs time for attendance and finding time to plan the program. 

Attendance: is generally high for PGY1s and falls away for PGY2s, but it is worth noting that at many training sites attendance by PGY2s continues to be above 80%, which suggests that in the right environment and with the right content, PGY2 trainees will come.

A change over the last year is that an increasing number of DPETs are successfully using the JMO Forum’s unified lecture series as a guide in the preparation of their education programs. We will hear more about the lecture series later, from Ros and also from the JMO Forum. 

6

All training sites are required to run continuous evaluation of their training terms using feedback from JMOs, collected in term evaluation forms. The graphs show the response rates reported by DPETs. At more than a third of sites, DPETs report that term evaluations are completed by fewer than half the JMOs. On the other hand, nearly as many DPETs report receiving term evaluations from more than 80% of JMOs, which shows that it is possible to collect this information if the system is set up for it.

CETI hopes that in future we can move to a online system that collects both the JMOs’ performance assessments and their term evaluations. If we can collect good assessment and evaluation data, and make these data available more rapidly and consistently to all stakeholders, we will be in a better position to identify strong and weak points in the state’s prevocational program.

CETI’s recommended term evaluation form is available at www.ceti.nsw.gov.au/prevocational#trainers.

7

Here I have listed most but not all DPET activities. They are busy people. Some wear out. 

From July 2009 to December 2010, eight of 51 hospital DPETs retired and were replaced: an annual turnover rate of 10%. We also had two new hospital  sites appoint DPETs, and this year, we have seven new general practice DPETs overseeing GP training terms.

Whenever a new DPET is appointed, CETI supplies them with a DPET guide, the Superguide, the Trainee in Difficulty handbook, the ACF, the Doctor’s Compass, and whatever else we can give them. The DPET guide is getting a bit old now, and a thoroughly revised edition will appear before the end of the year. 

Written advice is all very well, but yesterday evening we had a DPET induction session, which was a chance for new DPETs to gather a bit of potted wisdom from their more experienced colleagues. One of the important purposes of this Forum is to help connect new DPETs to their colleagues in the prevocational program. 

Because the DPET role is so important, CETI’s accreditation standards require that DPETs undergo an annual performance review by their Director of Medical Services and the General Clinical Training Committee. According to the DPET reports, only a bit more than half are actually having an annual performance review. 

8

In all the activities listed above, the DPET reports record a tremendous amount of effort and creativity by DPETs, JMO Managers, committee members, supervisors and trainees in pursuit of improved education. But I think it is fair to say that the picture is highly variable, with some sites and networks showing high levels of engagement, others less so.

So, before I hand over to Ros, what do the DPET reports tell us about DPET attitudes to the networked training system they work in? We asked DPETs for their response to some key propositions in the July‐December 2010 reports. I only have data from 19 respondents, but I think it tells us something.

8

Sixteen of nineteen DPETs agreed or strongly agreed that rotations through networks enhance training opportunities, and three were neutral or had no opinion. So we have strong support for the basic concept of network training.

And most DPETs surveyed, with a little bit of fence‐sitting but no disagreement, agreed that general practice rotations and rural rotations were valuable in prevocational training, which was also reassuring.

Then we have a series of propositions  for which there is clear majority support, but some minority dissent. Most think the network committee is an effective forum for deciding issues that arise between training sites in the network, but a few did not. Similarly with the idea that the education and welfare of trainees is coordinated at a network level ...

... that it is clear in the network system who is managing each trainee...

... and that rotation of trainees takes into account the workforce needs of all.

When asked to consider whether the network model is effective across health service boundaries, the most common response was neutral/no opinion, with nearly equal numbers in agreement or disagreement. Most networks necessarily cross these boundaries, so clearly we have to work harder at the communications with health district executives to ensure that we have their support for the training networks.

9

Opinion was pretty evenly divided too, on the statement “the network system works to the advantage of the largest sites in the network”.

The statement “the network system works to the advantage of the smallest sites in the network” was the only proposition which drew more disagreement than agreement. And this is concerning, because one of the hopes of the network system is that it will help develop the workforce and training capacity of smaller sites. 

A closer look at the survey responses suggested a divide in attitudes between DPETs at smaller sites and larger sites, with the smaller sites less likely to find the network processes effective. Large sites tend to think the system favours smaller sites, but the smaller sites don’t necessarily agree!

The prevocational training program is about developing good doctors for the benefit of the State as a whole, and training networks are a sound approach to achieving that aim. I’m going to hand over to Ros now, who will talk about how we plan to realise more of the potential of networked training.

9

So, what’s the picture? Generally, there are high levels of engagement by DPETs and JMO Managers, demonstrated in a wide range of training and development activity on behalf of prevocational trainees. But we’re not here to rest on our laurels. Where is the room for improvement?

One: there are tensions within some networks that we would like to reduce.

Two: the external review found that implementation of the ACFJD is not strong. People are not clear exactly what they are doing with it, and there is as yet no strong mapping of training to the ACF, so we don’t really know how well we are covering the curriculum or where the gaps are.

Three: As we reported at this Forum last year, our current assessment process is not as effective as we would like. It underreports underperformance, doesn’t provide enough specific feedback to trainees to help them visualise what better performance would be, and doesn’t give us enough information about strengths and weaknesses in the training program.

The Prevocational Training Council was very pleased to receive the external review report on the program. We have taken its recommendations on board and developed a response that we hope provides a blueprint for the future. It was a big review, and I can’t give you our detailed response to every recommendation here. I want to concentrate on the major directions, which can be described in two parts: 

1. Developing a learning model for the program that integrates work, training and assessment

2. Tuning in the network model to deliver excellence in training

10

A learning model should begin with some basic principles of adult learning, all of which have direct implications for how we manage the prevocational program.

Adults are internally motivated and self‐directed. This means:

Trainees have primary responsibility for the direction and pace of their own learning. The program facilitates ‐learning, but it is appropriate for trainees to manage many aspects of their training personally.

The program should place the curriculum and all resources necessary to plan adequate training into the hands of trainees as well as supervisors, directors of training and administrators. Trainees and their organisations should play a role in structuring the program. It is in pursuit of this principle that CETI supports the JMO Forum and encourages it 

Adults bring life experiences and knowledge to learning experiences

The previous experience and existing knowledge of trainees can be used to enrich learning opportunities. 

Teachers should take the time to establish what trainees already know as the starting point for teaching. 

11

Trainees can play an important role as teachers themselves.

Adults are goal oriented, relevancy oriented and practical

Above all, this means that learning on‐the‐job is central to prevocational training.  Lectures should focus on the practical aspects of the subject, and opportunities for teaching and learning have to be integrated into clinical practice at patient encounters, ward rounds and ward handovers, and when clinical procedures are being performed.

Trainees are more motivated to learn when they see that the lesson will help them reach their personal objectives.

Assessment should be meaningful and rewarding. The outcomes of successful learning (including registration, and career progression) should be explicit. Advancement should be linked to the achievement of goals.

The system’s goals for training (safety, efficiency, etc) need to be made relevant to trainees.

Adult learners like to be respected

Trainees should be treated with the respect they are expected to show to others.

Trainees should be integrated into mutually supportive clinical teams.

Procedural fairness should be demonstrated in all decisions affecting trainees.

All learners benefit from feedback

Learners should expect feedback about their strengths and areas for improvement.

Providing feedback is necessary for developing confident and competent clinicians.

Providing feedback can ameliorate uncertainty and stress in trainees.

11

It is also useful to think of the learning cycle as modelled by Kolb. Applied learning requires trainee doctors to move through the complete cycle — they need to conceptualise, experiment, do and review — but what is interesting is that different people naturally pick different starting points in the cycle. Some are concrete thinkers, and have to get their hands on first. Others like to start from reflective observation, others prefer to begin with a text and abstract knowledge, and others are experimenters.

The prevocational program has to provide resources and a safe framework to accommodate all these learning styles.

12

So, our model for learning in the prevocational program considers six modes of learning. All of these are important, but the essential core, represented by the biggest segment, is supervised clinical work.

Then we have term‐specific teaching, the network lecture series, simulation and workshops, elearning and self‐directed learning. 

Each of these learning modes is obviously interdependent, but they have specific features which have to be managed and developed if we are to achieve the optimal result.

13

Points to make here:

The external review suggested that assessment needed to be better linked to work, curriculum and learning outcomes. We are working on this, as some of you who attended the assessment workshop yesterday will be aware. 

Term objectives are yet to be comprehensively mapped to the ACFJD, and this is something we need each training site to work on.

JMO Forum is working on the idea of a skills audit tool (something simpler than a journal), designed to self‐record progress in clinical work.

We wrote the Superguide in part to encourage supervisors to make more use of the teaching opportunities in their clinical day.

14

We have no specific plans for reform of term specific teaching at this stage. It is a rich source of learning for trainees.

15

JMO Forum proposals for a unified lecture series chimed in nicely with the external review’s recommendations for a more coordinated approach to education. The Prevocational Training Council endorses the principles underlying the JMO Forum’s proposal and has commended it to the networks – not necessarily for adoption outright, but for consideration and inspiration. All networks should coordinate the lectures given to prevocational trainees to ensure:

‐‐ that important topics are dealt with early

‐‐ that trainees do not miss lectures or duplicate lectures when they go on rotation.

How closely participation in lectures should be monitored is a difficult question.  

16

Simulation and workshops will be supported more strongly by CETI in future, through the Centre for Teaching and Learning.

17

eLearning is something on which CETI has made a rather slow start, but it is now much more strongly resourced for this purpose. 

Some of you attended the online learning workshop yesterday, and I hope to see CETI taking a leading role in this mode of learning.

Employed correctly, online learning is a support and extension to other modes of learning. It is seldom a replacement for supervised clinical experience, but it can lay the groundwork for hands‐on experience, it can be enriching, and it can be fun. We need to move beyond online learning as quizzes with a computer and start to embrace the socially interactive and creative possibilities. 

18

In an important sense, all the learning that a trainee doctor undertakes is self‐directed, but we mention it here as a separate mode of learning to acknowledge its importance and to remind us all that the primary responsibility for learning rests with the individual – we hope within a supportive environment.

DPETs have a role to assess the level of engagement that trainees are bringing to their own education and to build a learning culture in the clinical environment that supports lifelong learning.

19

Now, if these elements can be thought of as combining to produce a learning model, what sort of model is it, and what implications does it have for how we organise the prevocational program?

One way of representing the model is as a learning spiral. Through spiralling over the clinical ground through term after term, trainees acquire higher levels of learning. Clinical judgement, professional behaviour and good communication become hardwired through repeated and extended experience. As they repeat and extend their experience, the number of entrustable professional activities – that is, clinical responsibilities that they can perform independently – increases.

Each term imparts particular knowledge, skills and attitudes, but broadening clinical judgement and integrating the spectrum of clinical competencies is largely achieved through the accumulation of experience, reinforced and extended by the other learning modes. 

20

Another way of visualising the learning model is as a partnership, with different elements of learning managed by trainees, term supervisors, DPETs and training sites, networks and CETI.

Because of its complexity, it has to be a cooperative and communicative system. I want now to focus on the requirements as viewed at the training site and network level.

21

No single facility can provide the full range of experiences required by prevocational trainees, and facilities are organised into networks that cooperate to deliver training.

From an educational perspective, a network should be capable of delivering all the elements of the learning model.

An ideal network, then, can deliver the curriculum of the ACF, provide sufficient core terms, an appropriate mix of specialty terms and a range of clinical settings and patient types. It needs supervisors who understand the importance of teaching, active supervision and meaningful appraisal and assessment. The culture should be very supportive of education and training.

Facilities require appropriate amenities, access to internet‐based learning, and simulation facilities.

The benefit of training in both metro and rural settings, and large and small facilities is largely understood, and the tyranny of distance is partly mitigated by a culture of excellent cooperation between facilities, streamlining the number of health districts involved and  maintaining excellent links with vocational training programs.

Network governance principles which empower cooperative planning for the allocation, education and training of trainees are essential.

22

In relation to network governance, I want to introduce the consultation draft of new terms of reference for network committees. The new terms of reference are more explicit about the level of coordination and cooperation required in training networks. They propose that the committee needs to negotiate explicit agreements between network partners covering aspects of trainee management that have been contentious in some networks.

Existing network committees are encouraged to consider and comment on these new terms of reference, because we would like to implement them for next year.

We hope that this will eliminate some of the dissonance that occasionally mars the smooth running of the program for the trainees. 

The new principles and terms of reference have identified effective lines of reporting to both CETI and the LHD, which could only improve executive sponsorship of the prevocational training networks.

23

While everyone involved in prevocational training is deeply committed to the best outcome for our trainees, it is acknowledged that it requires considerable ingenuity to achieve win: win for all trainees and facilities in a network. There are many examples of how well this can be done.

We have tried to capture this in a transparent way: All trainees in the network should have the same opportunity of access for allocation to specific terms. 

We cannot assume that rural and regional recruited prevocational trainees will pursue a generalist career — indeed, they may wish to pursue their vocational interest and then return to regional specialist practice. This is a desirable outcome, and training networks should facilitate this where possible. Recruitment to the regional  facility is preferential, but term allocation encourages equal opportunity. Of course, not all trainees can be allocated to their first preferences. The way preferences are managed is up to the Network, usually through flexible negotiating.

Leave  management also requires an explicit understanding within the Network, both in the management of planned and unplanned leave. A network accord about how leave will be managed is best achieved before the completion of recruitment, to ensure that sufficient baseline numbers are employed to meet all needs.    

24

The education and training program very clearly  needs to be coordinated by the Network. Having the same lecture over repeated terms at a secondment hospital is almost as significant a waste of critical training time as missing major, core topics . Detect, ALS and specific communication courses such as breaking bed news need to be orchestrated by the network. Difficulties in local expertise can have several technological solutions. 

The welfare of all trainees must be a shared responsibility across the network,  requiring good communication and handover at all levels of prevocational support staff  and another routine agenda item for close attention at network meetings.

Working closely  and cooperatively  together at network level is the only way to deliver the best training opportunities and workforce effectiveness.

25

Summing up:

The external review recommended a more coherent approach to prevocational training,  and the Training Council agrees with this aim. 

We do have a learning model, and we are working on improved implementation. We are investigating assessment and self‐assessment to deliver better assessment forms and processes. We are developing elearning and related online systems in assessment and evaluation to support the good work that is being done in the networks. Producing the Superguide was a step forward, and we intend, as well as continuing to promote Teaching on the Run, to use the Superguide as the text behind workshops in supervisor training. CETI also now has dedicated staff and funding for the development of simulation training. 

So we think CETI and the networks can deliver all the elements of the learning model.

Some networks are currently missing elements (eg, no network lecture series, no rural terms or no GP terms). We hope networks will “self‐review” and (with CETI’s help) work to gain some of these desirable elements. 

Some network relations and governance can be improved, enhancing cooperation to 

26

deliver better individual training opportunities. To this end, we are developing new principles of network training and new terms of reference for network committees that we want networks to consider.

The new terms of reference are more explicit about the level of coordination and cooperation required in training networks. A consultation draft will be coming to you soon.

‐ We hope that the new terms of reference will provide grounds for agreement and help to overcome some of the dissonance in the system. I think it is reasonable to hope that we will make good speed on the road ahead. Thank you.

26