act auditor–general’s report · audit of spotless’ conduct of work order audits and the...

80
www.audit.act.gov.au ACT AUDITOR–GENERAL’S REPORT MAINTENANCE OF PUBLIC HOUSING REPORT NO. 2 / 2016

Upload: others

Post on 01-Oct-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

www.audit.act.gov.au

ACT AUDITOR–GENERAL’S REPORT

MAINTENANCE OF PUBLIC HOUSINGREPORT NO. 2 / 2016

Page 2: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

© Australian Capital Territory, Canberra 2016

ISSN 2204-700X (Print) ISSN 2204-7018 (Online)

This work is copyright. Apart from any use as permitted under the Copyright Act 1968, no part may be reproduced by any process without written permission from the Territory Records Office, Shared Services, Chief Minister, Treasury and Economic Development Directorate, ACT Government, GPO Box 158 Canberra City ACT 2601.

ACT Audit Office

The roles and responsibilities of the Auditor-General are set out in the Auditor-General Act 1996.

The Auditor-General is an Officer of the ACT Legislative Assembly.

ACT Audit Office undertakes audits on financial statements of Government agencies, and the whole-of-Government consolidated financial statements.

The Office also conducts performance audits, to examine whether a Government agency is carrying out its activities effectively and efficiently, and in compliance with relevant legislation.

ACT Audit Office acts independently of the Government, and reports the results of the audits directly to the ACT Legislative Assembly.

Accessibility Statement

ACT Audit Office is committed to making its information accessible to as many people as possible. If you have difficulty reading a standard printed document and would like to receive this publication in an alternative format, please telephone the Office on (02) 6207 0833.

If English is not your first language and you require the assistance of a Translating and Interpreting Service, please telephone Canberra Connect on 13 22 81.

If you are deaf or hearing impaired and require assistance, please telephone the National Relay Service on 13 36 77.

Audit TeamBrett Goyne Robert Holbert Muralidhar Kannan Katinka Mutandadzi Graham Smith (Numerical Advantage) Brett Stanton

The support of Sophie Butler-Stratton, David Kelly, and Fran Holbert of Stret Pty Ltd is appreciated.

Produced for the ACT Audit Office by Publishing Services, Shared Services, Chief Minister, Treasury and Economic Development Directorate, ACT Government

Publication No. 16/0395

ACT Government Homepage address is: http://www.act.gov.au

Page 3: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

PA 15/14 

The Speaker  ACT Legislative Assembly Civic Square, London Circuit CANBERRA ACT 2601 

Dear Madam Speaker 

I am pleased to forward to you a Performance Audit Report titled ‘Maintenance of Public Housing’ for tabling in the Legislative Assembly pursuant to Subsection 17(5) of the Auditor‐General Act 1996. 

Yours sincerely 

Dr Maxine Cooper  Auditor‐General 14 April 2016 

Page 4: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes
Page 5: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

   

Maintenance of Public Housing  Page i   

CONTENTS 

Summary ................................................................................................................................... 1 

Overall conclusion .................................................................................................................... 1 

Chapter conclusions ................................................................................................................. 1 

Key findings .............................................................................................................................. 3 

Recommendations .................................................................................................................... 8 

Agency response ..................................................................................................................... 12 

1  Introduction ....................................................................................................................13 

Background ............................................................................................................................. 13 

Audit objective and scope ...................................................................................................... 15 

Audit criteria, approach and method ..................................................................................... 16 

2  Governance .....................................................................................................................17 

Summary ................................................................................................................................. 17 

Overview of governance arrangements ................................................................................. 20 

Contract management ............................................................................................................ 24 

Providing quality assurance .................................................................................................... 29 

Management of maintenance services .................................................................................. 38 

Risk management ................................................................................................................... 40 

Managing contract variations ................................................................................................. 42 

3  Time, quality and cost .....................................................................................................45 

Summary ................................................................................................................................. 45 

Background ............................................................................................................................. 47 

Timeliness ............................................................................................................................... 47 

Quality .................................................................................................................................... 51 

Cost ......................................................................................................................................... 57 

4  Planned maintenance ......................................................................................................61 

Summary ................................................................................................................................. 61 

Strategic asset management .................................................................................................. 63 

Condition assessment ............................................................................................................. 66 

Conduct of planned maintenance .......................................................................................... 68 

 

 

Page 6: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes
Page 7: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

   

Maintenance of Public Housing  Page 1   

SUMMARY 

Maintenance of public housing is a key function of the ACT Government, as public housing assets are  valued  at  over  $4  billion  and  provide  accommodation  for  nearly  6  percent  of  the  ACT population. A Total  Facilities Management  contract  is  the means whereby maintenance of  this asset is provided. This contract is valued at over $48 million a year, including both the direct cost of maintenance  (around  $41 million  a  year)  and  the  value of  the management  fee payable  to Spotless (around $7 million a year), making this one of the Territory’s largest ongoing contracts.  

This  audit  examines  Housing  and  Community  Services’  management  of  the  Total  Facilities Management  contract  since  2012 when  Spotless was  awarded  its  second  contract.  The  Audit Office tabled a performance audit ‘Maintenance of Public Housing’ in August 2008 which covered the period of the first contract with Spotless. The second contract terminates in May 2017. 

Overall conclusion 

Managing  the Total Facilities Management contract poses many challenges. While Housing and Community  Services  has  positioned  itself  positively  to  meet  these,  particularly  through establishing a sound governance framework for the contract,  its management of the contract  is not fully effective. Importantly, there is scope for Housing and Community Services to improve its contract management through fully  implementing the governance framework as provided for  in the Total Facilities Management  contract,  improving  its  identification and management of  risk, strengthening  its  oversight  of  Spotless’  quality  control  systems  and  better  managing  and documenting contract variations. 

Chapter conclusions 

GOVERNANCE 

Housing  and  Community  Services  has  established  a  generally  sound  governance  structure  to support  the  Total  Facilities  Management  contract,  including  requiring  parties  to  define  key strategies  for  contract delivery  and quality  control,  establishing  committees  to deal with both day‐to‐day  administration  and  higher  level  oversight,  and  having  a  mechanism  for  financial control  and  dispute  resolution.  Contract management  is  also  supported  by  a  comprehensive Performance  Management  System  for  incentive  payments  and  abatements  to  drive  the achievement of key contract outcomes. 

However,  this  sound  governance  structure  has  not  been  fully  implemented  and  Housing  and Community  Services’ oversight of  Spotless has been  inadequate. There  is no  risk management plan  specifically  for  the contract, and Housing and Community Services does not have visibility over the delivery of works managed by Spotless.  Importantly, work order audits undertaken by 

Page 8: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  Summary   

Page 2  Maintenance of Public Housing     

Spotless  have  been  problematic  and  Housing  and  Community  Services  has  not  enforced  the necessary and required standard for these audits. It has not provided effective oversight of, and has not followed‐up in relation to, targeted quality audits that were undertaken by Housing and Community  Services  Quality  Assurance  team.  Some  contractual  provisions  designed  to  drive quality  and  innovation,  and  provide  employment  of  target  groups  have  not  been  enforced. Although initiatives to address some of these matters have been introduced, more remains to be done. 

Contract variations have not been effectively managed as changes to the contract have not been documented or, if they have, the documentation is inadequate. Accordingly there is no audit trail or  transparency  of  decision‐making  related  to  contract  variations.  Poor  documentation  of variations presents a risk that the contract will not be effectively managed or enforced.      

TIME, QUALITY AND COST 

Spotless has met timeliness targets for the delivery of the more urgent maintenance services, but not for routine tasks. While this is the case, the reliability of the timeliness data is uncertain and Housing and Community Services needs to assure itself of its reliability. 

Housing and Community Services does not have sufficient oversight of Spotless’ quality control activities;  in  particular  over  Spotless’  work  order  audits  and  the  allocation  and  quality  of maintenance work undertaken by Spotless’ in‐house maintenance provider.  

Spotless’  payment  incentives  or  abatements  are  dependent  on  the  results  of  customer satisfaction  surveys. These have a very  low  response  rate and problems with  them have been identified  in  quality  audits.  While  Housing  and  Community  Services  has  initiated  action  to improve  the  response  rate,  it  remains  low.  If  this  persists  then  an  alternative  means  for determining Spotless’ incentives and abatements will need to be pursued. 

Spotless  has  not  delivered  the  continuous  improvement  plans  or  Service  Delivery  reviews required by the contract. 

Housing  and  Community  Services  and  Spotless  have  established  cost  and  price  control arrangements and implemented processes for effectively managing payments to subcontractors. 

PLANNED MAINTENANCE 

Housing and Community Services  is planning maintenance activities using multiple  information system. A long‐term plan to consolidate information to create a centralised comprehensive asset register of ACT housing assets is needed. 

Spotless has made significant progress in increasing the proportion of properties that have had a recent condition assessment audit. Given this  it would be timely to assess whether the relevant key  performance  indicator  should  be  changed  to  better  drive  performance  by  identifying  a 

Page 9: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      Summary 

Maintenance of Public Housing  Page 3   

desired  outcome  rather  the  conduct  of  a  specific  number  of  annual  audits.  Furthermore, condition assessments are an important tool in determining the program of planned maintenance but the priority given to these in influencing the planned maintenance program has declined. This needs to be corrected. 

Some maintenance tasks that are classified as planned maintenance are not. This can  lead to an overstatement of  the amount  spent on planned maintenance. The 70 percent  requirement  for planned maintenance,  in  the Total Facilities Management  contract,  is an  important element of the Public Housing Asset Management  Strategy and also  contributes  to  Spotless’  incentives or abatements.  It  is  important  therefore  that  the  claimed  planned maintenance  expenditure  is accurate. 

Key findings 

GOVERNANCE  Paragraph 

The committee structure provided for  in the Total Facilities Management contract has  been  implemented. While  all  committees  have  been  generally  operating  as planned,  governance would  be  strengthened  if  the most  senior  committee,  the Joint  Consultative  Committee,  improved  its  oversight  of  audits,  risk,  quality  and contract management.  

2.11 

The Housing and Community Services’ Contract Management Plan  is current and provides broad guidance to staff, but does not address risks. 

2.20 

Spotless’ Quality Management Plan does not adequately specify quality assurance activities  in  relation  to  key  risk  areas,  such  as  sub‐contractor  performance. Importantly, it does not specify what Spotless will do to ensure its sub‐contractors deliver work of the required quality.  

2.23 

The  Spotless Quality Management Plan  is not well aligned with  the Housing and Community Services Quality Framework, as  it has too broad a  focus. The Housing and  Community  Services  Quality  Framework  deals  extensively  with  the accountabilities  and  strategies  for  delivering  the  quality  assurance  measures required by the contract.  

2.26 

The Quality Assurance team in Housing and Community Services has been below its planned strength for most of the Total Facilities Management contract term. While the Community Services Directorate has recently addressed this, it is a concern that adequate resourcing was not provided earlier, given the importance of this team’s role.  

2.33 

   

Page 10: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  Summary   

Page 4  Maintenance of Public Housing     

While  the  key  performance  indicators  set  out  in  the  Performance Management System  provide  a  comprehensive  framework  for  driving  the  achievement  of  key contract  outcomes,  opportunities  exist  to  further  refine  the  Performance Management  System  to    improve  its  focus  on measuring  impact  and  outcomes, rather than activities and process throughout  the life of the contract.  

2.38 

The  Joint Consultative Committee provides  active oversight of  the  application of the Performance Management System and has proven to be an effective forum for resolving disagreements about the application of individual performance measures and  therefore  the  extent  of  incentives  or  abatements  applied  to  Spotless’  base management  fee.  Over  the  life  of  the  contract  to  date,  the  net  impact  of  the incentives and abatements has been a slight reduction (less than 2 percent)  in the base management fee payable to Spotless. 

2.45 

Given the importance of work order audits in the overall quality framework, it is a concern  that significant  issues  identified by  the Housing and Community Services Quality Assurance  team  in  relation  to  the  conduct of  these  audits,  including  the recommendation to cease related incentive payments, were not formally reported to the Joint Consultative Committee.  

2.56 

Housing  and  Community  Services  has  not  enforced  the  necessary  and  required standard  for  work  order  audits  as  set  out  in  the  Total  Facilities  Management contract,  putting  at  risk  assurance  of  the  quality  of  maintenance overseen/performed by Spotless and its sub‐contractors. 

2.60 

Having  regard  to  issues  associated  with  work  order  audits  identified  by  both Housing  and  Community  Services  and  the  Audit Office,  it would  be  prudent  for Housing  and  Community  Services  to  arrange  for  a  comprehensive  independent audit of  Spotless’  conduct of work order  audits  and  the  effectiveness of  related controls. 

2.61 

A  review  of  Joint  Consultative  Committee minutes  shows  that  final  reports  and findings of targeted audits undertaken by Housing and Community Services Quality Assurance team have not been formally referred to Joint Consultative Committee at any time since the current contract commenced in May 2012.  

2.66 

Housing  and  Community  Services’  monitoring  of  the  implementation  of recommendations from targeted audits undertaken by the Quality Assurance team, including  through  its participation  in  the  Joint Consultative Committee, has been inadequate. 

2.67 

Recent policy changes which  increase the  involvement of the Community Services Directorate’s  internal audit group in the conduct of designated ‘high risk’ targeted audits,  and  require  the  reports of  these  audits  to be  tabled with both  the  Joint Consultative  Committee  and  the  Community  Services Directorate Audit  and Risk Management  Committee,  have  strengthened  assurance  in  relation  to  the administration of the Total Facilities Management contract.  

2.73 

Page 11: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      Summary 

Maintenance of Public Housing  Page 5   

Extending  the  Joint  Consultative  Committee’s  oversight  to  include  all  targeted audits  would  provide  a  more  comprehensive  overview  of  risk  and  further strengthen  assurance  in  relation  to  the  management  of  the  Total  Facilities Management contract. 

2.74 

Full  interconnectivity of Spotless and Housing and Community Services  IT systems has  not  been  achieved.  Improved  interconnectivity,  in  accordance  with  the requirements set out  in the Total Facilities Management contract, would  improve the planning of maintenance activities and thereby reduce the risk of inappropriate maintenance occurring, or needed maintenance not occurring.  

2.78 

Housing and Community Services has no visibility over the reviews undertaken by Spotless’ Works Supervisors for checking that work orders have been completed. 

2.81 

Spotless’ quarterly performance evaluations have not been routinely provided and, as Housing and Community Services have not insisted on their provision, it has not adequately enforced the Total Facilities Management contractual requirements.  

2.83 

Ethical  suppliers’  declarations,  which  Spotless  are  required  by  the  contract  to provide to Housing and Community Services every six months, were not produced until August 2015, following a request from Housing and Community Services. 

2.86 

Formal  complaints  by  Housing  and  Community  Services  to  Spotless,  such  as Non‐Conformance Notices and Notices to Rectify, have generally been adequately addressed. 

2.91 

Spotless have not met the targets for employment of target groups set in the Total Facilities Management  contract,  although  Spotless  and  Housing  and  Community Services are continuing to work together to address this matter. 

2.96 

Given  the  importance of  the Total Facilities Management contract  it needs  to be supported by  its own comprehensive  risk plan. At  the  time of  the audit, Housing and Community Services has not established a  risk management plan  specifically for the Total Facilities Management contract. 

2.98 

Housing and Community Service’s management of contract variations has not been adequate over the life of the contract. 

2.115 

TIME, QUALITY AND COST  Paragraph 

Timeliness of repair tasks managed by Spotless has been satisfactory for the more urgent maintenance categories but the target was not achieved for routine (within 20 day)  tasks and consequently Spotless did not  receive an  incentive payment  in relation to this category of maintenance.  

3.11 

   

Page 12: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  Summary   

Page 6  Maintenance of Public Housing     

Housing and Community Services needs to assess whether Spotless has addressed the problems  in  the reporting of  timeliness  that were  identified by Spotless  in  its 2015 audit. This audit was limited in scope to the examination of a random sample of 111 work orders allocated to a single sub‐contractor over a five month period in 2014, which was around 10 percent of the work orders allocated to this contractor over the period. However, in light of the nature of the findings and their impact on the  reliability  of  related  timeliness  data,  it  would  be  prudent  for  Housing  and Community Services to initiate action to assure itself that the problems identified in that  audit  are  not  experienced more  generally,  and  that  Spotless  staff  and  sub‐contractors  are  undertaking  the  correct  processes  for  the  completion  of  work orders and for data entry into relevant systems. 

3.16 

Current  reporting  does  not  provide  Housing  and  Community  Services  with adequate  visibility  over  Spotless’  Work  Supervisors  inspections  of  works undertaken by Spotless or its sub‐contractors. 

3.24 

Given  the  key  role  of work  order  audits  in  providing  assurance  around  service delivery and  in  contributing  to  incentive payments,  the  significant and persistent gap  between  the  failure  rates  found  by  Housing  and  Community  Services  (for example 19 percent and 57 percent) and the failure rates reported by Spotless (for example 3 percent  and most  recently 0.3 percent)  is  a matter of  concern which Housing and Community Services needs to address. 

3.28 

Housing  and  Community  Services  does  not  have  visibility  over  the work  orders selected by Spotless  for  its audits;  therefore  it does not have any assurance  that the audit results are representative and reliable.  

3.30 

Spotless and Housing and Community Services have instituted a process that allows for  joint audits of work orders.   Over  the period of  the contract, 85 work orders have been subject to a joint work order audit, although the last one was conducted in  January 2015.  Audits  of  work  orders  by  Spotless,  for  which  the  number conducted is a key performance indicator that leads to incentive payments, are not conforming  to  requirements  under  the  contract  and  not  providing  adequate assurance on the quality of work performed by Spotless or its sub‐contractors.  

3.33 

To date, the work done by Spotless’ in‐house maintenance provider, Asset Services, has  been  inspected  by  in‐house  supervisors  but  has  not  been  subject  to independent  quality  assurance.  Independent  quality  assurance  of  the  work undertaken  by  Asset  Services would  provide  assurance  that  this  arrangement  is delivering value for money for the Territory, and would assist in managing any real or  potential  conflicts  of  interest  that  may  arise  from  Spotless  overseeing  the maintenance services provided by Asset Services. 

3.36 

Measurements  of  tenant  satisfaction  with  maintenance  services  managed  by Spotless (used as a basis for incentive payments to Spotless) are based on very low tenant  response  rates.  While  Housing  and  Community  Services  provide  some incentives  for  tenants  to  complete  survey  forms,  response  rates  have  not significantly  improved  and  there  has  been  no  formal  follow‐up  to  address  the 

3.42 

Page 13: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      Summary 

Maintenance of Public Housing  Page 7   

critical findings of Housing and Community Services’ 2012 audit into the conduct of the maintenance survey. 

The  Total  Facilities  Management  contract  encourages  continuous  improvement initiatives. For example, the contract requires  that Spotless produce a continuous improvement plan and conduct Service Delivery Reviews each six months with the intent of identifying improvements. Neither the improvement plan nor the reviews have  been  delivered  by  Spotless  and  Housing  and  Community  Services  has  not required them to be delivered. 

3.46 

Through the development and maintenance of a comprehensive schedule of rates, and  the  implementation,  in  cooperation  with  Spotless,  of  arrangements  for allocating  and  reviewing  costs  for  individual  tasks,  Housing  and  Community Services  have  established  a  generally  sound  framework  for  the  control  of  costs allocated to individual tasks. 

3.58 

PLANNED MAINTENANCE  Paragraph 

The report to the Minister on specified performance  indicators that  is required by the Public Housing Asset Management Strategy 2012‐2017 has not been produced.  

4.8 

Housing  and  Community  Services  lack  a  centralised  asset  register  that  contains comprehensive  information  on  public  housing  properties.  Such  a  register would reduce the risk that scheduled maintenance decisions may be based on incorrect or incomplete information.  

4.11 

Housing and Community Services acknowledge that information on public housing assets  is  not  centralised,  but  have  advised  that  the  core  requirements  of  a comprehensive  asset  register  are met within  its  business  systems. While  this  is noted,  it  would  be  prudent  to  develop  a  long‐term  plan  for  progressively centralising information on public housing assets as IT systems are upgrade and/or replaced. 

4.12 

Spotless’ condition assessment audits have not met the target in any quarter from contract  commencement  in 2012  through  to October 2015, and Spotless did not provide  required  Energy  Efficiency  Rating  reports  in  the  first  two  years  of  the current Total Facilities Management contract. 

4.20 

Changes made by Spotless,  in consultation with Housing and Community Services (including outsourcing the conduct of condition assessment audits) have resulted in the  target  being  met  each  month  since  the  revised  arrangements  were implemented in October 2015. Housing and Community Services needs to monitor the revised arrangements to ensure targets continue to be met. 

4.21 

   

Page 14: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  Summary   

Page 8  Maintenance of Public Housing     

Given  Spotless’  progress  in  completing  condition  assessments  of  properties Housing and Community Services needs to adjust the key performance indicator to reflect progress toward the objective, namely having all properties with a condition assessment no more  than  five years old, rather  than maintaining  its  focus on  the number of assessments conducted. 

4.24 

Current business rules governing the classification of maintenance expenditure as either planned or responsive need to be  improved so that the ratio of planned to responsive maintenance  is correctly  reported. Accurate  reporting of  this  figure  is important because  it  informs Housing and Community Services  strategic decision making,  and  is  linked  to  incentives  and  abatements  under  the  Total  Facilities Management contract.  

4.30 

Condition  assessment  audits  are  an  important  source  of  information  to  drive strategic decisions about  the maintenance of  the Territory’s public housing asset. While condition assessment audits have been an important driver of new planned maintenance  work  over  the  last  three  years,  the  priority  attached  to  work identified through the condition assessment audit process has been declining. The condition assessment audit drove  less  than 25 percent of new work planned  for 2015‐16, a  substantial  reduction  from 68 percent  in 2014‐15 and well below  the three year average of 40 percent. Given the extent of works carried over, the  low priority  accorded  to  works  identified  through  condition  assessment  audits increases the risk that they will not be completed in the year initially planned. 

4.35 

Recommendations 

RECOMMENDATION 1  QUALITY MANAGEMENT PLAN 

Housing and Community Services should initiate action so Spotless revises its Quality Management Plan to cover key quality assurance risks and directly align this plan with the Housing and Community Services Quality Framework. 

RECOMMENDATION 2  PERFORMANCE MANAGEMENT SYSTEM 

Housing and Community Services should initiate action to review the Performance Management System to increase its focus on impact and outcomes. 

   

Page 15: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      Summary 

Maintenance of Public Housing  Page 9   

RECOMMENDATION 3  WORK ORDER AUDITS 

Housing and Community Services should initiate action to improve work order audits undertaken by Spotless by: 

a)  identifying, in consultation with Spotless, the best way to provide for assurance of work order quality (and define the role of audits by visit or telephone, when to target complex works and the place of joint audits). This should be documented and presented to the Joint Consultative Committee for endorsement; 

b)  fully documenting any agreement with Spotless to vary the requirements for work order audits as set out in the May 2012 Total Facilities Management contact; 

c)  monitoring the quality of work order audits by Spotless, including conducting targeted Quality Assurance audits; 

d)  bringing the work order audits function in house if the quality of the audits remains inconsistent; and 

e)  arranging for a comprehensive independent audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 

RECOMMENDATION 4  QUALITY ASSURANCE 

Housing and Community Services should improve its quality assurance by: 

a)  improving internal monitoring of the outcomes of targeted audits, including by documenting actions agreed with Spotless to comprehensively address all audit recommendations; 

b)  directing the Quality Assurance team to progress the development of a joint program of targeted audits that are based on a risk analysis; and 

c)  requiring the Joint Consultative Committee to consider all findings of targeted audits, and to monitor the implementation of agreed recommendations. 

RECOMMENDATION 5  CONNECTIVITY OF IT SYSTEMS 

Housing and Community Services should initiate action to resolve outstanding issues on connectivity of IT systems and establish realistic target dates for implementing needed actions. 

RECOMMENDATION 6  CONTRACTUAL OBLIGATIONS 

Housing and Community Services should enforce all the requirements of the Total Facilities Management contract including requiring Spotless to provide quarterly performance evaluations and ethical suppliers declarations. 

   

Page 16: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  Summary   

Page 10  Maintenance of Public Housing     

RECOMMENDATION 7  RISK MANAGEMENT 

Housing and Community Services should improve its risk management by: 

a)  developing a comprehensive risk management plan for the administration of the Total Facilities Manager contract; and 

b)  including in the overall Housing and Community Services risk register key risks that relate to this contract. 

RECOMMENDATION 8  MANAGING CONTRACT VARIATIONS 

Housing and Community Services should improve its management of variations to the Total Facilities Management contract by: 

a)  developing and sharing with Spotless an accurate up‐to‐date register of contract amendments which identifies the provisions of the 2012 Total Facilities Management contract that have been varied, the nature of the revised provision, and the date from which the revision should be applied; 

b)  centrally maintaining documentary evidence that clearly demonstrates agreement between the contract parties as to each of the amendments, and where agreement to prior amendments is not available, liaise with Spotless to develop appropriate documentation; and 

c)  implementing a system whereby all future amendments are clearly specified and adequately documented. Matters considered in agreeing to an amendment should form part of the documentation (including but not limited to measures to protect risk and value for money). 

RECOMMENDATION 9  TIMELINESS OF MAINTENANCE TASKS 

Housing and Community Services should strengthen assurance in regard to the reported timeliness of maintenance activities by: 

a)  assessing the extent to which the issues indentified in the Spotless 2015 audit in relation to sub‐contractor practice have been rectified and whether it is satisfied with the reliability of timeless data; and 

b)  conducting Quality Assurance audits or joint audits on this matter. 

RECOMMENDATION 10  INSPECTION OF WORKS 

Housing and Community Services should improve quality control of works undertaken by Spotless and sub‐contractors through measures such as targeted audits of Spotless’ Work Supervisor processes for undertaking inspections. 

RECOMMENDATION 11  IN‐HOUSE MAINTENANCE PROVISION 

Housing and Community Services should initiate action to provide for independent quality assurance in regard to the maintenance work undertaken by Spotless’ in‐house maintenance provider.  

Page 17: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      Summary 

Maintenance of Public Housing  Page 11   

RECOMMENDATION 12  TENANT SATISFACTION SURVEYS 

Housing and Community Services should assess the appropriateness of using the tenant satisfaction surveys as a basis for Spotless incentive payments given the very low response rate. If this survey is considered appropriate, a mechanism should be developed to secure reliable data and a satisfactory response rate (formally addressing the critical findings of Housing and Community Services’ 2012 audit into this issue may assist).   

RECOMMENDATION 13  CONTINUOUS IMPROVEMENT PLAN AND SERVICE DELIVERY REVIEWS 

Housing and Community Services should initiate action so Spotless produces a continuous improvement plan and conducts Service Delivery reviews each six months with the intent of identifying improvements, or remove these requirements from the Total Facilities Management contract. 

RECOMMENDATION 14  PERFORMANCE AGAINST THE PUBLIC HOUSING ASSET MANAGEMENT STRATEGY 

Housing and Community Services should report annually to the Minister on its performance against the Public Housing Asset Management Strategy 2012‐2017 using the indicators specified in that Strategy or seek the support of the Minister to remove this requirement. 

RECOMMENDATION 15  ASSET REGISTER 

Housing and Community Services should develop and progressively implement a long‐term plan for consolidating existing data sources to create a centralised comprehensive asset register of ACT public housing assets. 

RECOMMENDATION 16  CONDITION ASSESSMENTS 

Housing and Community Services should initiate action to improve condition assessments by: 

a)  continuing to monitor the revised condition assessment arrangements implemented by Spotless to ensure the targets for condition assessments are consistently met and that Energy Efficiency Reports provide adequate support to maintenance planning; and 

b)  assessing whether Key Performance Indicator 3.1 should be changed to reflect the objective of ‘all properties having a condition assessment no more than five years old’. 

RECOMMENDATION 17  DEFINITION OF PLANNED MAINTENANCE 

Housing and Community Services should initiate action to improve current business rules governing the classification of maintenance expenditure as either planned or responsive, so that the ratio of planned to responsive maintenance is correctly reported. 

Page 18: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  Summary   

Page 12  Maintenance of Public Housing     

RECOMMENDATION 18  CONDITION ASSESSMENTS IN PLANNED MAINTENANCE 

Housing and Community Services should review how it develops the annual program of planned maintenance to ensure that condition assessment audits remain an important priority for identifying planned maintenance work. 

Agency response 

In  accordance with  subsection 18(2) of  the Auditor‐General Act  1996,  the Community  Services Directorate was provided with: 

draft proposed reports for comment. All comments were considered and required changes were reflected in the final proposed report; and 

a final proposed report for further comment. As part of this process, the Community Services Directorate was also asked to provide comments for inclusion in the final report in the Summary chapter. 

The  Community  Services Directorate  did  not  provide  comments  for  inclusion  in  the  Summary chapter  of  this  report. However,  no matters  regarding  the  factual  accuracy  of material  in  this report were brought to the attention of the Auditor‐General. 

In  accordance  with  subsection  18(3)  of  the  Auditor‐General  Act  1996,  extracts  of  the  draft proposed  report  were  provided  to  Spotless  Pty  Ltd.    Comments  provided  by  Spotless  were considered in developing the final proposed report. 

 

Page 19: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

   

Maintenance of Public Housing  Page 13   

1 INTRODUCTION 

1.1 This  chapter  provides  background  information  on  this  audit,  including  contextual information  on  maintenance  of  the  ACT  public  housing  asset  and  the  Total  Facilities Management  contract, under which housing maintenance  is delivered.    It also presents the audit criteria, approach and method. 

Background 

1.2 Housing  and  Community  Services  is  a  division  of  the  Community  Services  Directorate, responsible for the provision of social housing and community services in the Territory. In 2015  the  value  of Housing ACT’s  land  and  buildings was  $4.5  billion, which  represents approximately 16 percent of the Territory’s total assets. 

1.3 In 2014–15, Housing and Community Services managed 10 611 tenancies which provided accommodation  for  22 096  people which  is  5.65  percent  of  the  ACT  population  as  at 30 June  2015.  The  Community  Services  Directorate  Annual  Reports  shows  that  the number  of  ACT  public  housing  tenancies  has  decreased  by  10  percent  from  11 823  in 2011–12  to  10 611  in  2014–15.    Although  Housing  and  Community  Services  currently head‐leases  635 properties  to  community  housing providers,  overall  the numbers  have declined. 

Table 1‐1  Housing and Community Services public housing tenancies 2011‐2015 

Financial Year  Number of ACT public housing tenancies 

Annual percentage increase/(decrease) 

2011‐12  11 823 ‐

2012‐13  11 577 (2%)

2013‐14  10 724 (7%)

2014‐15  10 611 (1%)

Source:  Community Services Directorate Annual Reports from 2011‐12 to 2014‐15 

1.4 The per  capita provision of public housing  in  the ACT  is more  than double  the national average, with the most recent (2013) data showing 29 public housing dwellings in the ACT per 1 000 persons compared to the national average of 14 dwellings per 1 000. 

1.5 Housing  and  Community  Services  has  two  major  goals,  management  of  the  asset (dwellings) for the Territory, and appropriate housing for tenants. This audit is concerned with the former goal.  

1.6 Since 2001‐02, the management and delivery of maintenance, repairs and upgrades of the Housing  and  Community  Services  housing  assets  have  been  provided  through  a  Total Facilities  Management  contract  with  a  private  firm.  Under  the  Total  Facilities Management  contract,  this  firm has  responsibility  for  the planning and management of 

Page 20: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  1: Introduction   

Page 14  Maintenance of Public Housing     

maintenance  and  service  upgrades  for Housing  and  Community  Services’.  This  includes responsibility  for managing  sub‐contractors.  Housing  and  Community  Services  advised that it is the only public housing provider in Australia using such a contract.  

1.7 For over a decade Spotless Facility Services Pty Ltd (Spotless) has held the Total Facilities Management  contract.  It  was  initially  awarded  to  Spotless  in  2005,  and  following  a procurement process, a  second  contract was entered  into  in 2012,  for a  further 5‐year period. 

1.8 The current contract with Spotless commenced on 9 May 2012. It requires that Spotless, as the Total Facilities Manager, plan and deliver the contracted services within an agreed public  housing  maintenance  budget.  Spotless  receives  a  management  fee,  which  is adjusted  annually  to  reflect  changes  in  input  costs  and which may be  further  adjusted through incentives and abatements to reflect performance.  

1.9 In  2014‐15,  the  public  housing  maintenance  budget  was  $41.25  million  and  the management fee payable to Spotless was $6.92 million.1 Over five years, the total value of payments made under the contract is expected to reach $242 million,2 making this one of the Territory’s largest ongoing contracts. 

1.10 Maintenance  is  categorised  as  responsive  (based on  tenants  contacting  Spotless with  a maintenance request) or planned.  In both cases, work orders  that detail  the work  to be completed  are  raised  by  Spotless.  Spotless  then  allocates  the  work  order  to  a sub‐contractor.3  When work is completed, Spotless is invoiced by, and makes a payment to,  the  sub‐contractor. The process  for payment  involves  Spotless  verifying  the  invoice, forwarding it to Housing and Community Services who periodically (monthly) provide the funds  to Spotless  to  cover  the payments  to  sub‐contractors. On average,  since 2011‐12 the  Community  Services  Directorate  has  provided  approximately  $11 million  a  year  to cover responsive repairs and $28 million a year for planned maintenance.  

1.11 The responsive maintenance work  is high volume, with an average 85 000 calls annually over the last four years. There have been around 70 000 work orders raised annually, for both  responsive  and  planned  maintenance,  in  the  period  from  2011‐12  to  2014‐15 (Table 1‐2).  

                                                            1 Advice from Minister Berry to the ACT Legislative Assembly on 26 March 2016 (Legislative Assembly for the ACT, 2015 Week 4 Hansard (26 March) pp. 1220–22). These figures have been confirmed during audit fieldwork.  2http://www.procurement.act.gov.au/contracts/contracts_register/contracts/contracts/community_services_directorate/2010.xxxx.xxx/2010.14845.210 3 Housing and Community Services has advised that certain planned maintenance tasks are undertaken by Spotless’ in‐house maintenance provider. The tasks to be undertaken by Spotless’ in‐house maintenance provider are agreed in advance with Housing and Community Services and are set out in the annual Delivery of Works schedule. In 2014‐15, 1 888 work orders were raised in respect of works allocated to Spotless’ in‐house service provider; the total value of these work orders was $1 122 460. 

Page 21: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      1: Introduction 

Maintenance of Public Housing  Page 15   

Table 1‐2  Public housing work orders raised between 2011‐12 and 2014‐15 

Financial year  Call centre calls*  Work orders raised* 

2011‐12  92 600 62 300

2012‐13  75 000 62 000

2013‐14  100 000 80 000

2014‐15  74 000 81 000

Note:  Work orders raised includes those relating to both planned and responsive maintenance 

Source:  Community Services Directorate Annual Reports from 2011‐12 to 2014‐15  *All reported figures are approximate 

1.12 Properties covered by the Total Facilities Management contract have varied. Management of neighbourhood hubs, halls and centres was  included  in the May 2012 contract and  in October 2012 Spotless also became responsible  for  the repairs and maintenance at Arts and Community Facility sites and Bimberi Youth Detention Centre  in Harrison. However, responsibility for the maintenance of these assets (excluding the Bimberi facility) has since been transferred to other ACT Government Directorates.  

1.13 The ACT Audit Office tabled a performance audit report ‘Maintenance of Public Housing’ in  August  2008.  The  audit  stated  that,  ‘Audit  recognised  that  the  Total  Facilities Maintenance contract that commenced in July 2005 aimed to address problems with the previous maintenance contracts’.  The audit found there were initial difficulties and delays in  implementing  the contract,  leading  to deficiencies  in management;  that Housing ACT had  taken  action  to  improve  maintenance  of  public  housing;  and  that  there  were opportunities  for  further  improvement,  particularly  in  monitoring  the  quality  and timeliness of work carried out by sub‐contractors.  

Audit objective and scope 

1.14 The  objective  of  this  audit  is  to  provide  an  independent  opinion  to  the  Legislative Assembly on  the effectiveness of Housing and Community Services’ management of  the Total Facilities Management contract for the delivery of maintenance for public housing. 

1.15 While  the  scope  does  not  include  the  performance  of  Spotless  as  the  Total  Facilities Manager (nor does it extend to the management of the housing portfolio more generally), Spotless provided  information  to  the Audit Office  to  inform our assessment of Housing and  Community  Services’  management  of  the  contract.  The  audit  considers  matters associated with the management of the current contract since its commencement in 2012. 

Page 22: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  1: Introduction   

Page 16  Maintenance of Public Housing     

Audit criteria, approach and method 

Audit criteria 

1.16 The effectiveness of the management of the Total Facilities Management contract for the delivery of maintenance for public housing was considered using the following criteria: 

1. Governance.  Does  Housing  and  Community  Services  have  sound  governance arrangements  in  place,  including  policies,  procedures  and  risk  management,  to adequately manage  the  contract and ensure  the effective delivery of maintenance services and outcomes? 

2. Time, Quality  and  Cost.  Does  Housing  and  Community  Services  have  an  effective system which provides adequate assurance that maintenance work  is delivered  in a timely way, is of an acceptable quality, and provided at an appropriate cost? 

3. Planned Maintenance. Does Housing and Community Services have effective systems and processes for the strategic and annual planning of the planned maintenance and upgrade services; and for regularly assessing the condition of public housing stock? 

Audit approach and method 

1.17 The  performance  audit  was  conducted  under  the  authority  of  the  Auditor‐General Act 1996, and  in accordance with  the principles, procedures, and guidance  contained  in Australian  Auditing  Standards  relevant  to  performance  auditing.  These  standards prescribe  the minimum  standards  of  professional  audit work  expected  of  performance auditors.  Of  particular  relevance  is  the  professional  standard  on  performance engagements ‐ ASAE 3500 Performance Engagements. 

1.18 The audit approach and method consisted of:  

reviewing relevant literature; 

analysing the Total Facilities Management contract and related documents that set out the policies and procedures to be followed when administering maintenance of public housing;  

analysing the risk management processes that had been applied to this task; 

identifying the governance and accountability framework, including the use of joint committees established to administer the contract; 

considering the controls established by Housing and Community Services on the conduct of  public housing maintenance by Spotless as the Total Facilities Manager; and 

briefings, interviews, and correspondence with relevant staff of the Directorate and of Spotless. 

Page 23: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

   

Maintenance of Public Housing  Page 17   

2 GOVERNANCE 

2.1 This  chapter  examines  the  critical  area  of  governance  and  therefore  considers  the establishment and operation of key committees, strategies and  frameworks  intended  to support  effective  discharge  of  the  responsibilities  of  both  Housing  and  Community Services and  the Total Facilities Manager  (Spotless Facility Services Pty Ltd  (Spotless)).  It also  analyses  key documents  such  as  the  contract management plan,  risk management plan  and  fraud  management  plan  and  considers  Housing  and  Community  Services’ management of assurance activities and contract variations. 

Summary 

Conclusions 

Housing and Community Services has established a generally sound governance structure to support the Total Facilities Management contract, including requiring parties to define key strategies for contract delivery and quality control, establishing committees to deal with both day‐to‐day administration and higher level oversight, and having a mechanism for financial control and dispute resolution. Contract management is also supported by a comprehensive Performance Management System for incentive payments and abatements to drive the achievement of key contract outcomes. 

However, this sound governance structure has not been fully implemented and Housing and Community Services’ oversight of Spotless has been inadequate. There is no risk management plan specifically for the contract, and Housing and Community Services does not have visibility over the delivery of works managed by Spotless. Importantly, work order audits undertaken by Spotless have been problematic and Housing and Community Services has not enforced the necessary and required standard for these audits. It has not provided effective oversight of, and has not followed‐up in relation to, targeted quality audits that were undertaken by Housing and Community Services Quality Assurance team. Some contractual provisions designed to drive quality and innovation, and provide employment of target groups have not been enforced. Although initiatives to address some of these matters have been introduced, more remains to be done. 

Contract variations have not been effectively managed as changes to the contract have not been documented or, if they have, the documentation is inadequate. Accordingly there is no audit trail or transparency of decision‐making related to contract variations. Poor documentation of variations presents a risk that the contract will not be effectively managed or enforced.      

Page 24: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 18  Maintenance of Public Housing     

Key findings   Paragraph 

The committee structure provided for  in the Total Facilities Management contract has  been  implemented. While  all  committees  have  been  generally  operating  as planned,  governance would  be  strengthened  if  the most  senior  committee,  the Joint  Consultative  Committee,  improved  its  oversight  of  audits,  risk,  quality  and contract management.  

2.11 

The Housing and Community Services’ Contract Management Plan  is current and provides broad guidance to staff, but does not address risks. 

2.20 

Spotless’ Quality Management Plan does not adequately specify quality assurance activities  in  relation  to  key  risk  areas,  such  as  sub‐contractor  performance. Importantly, it does not specify what Spotless will do to ensure its sub‐contractors deliver work of the required quality.  

2.23 

The  Spotless Quality Management Plan  is not well aligned with  the Housing and Community Services Quality Framework, as  it has too broad a  focus. The Housing and  Community  Services  Quality  Framework  deals  extensively  with  the accountabilities  and  strategies  for  delivering  the  quality  assurance  measures required by the contract.  

2.26 

The Quality Assurance team in Housing and Community Services has been below its planned strength for most of the Total Facilities Management contract term. While the Community Services Directorate has recently addressed this, it is a concern that adequate resourcing was not provided earlier, given the importance of this team’s role.  

2.33 

While  the  key  performance  indicators  set  out  in  the  Performance Management System  provide  a  comprehensive  framework  for  driving  the  achievement  of  key contract  outcomes,  opportunities  exist  to  further  refine  the  Performance Management  System  to    improve  its  focus  on measuring  impact  and  outcomes, rather than activities and process throughout  the life of the contract.  

2.38 

The  Joint Consultative Committee provides  active oversight of  the  application of the Performance Management System and has proven to be an effective forum for resolving disagreements about the application of individual performance measures and  therefore  the  extent  of  incentives  or  abatements  applied  to  Spotless’  base management  fee.  Over  the  life  of  the  contract  to  date,  the  net  impact  of  the incentives and abatements has been a slight reduction (less than 2 percent)  in the base management fee payable to Spotless. 

2.45 

Page 25: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 19   

Given the importance of work order audits in the overall quality framework, it is a concern  that significant  issues  identified by  the Housing and Community Services Quality Assurance  team  in  relation  to  the  conduct of  these  audits,  including  the recommendation to cease related incentive payments, were not formally reported to the Joint Consultative Committee.  

2.56 

Housing  and  Community  Services  has  not  enforced  the  necessary  and  required standard  for  work  order  audits  as  set  out  in  the  Total  Facilities  Management contract,  putting  at  risk  assurance  of  the  quality  of  maintenance overseen/performed by Spotless and its sub‐contractors. 

2.60 

Having  regard  to  issues  associated  with  work  order  audits  identified  by  both Housing  and  Community  Services  and  the  Audit Office,  it would  be  prudent  for Housing  and  Community  Services  to  arrange  for  a  comprehensive  independent audit of  Spotless’  conduct of work order  audits  and  the  effectiveness of  related controls. 

2.61 

A  review  of  Joint  Consultative  Committee minutes  shows  that  final  reports  and findings of targeted audits undertaken by Housing and Community Services Quality Assurance team have not been formally referred to Joint Consultative Committee at any time since the current contract commenced in May 2012.  

2.66 

Housing  and  Community  Services’  monitoring  of  the  implementation  of recommendations from targeted audits undertaken by the Quality Assurance team, including  through  its participation  in  the  Joint Consultative Committee, has been inadequate. 

2.67 

Recent policy changes which  increase the  involvement of the Community Services Directorate’s  internal audit group in the conduct of designated ‘high risk’ targeted audits,  and  require  the  reports of  these  audits  to be  tabled with both  the  Joint Consultative  Committee  and  the  Community  Services Directorate Audit  and Risk Management  Committee,  have  strengthened  assurance  in  relation  to  the administration of the Total Facilities Management contract.  

2.73 

Extending  the  Joint  Consultative  Committee’s  oversight  to  include  all  targeted audits  would  provide  a  more  comprehensive  overview  of  risk  and  further strengthen  assurance  in  relation  to  the  management  of  the  Total  Facilities Management contract. 

2.74 

   

Page 26: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 20  Maintenance of Public Housing     

Full  interconnectivity of Spotless and Housing and Community Services  IT systems has  not  been  achieved.  Improved  interconnectivity,  in  accordance  with  the requirements set out  in the Total Facilities Management contract, would  improve the planning of maintenance activities and thereby reduce the risk of inappropriate maintenance occurring, or needed maintenance not occurring.  

2.78 

Housing and Community Services has no visibility over the reviews undertaken by Spotless’ Works Supervisors for checking that work orders have been completed. 

2.81 

Spotless’ quarterly performance evaluations have not been routinely provided and, as Housing and Community Services have not insisted on their provision, it has not adequately enforced the Total Facilities Management contractual requirements.  

2.83 

Ethical  suppliers’  declarations,  which  Spotless  are  required  by  the  contract  to provide to Housing and Community Services every six months, were not produced until August 2015, following a request from Housing and Community Services. 

2.86 

Formal  complaints  by  Housing  and  Community  Services  to  Spotless,  such  as Non‐Conformance Notices and Notices to Rectify, have generally been adequately addressed. 

2.91 

Spotless have not met the targets for employment of target groups set in the Total Facilities Management  contract,  although  Spotless  and  Housing  and  Community Services are continuing to work together to address this matter. 

2.96 

Given  the  importance of  the Total Facilities Management contract  it needs  to be supported by  its own comprehensive  risk plan. At  the  time of  the audit, Housing and Community Services has not established a  risk management plan  specifically for the Total Facilities Management contract. 

2.98 

Housing and Community Service’s management of contract variations has not been adequate over the life of the contract. 

2.115 

 Overview of governance arrangements 

2.2 The  Minister  for  Housing,  Community  Services  and  Social  Inclusion  has  executive responsibility for public housing asset management with day‐to‐day administration being the  responsibility of  the Director‐General, Community Services Directorate.   Within  this Directorate, Housing and Community Services is accountable for matters relating to social housing and community services in the Territory.  

Page 27: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 21   

2.3 The Housing Assistance Act 2007 governs a range of matters relating to  the provision of housing assistance in the Territory. It establishes the Commissioner for Social Housing for the ACT  (the Commissioner for Social Housing), who has responsibility for administering, on  behalf  of  the  Territory,  programs  and  funding  arrangements  for  delivering  housing assistance  in  the  ACT.  The  Act  provides  that  the  Director‐General  of  the  Community Services Directorate is the Commissioner for Social Housing. 

2.4 The  Commissioner  for  Social Housing  has  the  power  to  enter  into  contracts  and  other arrangements in relation to the provision of housing assistance in the Territory. Consistent with  this  power,  the  Commissioner  of  Social  Housing  entered  into  a  Total  Facilities Management contract with Spotless on 9 May 2012 for the management and delivery of maintenance, repairs and upgrades for Housing and Community Services’ properties. Use of an arrangement of this nature is intended to increase the effectiveness of the provision of services, but does not reduce the responsibility of the Commissioner for Social Housing under the Act, and therefore Housing and Community Services.  

Key responsibilities and committees 

2.5 The  contract  between  the  Commissioner  of  Social  Housing  and  Spotless  provides  a comprehensive  governance  framework  for  the management  of  the  contract,  including several committees to address specific matters and two which provide a general oversight. These are depicted in Figure 2‐1 below. 

Figure 2‐1  Governance committees 

Joint Consultative Committee

Meets quarterly

Contract Management Group

Meets monthly

Quality Assurance Group

Meets monthly

Contract Operations Group

Meets fortnightly

Finance Group

Meets monthly

 

Source:  Community  Services Directorate, Housing ACT,  Facilities  and Asset Maintenance: Contract management  lifecycle  review, Final Report, June 2014, p. 9. 

Joint Consultative Committee 

2.6 The  Joint  Consultative  Committee  is  to,  among  other  things, manage  overall  contract governance, oversee the strategic management of the contract and the overall delivery of services, manage the Performance Management System and consider proposed variations 

Page 28: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 22  Maintenance of Public Housing     

to  the  contract.  It  also  has  the  responsibility  of  dealing  with  issues  raised  from  the Contract  Management  Group,  and  generally  seeking  to  solve  disputes  between  the parties. With respect to the Performance Management System, it has the responsibility of recommending  changes  to  the Commissioner  for  Social Housing.  The  Joint Consultative Committee  consists of  three Housing and Community Services and  three Total Facilities Manager representatives.  

Contract Management Group 

2.7 The Contract Management Group consists of the Senior Manager and Contract Manager from Housing  and Community  Services,  and  counterparts  from  Spotless  (Total  Facilities Manager),  supported  by  other  staff  as  nominated.    It  has  a  number  of  responsibilities related  to  overall management  of  the  contract  and  the  delivery  of  the  services.  These include  managing  and  monitoring  the  Total  Facilities  Manager’s  Service  Delivery  and Management Plan, and the Housing and Community Services Contract Management Plan. Furthermore, the Contract Management group also has responsibilities covering financial management,  tenant  satisfaction,  standards  of  service  and  the  adequacy  of  resources allocated to deliver the Services.  It considers monthly performance management reports and  is  tasked  with  improving  operations  and  minimising  costs.  The  Total  Facilities Management  contract  states  that  it  also  has  a  role  to  ensure  information  and communication  technology  and  other  systems  and  procedures  are  appropriate  and effective.  It  can  refer  issues  to  the  Joint  Consultative  Committee,  and  implements decisions of  the  Joint Consultative Committee;  it also considers  issues  forwarded by  the Contract Operations Group. 

Contract Operations Group 

2.8 The Contract Operations Group  is  a working  level  group  involving  the  contract parties’ relevant operational personnel. It meets fortnightly to manage day to day operations and implement  decisions  of  the  Contract  Management  Group  and  the  Joint  Consultative Committee.  As  part  of  this  role,  it  updates  procedures  and  monitors  incomplete  or overdue  Work  Orders  and  escalates  these  to  the  Contract  Management  Group  as appropriate.  

Finance and Quality Assurance Groups 

2.9 The  Finance  Group  and  Quality  Assurance  Group,  each  contains members  from  both parties  to  the contract. The Finance Group provides oversight, assistance and advice on financial activities of  the Total Facilities Manager,  reviews  financial performance against budget,  approves  budget  adjustments,  investigates  any  non‐compliance  and  reviews significant accounting and reporting issues. The Quality Assurance Group addresses: 

any matters related to Key Performance Indicators, including any reports under Schedule 4 of the contract, which refers to quality assurance; 

 recommendations from Housing and Community Services quality assurance reports; 

Page 29: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 23   

 any remedial actions not completed by the Total Facilities Manager; 

overall quality assurance governance; and 

actual or potential non‐conformance with the contract. 

2.10 This contract governance structure operates  in conjunction with  the normal hierarchical responsibilities of Housing and Community Services staff, and, unless agreed to in writing between the two parties, does not limit or otherwise affect the rights or obligations of the parties (either under the contract or otherwise).  

Implementation 

2.11 The  committee  structure  provided  for  in  the  Total  Facilities Management  contract  has been  implemented.  While  all  committees  have  been  generally  operating  as  planned, governance would be strengthened  if the most senior committee, the  Joint Consultative Committee, improved its oversight of audits, risk, quality and contract management.  

2.12 For  the  Joint  Consultative  Committee  to  effectively  discharge  its  responsibilities,  it  is important that significant issues concerning contract administration and risk are put to it, for  information or consideration, as a matter of course. Such action would be consistent with the overarching governance responsibilities of the Joint Consultative Committee, as set out in the contract. This however, does not always occur.  

2.13 In a number of instances, significant issues including critical audit findings and changes to contractual arrangements affecting  incentives and abatements had not been progressed through  the  committee  structure  to  the  Joint  Consultative  Committee.  Putting  such matters  to  the  Joint  Consultative  Committee  as  a matter  of  course would  enhance  its capacity to effectively contribute to overall contract governance. 

2.14 While examination of Housing and Community Services’ minutes of meetings shows these matters  have  generally  been  discussed  by  the  parties  through  other  forums,  their consideration by  the  Joint Consultative Committee would better  reflect  the governance arrangements  set out  in  the contract and  increase  the  capacity of  that body  to provide effective oversight of delivery and management advice on key risks.  

2.15 Housing and Community  Services advised  that  they acted  to  improve  their oversight of quality  assurance  activities,  and  in  November  2015  introduced  arrangements whereby meetings of  the  Joint Consultative Committee would  include  standing  agenda  items on both quality  reviews and  items escalated  from  the Contract Management Group. This  is discussed further at Paragraph 2.72. 

Page 30: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 24  Maintenance of Public Housing     

Contract management  

Background 

2.16 The Total Facilities Management contract details a number of key structural requirements intended to support effective contract management and promote the realisation of its key benefits. These include having: 

a contract management plan; 

a quality assurance plan; 

policies and procedures to guide maintenance activities; 

a Quality Assurance team within Housing and Community Services;  

a performance management system; and 

regular reporting by the Total Facilities Manager on the details of operations. 

Contract management plan  

2.17 Housing and Community Services has developed a Contract Management Plan, the  latest iteration of which was  released  in October 2014,  to provide  guidance  to  their  contract manager  and  contract  management  team,  including  requirements  for  measuring, recording and reporting on the services to be delivered. It addresses contract objectives, and allocates responsibilities for the conduct of various functions, including: 

planned and responsive maintenance; 

invoicing; 

providing support for meetings of key committees; and  

quality assurance.  

2.18  The Contract Management Plan also covers obligations of the parties, consistent with the contract, and communications protocols between the parties.  However, the plan does not specifically identify risks or address risk management.  

2.19 Good contract management includes the identification, management and minimisation of risk.  Key  risks  to  contract  management  include  contractor  performance,  changes  in circumstances  and  the  ability  of  staff  to  manage  the  contract  overall.  In  order  to effectively manage  these  risks  they  should be  clearly  identified and documented within the  Contract Management  Plan  and  allocated  to  appropriate members  of Housing  and Community Services for management. 

2.20 The Housing and Community Services’ Contract Management Plan is current and provides broad guidance to staff, but does not address risks. 

Page 31: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 25   

Quality Assurance Plan 

2.21 Under Section 6.1 Schedule 2 of the contract, Spotless  is to provide a Quality Assurance Plan  that aligns with  the Housing and Community Services Quality Framework. A  stated aim  of  the  contract  is  to  ensure  that  Spotless  has  implemented  an  effective  internal Quality Assurance process. The Quality Assurance Plan  is  intended  to assist  in ensuring that the contract  is managed effectively, and that outcomes from the contract are of an acceptable standard, via an agreed quality assurance process.  

2.22 In September 2014, Spotless produced its Contract Management Plan, of which Section A goes  to  the  fundamentals  of  contract  management,  and  is  labelled  the  Quality Management Plan. 

2.23 Spotless’  Quality  Management  Plan  does  not  adequately  specify  quality  assurance activities in relation to key risk areas, such as sub‐contractor performance. Importantly, it does not specify what Spotless will do  to ensure  its sub‐contractors deliver work of  the required quality.  

2.24 It is important that the plan clearly establish processes for the management of quality as identified  by  Housing  and  Community  Services  through  the  agreed  quality  processes outlined in the contract (for example targeted audits and work order audits). 

2.25 Effective  alignment between  the quality plans of Housing  and Community  Services  and Spotless  is  important  for  both  parties  to  manage  quality  effectively,  and  provides assurance that there  is comprehensive and  integrated coverage of the key risks  inherent in the contract.  

2.26 The  Spotless  Quality  Management  Plan  is  not  well  aligned  with  the  Housing  and Community  Services Quality  Framework,  as  it  has  too  broad  a  focus.  The Housing  and Community  Services Quality  Framework  deals  extensively with  the  accountabilities  and strategies for delivering the quality assurance measures required by the contract.  

2.27 Furthermore,  Spotless’  Contract Management  Plan was  not  discussed  or  tabled  at  the Joint Consultative Committee  in  the meetings  that  followed  its creation. This presents a risk as it restricts the committee in exercising its leadership role.  

2.28 To improve quality assurance and meet requirements of the Total Facilities Management contract,  Spotless  needs  to  revise  its  Quality  Management  Plan  to  cover  key  quality assurance risks and align it with the Housing and Community Services Quality Framework. 

RECOMMENDATION 1 QUALITY MANAGEMENT PLAN 

Housing  and  Community  Services  should  initiate  action  so  Spotless  revises  its  Quality Management Plan to cover key quality assurance risks and directly align this plan with the Housing and Community Services Quality Framework. 

Page 32: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 26  Maintenance of Public Housing     

Policies and procedures  

2.29 In  accordance with  the  Total  Facilities Management  contract  Housing  and  Community Services has developed a two‐volume ‘Contract Management Policy and Information Pack’ which  provides  key  reference  material  for  contract  managers,  such  as  the  Contract Management Plan, business rules, fact sheets, a communications policy, asset standards, the  tenants’  guide  to  repair  and  maintenance  and  many  more.  Financial  delegations define spending and authorisation limits for Housing and Community Services staff and for Spotless employees by function (e.g. defined spending approval limits for call centre staff and Spotless managers). Delegations under the Housing Assistance Act 2007 allow senior staff  to make  arrangements with other  entities  for  the maintenance of public housing. Housing  and  Community  Services  compliance  with  these  policies  and  procedures  is mentioned to provide context but is outside the scope of this audit, and therefore was not examined. 

Quality Assurance team 

2.30 Housing and Community Services has established a Quality Assurance team in accordance with  the  requirement  of  the  contract.  The  Housing  and  Community  Services  Quality Framework describes the role of the team, stating: 

The QA Team conducts a range of planned and targeted review and auditing projects and activities designed to identify and manage risks and issues and to identify continuous improvement opportunities. The QA Team reports findings to the HaCS senior management and executives. 

2.31 This team has a planned staffing complement of four, but there have only been two staff for most of the contract period and there have been frequent changes of team manager.  No contractors or consultants have been engaged  to assist  in  implementing  the Quality Assurance team functions. 

2.32 After the completion of audit fieldwork, the Community Services Directorate advised: 

... HACS has already recruited two additional staff into this team. The team is at its planned composition and comprises a Senior Manager and four staff. 

The QA team now report to a new Executive position of Director Business and Capital, which structurally separates the role from the TFM contract management team who report to the Senior Director of Housing and Community Services. 

2.33 The  Quality  Assurance  team  in  Housing  and  Community  Services  has  been  below  its planned  strength  for most of  the Total Facilities Management  contract  term. While  the Community Services Directorate has recently addressed this, it is a concern that adequate resourcing was not provided earlier, given the importance of this team’s role.  

   

Page 33: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 27   

Performance management system 

2.34 Schedule 6 of the Total Facilities Management contract states that: 

The Performance Management System is a management tool to monitor and measure the performance of the Total Facilities Manager in delivering the Services as well as measure the long term indicators of success of the Total Facilities Management model. It provides the framework for Continuous Improvement in the management and delivery of the Services and for determination of Incentive payments or Abatement deductions to the Total Facilities Manager. 

2.35 Housing  and  Community  Services  has  responsibility  for  developing  and  applying  an appropriate performance management framework to support its’ contracting out of public housing maintenance. The Performance Management System  included  in  the May 2012 contract, which reflects contract negotiations with Spotless, comprises: 

Key Performance Indicators; 

performance assessment, monitoring and management; 

performance measurement, including calculating incentives and abatements; and 

performance reporting. 

Key Performance Indicators  

2.36 The  Key  Performance  Indicators,  established  as  part  of  the  Performance Management System, cover the following topics: 

the vacant dwelling turn‐around process (timeliness) – 2 KPIs; 

customer service quality (satisfaction with maintenance and with the call centre based on surveys; speed of answering telephone calls; speed of handling complaints) – 4 KPIs; 

quality and timeliness of works (number of condition audits conducted; timeliness against standards for four different priorities of responsive work orders; planned maintenance costs held above 70 percent of total) – 6 KPIs; 

compliance and performance (number of work order audits completed; number of non‐conformance notices; number of invoices rejected) – 3 KPIs; and 

expenditure close to budget – 1 KPI. 

2.37 Spotless’ performance  in delivering  the contract  is assessed monthly  for  the majority of Key Performance Indicators, and quarterly, six monthly and annually for the remaining Key Performance Indicators. Monthly assessment and performance scores provide the control mechanism that allows corrective action to be taken if services are not being delivered in accordance with performance targets.  

   

Page 34: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 28  Maintenance of Public Housing     

2.38 While  the  key performance  indicators  set out  in  the Performance Management  System provide  a  comprehensive  framework  for  driving  the  achievement  of  key  contract outcomes, opportunities exist to further refine the Performance Management System to  improve  its focus on measuring  impact and outcomes, rather than activities and process throughout  the life of the contract.  

2.39 For example, Spotless conducts a program of work order audits to provide assurance that maintenance work  is done as specified  in the work order. Under the contract, there  is a financial  incentive  for  Spotless  to  conduct  audits  of  a  specified  percentage  of  all work orders; but there  is no  incentive relating to the quality of the audits (whether the audits were performed properly) or on the quality of the maintenance work itself as revealed by the audits. Similarly, there is an incentive to resolve complaints quickly, but not to reduce the number of complaints. 

RECOMMENDATION 2 PERFORMANCE MANAGEMENT SYSTEM 

Housing  and  Community  Services  should  initiate  action  to  review  the  Performance Management System to increase its focus on impact and outcomes. 

Performance assessment 

2.40 The Quality Assurance team produces quarterly reports that detail Spotless’ performance against Key Performance Indicators. These reports present how performance against each Key  Performance  Indicator was  calculated,  and  the  result  compared  to  the  target.  The assessment of performance is based on information in reports provided by Spotless, which provide extensive details of operations, including: 

reports on services provided – including number of work orders raised and completed for both planned and responsive maintenance, number of monthly inspections conducted and the outcomes of any tenant satisfaction surveys completed; 

a finance report – including reporting actual expenditure against budget, average maintenance cost per dwelling and the ratio between planned and responsive maintenance expenditure; 

operations of the call centre – including number of calls received, average answer time and number of calls abandoned; and  

complaints – including the number of complaints received, response times and complaint trends.   

2.41 The  assessments  are  provided  to  the  Joint  Consultative  Committee,  which  under  the performance  management  provisions  of  the  Total  Facilities  Management  contract,  is required to consider and agree the  incentive payments and abatement deductions to be applied  to  the  base management  fee.  This  consideration  is  to  occur  each  six months.  Incentives and abatements are designed  to encourage Spotless  to provide  services  that 

Page 35: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 29   

better  meet  the  requirements  of  the  Territory.    The  operation  of  the  Performance Management System has been a key focus of the Joint Consultative Committee. 

2.42 On five occasions, over the twelve Joint Consultative Committee meetings reviewed by the Audit  Office,  there were  disagreements,  uncertainty  or  lack  of  information which was resolved  through  discussion  and  then  presented  at  a  later  meeting.  As  the  Joint Consultative Committee has three representatives from each party, there is potential for a tied  vote. To date,  there have been no  such  tied  votes  and  the  scores  against  the Key Performance Indicators have been resolved and agreed at the working level – sometimes after the Joint Consultative Committee has discussed any disagreements.   

2.43 If  there  is  a  significant  dispute  about,  for  example,  payment  of  incentives  under  the contract,  it  could happen  that  the  Joint Consultative Committee would be  tied  three  to three.  If negotiation between  the parties  failed  to  resolve such a situation,  the contract provides  a dispute  resolution process which  includes  a  requirement  that  Spotless must continue  to  carry out  the  services and otherwise  comply with  its obligations under  the contract while the dispute is considered.  

2.44 Housing and Community Services has advised that the dispute resolution provisions of the contract have not been used to date and that, since commencement of this contract, all matters  have  been  dealt  with  effectively  at  the  Joint  Consultative  Committee  level through commercial negotiations. In the event a dispute cannot be resolved and a breach arises, termination provisions are also available to either party.  

2.45 The  Joint  Consultative  Committee  provides  active  oversight  of  the  application  of  the Performance Management System and has proven to be an effective forum for resolving disagreements about  the application of  individual performance measures and  therefore the extent of  incentives or abatements applied  to Spotless’ base management  fee. Over the life of the contract to date, the net impact of the incentives and abatements has been a slight reduction (less than 2 percent) in the base management fee payable to Spotless. 

Providing quality assurance 

2.46 While the Performance Management System encourages the provision of services which better meet  the needs of  the Territory,  the  contract provides  further quality assurance tools including: 

requiring Spotless to regularly undertake structured audits of completed work orders, and to provide advice on the quality and timeliness of work undertaken; and 

providing for Housing and Community Services to undertake targeted audits on any aspect of the contract or Spotless’ performance, at any time. 

Page 36: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 30  Maintenance of Public Housing     

Work order audits by Spotless (Total Facility Manager) 

2.47 The  contract  details  the  requirements  of  the  Performance Management  System.  This includes  linking  incentives  and  abatements  to  the  quality  control  exercised  over work orders. Specifically, the contract provides that: 

The Total Facilities Manager shall pay an abatement ... each month for any failure by the Total Facilities Manager to Audit at least 5 percent of all Work Orders completed each month, otherwise, if an incentive is to apply the scores for auditing percentages greater than 5 percent will be addressed in accordance with KPI 4.1.  

2.48 The requirements of the audits to be conducted by the Total Facilities Manager are set out in the contract and include the requirement that: 

the audits include an audit scope, criteria and audit plan mutually agreed to by Housing and Community Services and Spotless; 

the work audits are done on site; 

all documentation relating to the work order is inspected to ensure compliance with requirements; 

photographs are taken of all defective works; and  within 2 business days of the completion of each audit, Spotless enters into HomeNet 

information on each audit, including but not limited to: (i) the date of the audit; (ii) the work order number, and information on each and every job line in the work order; (iii) the correct Dwelling address in full; (iv) the name of the Spotless Auditor; (v) confirmation that the audit was performed at the Dwelling; and (vi) detailed information about every defect, deficiency, omission, error, failure found in relation to the work order including information regarding the type of defect, deficiency, omission, error and failures. 

2.49 Control over  the work order process  is  critical  to effectively manage  the Total Facilities Management  contract.  Payments  of  around  $42 million  annually  are made  to  service providers  on  the  basis  of  work  orders  issued  by  Spotless.  The  $42  million  includes $11 million  for  responsive maintenance  and  $28 million  for  planned maintenance  and upgrades. Furthermore, findings from work order audits affect incentives and abatements which determine payments made to Spotless.  

Quality Assurance review of Spotless’ work order audits 

2.50 The  Quality  Assurance  team  has  examined  the  operation  of  the  work  order  audits conducted  by  Spotless  on  two  occasions.  The  audits  examined  the  validity  of  the assessments of  several of  the Key Performance  Indicators  that were used  to determine incentive payments. Under Key Performance Indicator 4.1, Spotless may gain incentives or suffer abatement depending on whether they conduct audits of 5 percent of work orders each month. While the basic numbers of work order audits have been achieved, it has not 

Page 37: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 31   

been established  that  they have been  conducted  in accordance with  the Total Facilities Management contract requirements. For example, the Quality Assurance audit of Spotless’ November 2013 work order audits found that: 

85 percent of the 21 tenants supposedly audited said they had not received a visit or phone call from Spotless; 

no documentation was on the WMS4 data base of required documentation or photos for any of the 21 work orders audited; 

Spotless had identified no fails, whereas the Housing and Community Services Quality Assurance team identified that 19 of the 21 work orders had either trade deficiencies or administrative deficiencies; and 

Spotless had been asked for, but did not produce, evidence to support their claims by the time the Quality Assurance audit was completed. 

2.51 Similar  findings  were  reported  to  the  Quality  Assurance  Group  in  the  later  audit  of 100 work  order  audits  that were  conducted  in December  2013  and  January  2014.  This audit found: 

a fail rate of 19 percent compared with Spotless’ fail rate of 3 percent; 

only 24 percent of tenants audited said they had received a telephone call from Spotless staff to inquire about the works;  

only 15 percent of tenants audited said they had received an onsite visit; and 

Spotless had not fulfilled its obligations relating to the analysis of data for trends, corrective actions and continuous improvement.  

2.52 In its quarterly report January – March 2015, the Quality Assurance team stated that the (work order)  auditing  activity  represents  little or no discernible benefit  to Housing  and Community Services  in  terms of affecting contractual  requirements  to achieve value  for money and continuous  improvement.  Issues  relating  to Spotless’ conduct of work order audits are further discussed in Chapter 3, from paragraph 3.25. 

2.53 Community Services Directorate Internal Audit conducted an internal audit of Housing ACT, reporting  in  June 2014. This audit  concluded  that Housing and Community Services has established a sound control framework for the administration and monitoring of the Total Facilities Manager  contract.      However,  there  are  problems  in  the  implementation  of activities  in  support  of  that  framework.  These  problems  were  raised  in  two  Quality Assurance  audits,  discussed  above,  that  were  completed  earlier  in  2014.  The  earlier Quality Assurance audit was described in the internal audit report status as ‘ongoing’ even though it reported first (in May 2014), and the second was not mentioned.  

   

                                                            4 Works Management System – a data base used by Spotless to manage the conduct of maintenance work. 

Page 38: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 32  Maintenance of Public Housing     

2.54 The  Housing  and  Community  Services  quality  framework  provides  that  findings  from Quality Assurance audits are  to be presented  to  the Quality Assurance Group and  then referred  upward  as  necessary  to  the  Contract  Management  Group  and  the  Joint Consultative Committee.  The Contract Management Group does have a standing agenda item relating to the Quality Assurance Group where the status of audit recommendations is mentioned. 

2.55 The  Housing  and  Community  Services  Quality  Assurance  team  has  raised  significant concerns around the conduct of work order audits,  including a specific recommendation to  cease  incentive  payments  under  Key  Performance  Indicator  4.1.  Housing  and Community  Services have  advised  that  action  in  response  to  this  recommendation was overseen by  the Contract Management Group and, as a  result, over  the  following year, there were two quarters where no incentive or abatement in respect of this indicator was applied,  one  quarter where  a modest  incentive was  applied  and  one  quarter where  a modest abatement was applied. 

2.56 Given the importance of work order audits in the overall quality framework, it is a concern that  significant  issues  identified  by  the  Housing  and  Community  Services  Quality Assurance team in relation to the conduct of these audits, including the recommendation to cease related incentive payments, were not formally reported to the Joint Consultative Committee.  

Audit Office review of Spotless’ work order audits 

2.57 The Audit Office conducted  its own review of work order audits  for the months of June, July and August 2015. It was found that the conducting and recording of work order audits is  inadequate and needs  to  improve  to meet  requirements as  set by Schedule 4 of  the Total Facilities Management contract. In particular, around 60 percent of these work order audits did not use  the  specified  template, but  instead were merely  copies of  the work order with an annotation on it such as ‘OK’. Even when the template was provided, there were many cases where the audits did not record the tenant’s name or signature, the date and time, or answers to questions about sub‐contractor behaviour, work completion and overall satisfaction.  

2.58 Schedule 4 of the contract requires that a work order audit be conducted at the dwelling but  Housing  and  Community  Services  has  a  practice  of  allowing  Spotless  to  conduct telephone audits, as  indicated by Spotless reporting of the proportion of phone audits  in monthly  reports.  Some  reports  leave  the  proportions  blank.  The monthly  report  is  not subject  to  review or auditing,  so  there  is no  control over how many audits were being conducted by phone or at  the dwelling. The proportion of  telephone audits reported by Spotless has been as high as 65 percent.  In October 2015,  the Quality Assurance Team made a recommendation for ‘phone audits to cease until a contract variation is in place’. 

2.59 There are circumstances where  it would be  reasonable  to conduct audits by  telephone. However,  this  needs  to  be  considered  in  the  context  of  setting  out  agreed,  risk‐based principles for conducting audits.  

Page 39: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 33   

2.60 Housing and Community Services has not enforced  the necessary and required standard for work order audits as set out in the Total Facilities Management contract, putting at risk assurance  of  the  quality  of maintenance  overseen/performed  by  Spotless  and  its  sub‐contractors. 

2.61 Having regard to issues associated with work order audits identified by both Housing and Community Services and the Audit Office, it would be prudent for Housing and Community Services to arrange for a comprehensive  independent audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 

RECOMMENDATION 3 WORK ORDER AUDITS 

Housing  and  Community  Services  should  initiate  action  to  improve  work  order  audits undertaken by Spotless by: 

a) identifying,  in  consultation with  Spotless,  the best way  to provide  for  assurance of work order quality (and define the role of audits by visit or telephone, when to target complex  works  and  the  place  of  joint  audits).  This  should  be  documented  and presented to the Joint Consultative Committee for endorsement; 

b) fully documenting  any  agreement with  Spotless  to  vary  the  requirements  for work order audits as set out in the May 2012 Total Facilities Management contact; 

c) monitoring the quality of work order audits by Spotless, including conducting targeted Quality Assurance audits; 

d) bringing the work order audits function  in house  if the quality of the audits remains inconsistent; and 

e) arranging for a comprehensive independent audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 

Targeted quality audits 

2.62 Targeted  quality  audits  are  a  key  tool  for Housing  and  Community  Services  to  address concerns and manage risks regarding services delivered under the contract. The Housing and Community Services Quality Assurance team (see paragraph 2.30) plan, conduct and monitor progress with implementing the findings of quality audits.  

2.63 The  Housing  and  Community  Services  Quality  Assurance  team  has  conducted  seven targeted audits since the Total Facilities Management contract was signed in May 2012:  

August 2012 ‐ Distribution of Maintenance Satisfaction Survey Forms; 

September 2012 – Operator Recorded Calls in the Total Facilities Manager Canberra Contact Centre June 2012; 

May 2013 – Total Facilities Manager’s Reponses to Complaints; 

August 2013 ‐ Total Facilities Manager Call Centre; 

Page 40: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 34  Maintenance of Public Housing     

February 2014 ‐ Total Facilities Manager’s Work Order Audits for November 2013; 

May 2014 ‐ Total Facilities Manager’s Work Order Audits for December 2013 and January 2014; and 

June 2015 ‐ Total Facilities Manager Contact Centres. 

2.64 The Quality Assurance team maintains a spreadsheet that records Spotless’ responses to their  audit  recommendations  and  monitors  progress  with  implementing recommendations.  While  the  spreadsheet  in  most  instances  provides  the  team  with comprehensive  information  on  progress with  audit  recommendations,  it  has  omissions which need to be addressed by Housing and Community Services. These include: 

a general failure to identify who within Spotless has given agreement, or undertaken action, in relation to implementing audit recommendations; and 

in relation to the targeted audits of Spotless’ work order audits, a failure to propose or record follow up action where Spotless’ response did not propose any substantive action (the spreadsheet recorded ‘Ongoing No actual commitment from Total Facilities Manager to do anything’ but no further Housing and Community Services action in response to this issue is recorded).  

2.65 Targeted audits undertaken by Housing and Community Services Quality Assurance team are  tabled  at meetings  of  the  Contract Management  Group,  who  are  responsible  for identifying  and  forwarding  issues  to  the  Joint  Consultative  Committee.  Given  the significance of the  issues  identified  in quality audits,  including  in relation to the Spotless’ conduct of work order audits,  it would have been appropriate for these matters to have been referred to the Joint Consultative Committee.  

2.66 A review of Joint Consultative Committee minutes shows that final reports and findings of targeted audits undertaken by Housing and Community Services Quality Assurance team have not been  formally  referred  to  Joint Consultative Committee at any  time  since  the current contract commenced in May 2012.  

2.67 Housing and Community Services’ monitoring of the implementation of recommendations from  targeted  audits  undertaken  by  the Quality  Assurance  team,  including  through  its participation in the Joint Consultative Committee, has been inadequate. 

2.68 The  potential  for  assurance  audits  to  better  support  contract  administration  was recognised  in Community  Services Directorate  Internal Audit of Housing ACT’s  contract management, which  reported  in  June  2014.  The  audit made  several  recommendations, including that Housing and Community Services: 

... develop a joint program of assurance activities to be completed over a 2‐3 year cycle and split across the HACT Quality Improvement Unit and Spotless, targeted to key risk areas identified through a formal risk assessment process, while also maintaining an element of the current compliance audits. 

Page 41: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 35   

2.69 Housing  and  Community  Services  agreed  to  the  recommendation,  noting  that  it  ‘will continue to work with Spotless to review the QA calendar and to develop a joint program of assurance activities to be completed over a 3 year cycle.’ However, as of February 2016, action to develop a joint program of audits had not been progressed. 

2.70 In  responding  to  the  Community  Services  Directorate  Internal  Audit  of  Housing  ACT’s contract  management,  Housing  and  Community  Services  also  agreed  to  continue  to formally monitor the findings and recommendations from the targeted audits through the contract management committee structure, starting with the Quality Assurance group and progressing  to  Contract  Management  Group  and  Joint  Consultative  Committee  as necessary; and to obtain formal comments from Spotless. 

2.71 The Community Services Directorate has  recently agreed  to provide greater  support  for the  conduct  of  quality  assurance  audits  and  to  strengthen  oversight.  From 7 September 2015,  the Community Services Directorate will designate  selected  targeted audits  as  ‘high  risk’  (on  the  basis  of  recommendations made  by  the Quality Assurance team, in consultation with the Directorate’s Internal Audit and Risk Management team, to the  Audit  and  Risk Management  Committee).  These  audits  will  be  performed  by  the Community Services Directorate’s  Internal Audit and Risk Management team assisted by the Quality Assurance team (or outsourced). 

2.72 The draft reports from designated ‘high risk’ targeted audits will continue to be tabled at the  Quality  Assurance  Group  and  the  Contract Management  Group,  in  line with  prior practice. However,  the  final audit  reports of  these audits will be  tabled, as a matter of course, at  the  Joint Consultative Committee and at  the Community Services Directorate Audit and Risk Management Committee. 

2.73 Recent  policy  changes  which  increase  the  involvement  of  the  Community  Services Directorate’s internal audit group in the conduct of designated ‘high risk’ targeted audits, and  require  the  reports  of  these  audits  to  be  tabled with  both  the  Joint  Consultative Committee  and  the  Community  Services  Directorate  Audit  and  Risk  Management Committee,  have  strengthened  assurance  in  relation  to  the  administration  of  the  Total Facilities Management contract.  

2.74 Extending  the  Joint  Consultative  Committee’s  oversight  to  include  all  targeted  audits would provide a more comprehensive overview of risk and further strengthen assurance in relation to the management of the Total Facilities Management contract. 

   

Page 42: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 36  Maintenance of Public Housing     

RECOMMENDATION 4 QUALITY ASSURANCE 

Housing and Community Services should improve its quality assurance by: 

a) improving  internal  monitoring  of  the  outcomes  of  targeted  audits,  including  by documenting  actions  agreed  with  Spotless  to  comprehensively  address  all  audit recommendations; 

b) directing the Quality Assurance team to progress the development of a joint program of targeted audits that are based on a risk analysis; and 

c) requiring the Joint Consultative Committee to consider all findings of targeted audits, and to monitor the implementation of agreed recommendations. 

Other contractual obligations 

Alignment of IT systems 

2.75 The Service Delivery and Management Plan, Volume 4 of the Total Facilities Management contract, prepared by Spotless, describes the operation of the Works Management System (WMS) and notes that: 

The key benefit to HACS is the ability of WMS to interface with HomeNet. 

2.76 However,  this  interconnectivity  is  not  fully  functional,  nearly  4  years  after  contract commencement, including with respect to visibility of work order audits.  

2.77 SPM,  a  computerised  database  used  by  Spotless  to  help  manage  property  condition assessments,  does  not  link  to HomeNet.  For  example,  SPM,  according  to  Housing  and Community Services, had, at one point, too many properties listed (13 492 compared to a more  reliable Housing  and  Community  Services  figure  of  11 580)  (although  on  another occasion, SPM showed 11 935). These gaps in functionality have caused problems such as scheduling planned maintenance that was not, in the opinion of Housing and Community Services, required.  It emerged during the audit that there has not been clear agreement between Spotless and Housing and Community Services in regard to the nature and scope of the integration requirement, and while this has been a long standing action item for the Joint Consultative Committee, the matter remains unsettled.  

2.78 Full interconnectivity of Spotless and Housing and Community Services IT systems has not been achieved.  Improved  interconnectivity,  in accordance with the requirements set out in the Total Facilities Management contract, would improve the planning of maintenance activities and thereby reduce the risk of inappropriate maintenance occurring, or needed maintenance not occurring.  

Page 43: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 37   

RECOMMENDATION 5 CONNECTIVITY OF IT SYSTEMS 

Housing and Community Services should  initiate action  to  resolve outstanding  issues on connectivity of  IT  systems  and  establish  realistic  target dates  for  implementing needed actions. 

Quality of work 

2.79 The Service Delivery and Management Plan, Volume 4 of the Total Facilities Management contract, requires that ‘if a claim is submitted, the [Spotless] Works Supervisor will attend the site and confirm that the work has been completed to a satisfactory standard’. This is not occurring  and  there  is no documented  agreement  to  vary  the  requirements of  the contract  in  this  respect.  Spotless’  internal guidance  requires  inspections of work orders over $2 000; although this requirement is not mandatory according to its 2015‐16 Delivery of Works document.   

2.80 Housing  and  Community  Services monitoring  of  the  arrangements  established  by  the requirement for site visits and work order audits (refer to paragraph 2.46) are critical if it is to maintain adequate visibility over the quality of works performed by Spotless and  its sub‐contractors. 

2.81 Housing and Community Services has no visibility over the reviews undertaken by Spotless’ Works Supervisors for checking that work orders have been completed. 

2.82 Spotless  is  required  to  provide Housing  and  Community  Service with  quarterly  ‘quality performance evaluations’, but the content and aim of these  is not further defined  in the contract.  

2.83 Spotless’  quarterly  performance  evaluations  have  not  been  routinely  provided  and,  as Housing  and  Community  Services  have  not  insisted  on  their  provision,  it  has  not adequately enforced the Total Facilities Management contractual requirements.  

2.84 The only quarterly evaluation  that had been provided at  the  time of audit  covered  the 12 months  April  2014  to  March  2015.  This  report  was  reviewed  by  Housing  and Community  Services  to give advice on  future editions. The  subsequent quarterly  report was  late again, and Housing and Community Services allowed the April‐June 2015 report to be omitted.  

Ethical supplier obligations 

2.85 Under the Total Facilities Management contract, Spotless is to provide, every six months, an  ‘ethical suppliers’ declaration’  that states adherence  (or  lists breaches)  to a  range of legislation, primarily referring to obligations of employers.   

Page 44: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 38  Maintenance of Public Housing     

2.86 Ethical suppliers’ declarations, which Spotless are required by the contract to provide to Housing and Community Services every six months, were not produced until August 2015, following a request from Housing and Community Services. 

RECOMMENDATION 6 CONTRACTUAL OBLIGATIONS 

Housing  and  Community  Services  should  enforce  all  the  requirements  of  the  Total Facilities  Management  contract  including  requiring  Spotless  to  provide  quarterly performance evaluations and ethical suppliers declarations. 

Management of maintenance services 

Issue of non‐conformance notices 

2.87 Under  the  Total  Facilities  Management  contract,  there  are  several  mechanisms  for Housing and Community Services to express formal dissatisfaction to Spotless. If Spotless fails  to  deliver  in  accordance with  the  contract, Housing  and  Community  Services may issue a general Non‐Conformance Notice (NCN) or an audit non‐conformance notice.  

2.88 A Housing ACT employee can submit a request for a Non‐Conformance Notice to Spotless, specifying whether the issue is an ongoing issue, at the call centre or on quality of work, a specific work  order  issue,  or  a  conduct  issue.  Spotless will  then  determine whether  to issue  the Non‐Conformance Notice.  If  it  issues  one,  it must  then  provide  a  ‘Cure  Plan’ detailing how the non‐conformance will be addressed.  

2.89 If Housing and Community Services determines that the Cure Plan has not been effective in  rectifying  the  non‐conformance,  Housing  and  Community  Services  may  issue an  ’Instruction’  to  Spotless  to  rectify  the  non‐conformance.  Housing  and  Community Services  instituted  another  process,  outside  of  the  contract,  for  issues  of  lesser significance,  called a  ‘Notice  to Rectify’. These  can be  submitted by either Housing and Community Services or Spotless to the other party. They should be responded to, within seven days (or 48 hours if urgent), with an ‘Action Plan’. 

2.90 As at  June 2015, Housing and Community  Services had  issued no  ‘Instructions’ but had issued 38 Non‐Conformance Notices, covering most areas of the contract.  In most cases they were addressed, although two from 2012‐2013 were still current.     Four  ‘Notices to Rectify’ had been issued, and all have been addressed. 

2.91 Formal  complaints  by  Housing  and  Community  Services  to  Spotless,  such  as Non‐Conformance  Notices  and  Notices  to  Rectify,  have  generally  been  adequately addressed. 

Page 45: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 39   

Employment of target groups 

2.92 The  contract  requires  Spotless  to  support  specified  target  groups  by  providing employment  through  either  direct  service  delivery  or  through  its  sub‐contractors.  The employment target for each group will be reviewed by the Joint Consultative Committee on an annual basis and performance endorsed at the appropriate Contract Management Group Meeting. The results do not contribute to a Key Performance Indicator and so are not reviewed by the Quality Assurance team. The initial targets were: 

Aboriginal and Torres Strait Islander persons: 10; 

tenants or occupants of dwellings: 30; 

persons with a disability: 43; and 

youth: 25.  

2.93 The  October  2012  and  February  2013  meetings  of  the  Joint  Consultative  Committee discussed processes to employ people from target groups, and agreed that results would be presented  through  the Total Facilities Manager monthly  reports.  In December 2013, the  Joint  Consultative  Committee  noted  that,  notwithstanding  action  by  Spotless  to employ approximately 17 people  from  target groups as part of  its provision of  in‐house maintenance  services,  Housing  and  Community  Services  had  issued  Non‐Conformance Notices  to  Spotless  for  consistently  missing  the  majority  of  the  targets.  The  Joint Consultative Committee nonetheless agreed to retain the same target numbers. 

2.94 In August 2014, the Joint Consultative Committee discussed ways to improve performance, and the need to agree on the cohort numbers for the next year but this was not done at the  December  2014  Joint  Consultative  Committee,  or  in  the  February  or  May  2015 meetings. 

2.95 Figures reported by Spotless in July 2015 continued to show its inability to meet all targets, although the Aboriginal and Torres Strait Islander employment almost met the target and Youth numbers were well  in excess of defined targets. Housing and Community Services advised of its work with Spotless to address shortfalls, noting: 

HACS worked with Spotless to engage with Habitat, Northside Community Services, Communities @ Work, Salvation Army, Electro Group and the Australian Apprenticeship Group aimed to encourage cohorts to apply for potential positions with Spotless or their contractors.  Spotless maintained a register of interested parties and continues to refer these to their sub‐contractor base. 

In addition, Spotless met with the AMC to discuss day labour employment opportunities for release of inmates 

2.96 Spotless  have  not met  the  targets  for  employment  of  target  groups  set  in  the  Total Facilities Management contract, although Spotless and Housing and Community Services are continuing to work together to address this matter. 

Page 46: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 40  Maintenance of Public Housing     

Risk management 

Risk management plan 

2.97 A  previous  audit  by  the  Audit  Office  (Maintenance  of  Public  Housing,  August  2008) recommended, and Housing and Community Services agreed, that such a contract‐specific risk management plan was needed. Housing and Community Services advised  the Audit Office  in  July 2015  that  a dedicated Risk Management Plan  for  this  contract was  to be developed,  with  an  initial  meeting  in  August  2015  between  Community  Services Directorate  Internal Audit and  the Total Facilities Manager. However, at  the  time of  the audit, this matter was yet to be substantively progressed. 

2.98 Given  the  importance  of  the  Total  Facilities  Management  contract  it  needs  to  be supported  by  its  own  comprehensive  risk  plan.  At  the  time  of  the  audit,  Housing  and Community Services has not established a risk management plan specifically for the Total Facilities Management contract. 

Management of risks 

2.99 Housing and Community Services has relied on Community Services Directorate’s overall Risk  Management  Framework  and  on  risk  registers  established  by  both  Spotless  and Housing and Community Services rather than developing a specific risk plan for the Total Faculties Management contract.  

2.100 The  risks  identified  by  Spotless  in  its  risk  register  are  focused  on  meeting  the  Key Performance Indicators  and the register is a proprietary document, not visible to Housing and Community Services.  

2.101 The risks identified by Housing and Community Services risk register are broad, and focus on people  (deaths) and  reputation  (due  to  failure  to maintain properties).  It does cover financial  risks,  but  focuses  on  failure  to  attract  funding  rather  than  poor  expenditure control over payments. There is nothing specific on value for money from services.  

2.102 The Quality  Assurance  team  has  developed  a  register  of  issues,  recommendations  and risks. This  is not used to target audits, but  is a  list of risks  identified from the findings of past Quality Assurance audits. This register also includes a calendar of proposed activities, but there  is no evidence that the choice of activities on this calendar  is targeted at risks identified by prior audits. The Quality Framework for the Total Facilities Manager does not refer to the program of Quality Assurance activities needing to be risk‐based.  

2.103 At the time of this audit, this register was not promulgated beyond the Quality Assurance team. This set of risks should be used to drive the Quality Assurance program, to focus the work of the Quality Assurance team on higher risks. This was recognised by the Housing and Community Services  internal audit  report of  June 2014 which  recommended a  joint 

Page 47: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 41   

program of audits with the Quality Assurance team and Spotless directed to key risk areas (as discussed at paragraph 2.68 above).  

2.104 An  internal  audit  conducted  by  the Community  Services Directorate  also  identified  key risks which could be appropriately addressed  in a comprehensive risk management plan, including sub‐contractor compliance with workplace health and safety; whether work was completed to standards; and sub‐contractors meeting their employer obligations.  

RECOMMENDATION 7 RISK MANAGEMENT 

Housing and Community Services should improve its risk management by: 

a) developing a comprehensive risk management plan for the administration of the Total Facilities Manager contract; and 

b) including  in  the overall Housing and Community Services  risk  register key  risks  that relate to this contract. 

Fraud management  

2.105 The Fraud Risk Integrity Register for the Community Services Directorate  identified a risk of contractors overcharging for services. Controls identified included: 

 the schedule of rates; 

 a review of 5 percent of activity undertaken by the Total Facilities Manager; 

Directorate approval of sub‐contractors; and 

Staff training and awareness of correct expenditure. 

2.106 The Audit Office notes that of these controls: 

the schedule of rates is subject to sub‐contractors tendering at more than or less than the stated rate; 

the risk register incorrectly identifies this 5 percent review as an in‐house activity, and the problems with the audit of work orders are discussed elsewhere in this report; 

the processes for the Directorate to review sub‐contractors are not addressed in this audit, but it is understood this only occurs when they join the panel; and 

staff do review invoices (discussed at paragraph 3.56).  

2.107 Housing  and  Community  Services’  Fraud  and  Corruption  Prevention  Risk  Treatment Schedule identifies a risk of overcharging for property maintenance services, and assesses the  risk  level  as  high,  with  a  proposed  treatment  of  more  robust  enforcement  of abatements  and  more  assertive  contract  management.  This  analysis  and  proposed treatment is consistent with the findings and recommendations in this audit report. 

Page 48: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  2: Governance   

Page 42  Maintenance of Public Housing     

Managing contract variations 

2.108 It  is reasonable to expect  that  the Total Facilities Management contract will need active oversight and may require amendment throughout its life. 

2.109 Housing and Community Services and Spotless anticipated the likelihood of changes being needed and established provisions  in the contract for making amendments to  it, and for providing effective oversight of the amendment process.  

2.110 Properly considering, executing and documenting contract variations are critical if risks are to be managed effectively and the Territory interests adequately protected. A failure to do so  can  lead  to  a  contract  that may  be  difficult  to  administer  or  enforce,  that may  not achieve the outcomes originally sought and which may not protect the financial interests of the Territory or the housing needs of tenants 

2.111 Housing and Community Services: 

had difficulty in readily identifying the number and nature of variations made to the contract, with different written advice submitted to the Audit Office on at least three occasions; 

did not effectively distinguish between agreements on administrative process and agreements to substantively vary a specific provision in the contract; and 

did not document the matters considered in deciding to vary to the contract, including whether the decision was likely to lead to increased costs or a reduction in value for money. 

2.112 On  18  February  2016,  Housing  and  Community  Services  advised  that  the  2012  Total Facilities  Management  contract  had  been  varied  on  11  occasions  and  provided  the documents  available  to  support  and  describe  those  variations.  Audit  Office  analysis indicates that, in most cases, the variations: 

are not supported by documentation which adequately identifies the contract provision to be varied, or which provides a precise definition of the revised contract provision; 

are not supported by documents which demonstrate a clear agreement between the parties on the nature and detail of proposed variation; 

do not clearly identify the date of effect of the proposed amendment; and 

have not been progressed in a way that would be reasonable to expect in light of the governance arrangements established by the contract. 

2.113 Documentation  provided  by  Housing  and  Community  Services  identified  a  further significant variation to the contract: the removal of one of the key performance indicators included  in  the  contract  to  inform  the  performance management  system. Housing  and Community  Services  have  advised  that  ‘this  KPI  was  discontinued  due  to  a  Joint 

Page 49: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      2: Governance 

Maintenance of Public Housing  Page 43   

Consultative  Committee  decision  on  25/11/2013’. While  agreeing  that  this  change  had been made,  Housing  and  Community  Services  have  been  unable  to  provide  the  Audit Office with any contemporary documentation relating to the change, and did not include this as one of the 11 contract variations to date. 

2.114 At  the  time of  this audit, Housing and Community Services did not have a consolidated register  of  document  variations  to  support  contact  administration  which  adequately identified which provisions of  the 2012  Total  Facilities Management  contract had been varied, the nature of the revised provisions, and the date from which the revision should be applied. Rather, Housing and Community Services rely heavily on  the experience and understanding of existing personnel, thus considerably increasing contract risk that could be realised by the departure of key staff. 

2.115 Housing  and  Community  Service’s  management  of  contract  variations  has  not  been adequate over the life of the contract. 

RECOMMENDATION 8 MANAGING CONTRACT VARIATIONS 

Housing  and  Community  Services  should  improve  its management  of  variations  to  the Total Facilities Management contract by: 

a) developing  and  sharing  with  Spotless  an  accurate  up‐to‐date  register  of  contract amendments which identifies the provisions of the 2012 Total Facilities Management contract that have been varied, the nature of the revised provision, and the date from which the revision should be applied; 

b) centrally maintaining  documentary  evidence  that  clearly  demonstrates  agreement between the contract parties as to each of the amendments, and where agreement to prior  amendments  is  not  available,  liaise  with  Spotless  to  develop  appropriate documentation; and 

c) implementing  a  system  whereby  all  future  amendments  are  clearly  specified  and adequately  documented. Matters  considered  in  agreeing  to  an  amendment  should form part of the documentation (including but not limited to measures to protect risk and value for money). 

 

Page 50: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes
Page 51: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

   

Maintenance of Public Housing  Page 45   

3 TIME, QUALITY AND COST 

3.1 This  chapter  discusses  the  arrangements  implemented  by  Housing  and  Community Services to determine whether delivery of housing maintenance services by Spotless (the Total Facilities Manager) is within time and quality standards, and costs are controlled. 

Summary 

Conclusion 

Spotless has met timeliness targets for the delivery of the more urgent maintenance services, but not for routine tasks. While this is the case, the reliability of the timeliness data is uncertain and Housing and Community Services needs to assure itself of its reliability. 

Housing and Community Services does not have sufficient oversight of Spotless’ quality control activities; in particular over Spotless’ work order audits and the allocation and quality of maintenance work undertaken by Spotless’ in‐house maintenance provider.  

Spotless’ payment incentives or abatements are dependent on the results of customer satisfaction surveys. These have a very low response rate and problems with them have been identified in quality audits. While Housing and Community Services has initiated action to improve the response rate, it remains low. If this persists then an alternative means for determining Spotless’ incentives and abatements will need to be pursued. 

Spotless has not delivered the continuous improvement plans or Service Delivery reviews required by the contract. 

Housing and Community Services and Spotless have established cost and price control arrangements and implemented processes for effectively managing payments to subcontractors. 

Key findings   Paragraph 

Timeliness of repair tasks managed by Spotless has been satisfactory for the more urgent maintenance categories but the target was not achieved for routine (within 20 day)  tasks and consequently Spotless did not  receive an  incentive payment  in relation to this category of maintenance.  

3.11 

Housing and Community Services needs to assess whether Spotless has addressed the problems  in  the reporting of  timeliness  that were  identified by Spotless  in  its 2015 audit. This audit was limited in scope to the examination of a random sample of 111 work orders allocated to a single sub‐contractor over a five month period in 2014, which was around 10 percent of the work orders allocated to this contractor 

3.16 

Page 52: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  3: Time, quality and cost   

Page 46  Maintenance of Public Housing     

over the period. However, in light of the nature of the findings and their impact on the  reliability  of  related  timeliness  data,  it  would  be  prudent  for  Housing  and Community Services to initiate action to assure itself that the problems identified in that  audit  are  not  experienced more  generally,  and  that  Spotless  staff  and  sub‐contractors  are  undertaking  the  correct  processes  for  the  completion  of  work orders and for data entry into relevant systems. 

Current  reporting  does  not  provide  Housing  and  Community  Services  with adequate  visibility  over  Spotless’  Work  Supervisors  inspections  of  works undertaken by Spotless or its sub‐contractors. 

3.24 

Given  the  key  role  of work  order  audits  in  providing  assurance  around  service delivery and  in  contributing  to  incentive payments,  the  significant and persistent gap  between  the  failure  rates  found  by  Housing  and  Community  Services  (for example 19 percent and 57 percent) and the failure rates reported by Spotless (for example 3 percent  and most  recently 0.3 percent)  is  a matter of  concern which Housing and Community Services needs to address. 

3.28 

Housing  and  Community  Services  does  not  have  visibility  over  the work  orders selected by Spotless  for  its audits;  therefore  it does not have any assurance  that the audit results are representative and reliable.  

3.30 

Spotless and Housing and Community Services have instituted a process that allows for  joint audits of work orders.   Over  the period of  the contract, 85 work orders have been subject to a joint work order audit, although the last one was conducted in  January 2015.  Audits  of  work  orders  by  Spotless,  for  which  the  number conducted is a key performance indicator that leads to incentive payments, are not conforming  to  requirements  under  the  contract  and  not  providing  adequate assurance on the quality of work performed by Spotless or its sub‐contractors.  

3.33 

To date, the work done by Spotless’ in‐house maintenance provider, Asset Services, has  been  inspected  by  in‐house  supervisors  but  has  not  been  subject  to independent  quality  assurance.  Independent  quality  assurance  of  the  work undertaken  by  Asset  Services would  provide  assurance  that  this  arrangement  is delivering value for money for the Territory, and would assist in managing any real or  potential  conflicts  of  interest  that  may  arise  from  Spotless  overseeing  the maintenance services provided by Asset Services. 

3.36 

Measurements  of  tenant  satisfaction  with  maintenance  services  managed  by Spotless (used as a basis for incentive payments to Spotless) are based on very low tenant  response  rates.  While  Housing  and  Community  Services  provide  some incentives  for  tenants  to  complete  survey  forms,  response  rates  have  not significantly  improved  and  there  has  been  no  formal  follow‐up  to  address  the 

3.42 

Page 53: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      3: Time, quality and cost 

Maintenance of Public Housing  Page 47   

critical findings of Housing and Community Services’ 2012 audit into the conduct of the maintenance survey. 

The  Total  Facilities  Management  contract  encourages  continuous  improvement initiatives. For example, the contract requires  that Spotless produce a continuous improvement plan and conduct Service Delivery Reviews each six months with the intent of identifying improvements. Neither the improvement plan nor the reviews have  been  delivered  by  Spotless  and  Housing  and  Community  Services  has  not required them to be delivered. 

3.46 

Through the development and maintenance of a comprehensive schedule of rates, and  the  implementation,  in  cooperation  with  Spotless,  of  arrangements  for allocating  and  reviewing  costs  for  individual  tasks,  Housing  and  Community Services  have  established  a  generally  sound  framework  for  the  control  of  costs allocated to individual tasks. 

3.58 

Background 

3.2 As outlined in paragraph 2.34, Housing and Community Services’ management of time and quality  is  achieved  through  establishing  and monitoring  the  performance management system  with  its  accompanying  Key  Performance  Indicators.    The  Key  Performance Indicators encompass  the main  features of  the Total  Facilities Manager  services  from a timeliness and quality perspective. However, they do not directly address cost.  

3.3 Cost is controlled and monitored via a Schedule of Rates that provides a standard costing system  for  maintenance  activities  and  internal  controls  that  cover  the  invoicing  and payment cycles. 

Timeliness 

Performance against standards 

3.4 Housing and Community Services Maintenance policy  sets out  four  levels of priority  for maintenance, namely: 

Urgent 4 (U4) – to be attended to within 4 hours; 

Priority Next Day (PND) – to be completed by 6:00 p.m. the following business day; 

Priority 96 (P96) – to be completed within 96 hours (4 days); and 

Normal 20 (N20) – to be completed within 20 days. 

Page 54: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  3: Time, quality and cost   

Page 48  Maintenance of Public Housing     

3.5 Urgent repairs are defined by the Residential Tenancies Act 1997 and mostly relate to the restoration of essential services such as power, gas or water, re‐establishment of cooking or bathing facilities or repairs to damage that would make a property unsafe or unsecure.  

3.6 Housing  and  Community  Services  has  established  business  rules  to  define  the  types  of maintenance that fall within the other categories as follows: 

Priority Next Day – carried out where there is a maintenance issue causing significant inconvenience or has the potential to develop into a health, safety or security risk; 

Priority – work that is required to fix a problem that is not urgent (or an emergency), but that is causing significant inconvenience and could develop into a health, safety or security risk if not fixed promptly; and 

Normal – works that do not fall into the other categories but still require attention. 

3.7 Key Performance Indicators (KPIs) for timeliness are assessed on a monthly basis. Targets for  performance  against  the  timeliness  standards  are  set  in  Schedule  6  of  the  Total Facilities Management contract, with the following targets: 

KPI 3.2: 96 percent of urgent (within 4 hours) repairs are completed on time; 

KPI 3.3: 96 percent of priority next day repairs are completed on time; 

KPI 3.4: 96 percent of Priority 2 (within 96 hours) repairs are completed on time; and 

KPI 3.5: 96 percent of normal (within 20 calendar days) repairs are completed on time. 

3.8 In 2014‐15, Spotless reported that the: 

urgent maintenance tasks reached the target of 96 percent timeliness in every month; 

priority next day tasks missed the target for one month; 

Priority 2 (within 96 hours) tasks missed the target on two occasions; and 

normal maintenance tasks missed the 96 percent target every month.  

3.9 Housing and Community Services advised that: 

... not achieving the target for routine tasks has been discussed at CMG and JCC with agreement to review and identify possible opportunities for improvement. 

... the TFM has been scored appropriately under the PMS and has not received an incentive payment, averaging a score of 91.5 percent for the last two quarters of 2014/15 falling 4.5 percent short of the target of 96 percent. 

3.10 In addition to the four priority levels defined above, work orders may also be classified as requiring  completion within  12 months.  Timeliness  for work  orders  relating  to  vacant properties  is  allocated  on  a  case‐by‐case  basis.  Overall  performance  against  allocated completion time frames in 2014‐15 is set out in Figure 3‐1.  

Page 55: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      3: Time, quality and cost 

Maintenance of Public Housing  Page 49   

Figure 3‐1  Timeliness of work order completion – 2014‐15 

 Source:  AO analysis of Housing and Community Services data 

3.11 Timeliness of repair tasks managed by Spotless has been satisfactory for the more urgent maintenance categories but the target was not achieved for routine (within 20 day) tasks and  consequently  Spotless  did  not  receive  an  incentive  payment  in  relation  to  this category of maintenance.  

Reliability of reported timeliness 

3.12 When a work order  is generated, and  the priority  level allocated by  the call centre,  the target  completion  time  is  then  set  by  Spotless  (as  opposed  to  being  automatically generated  from  the  urgency  setting).  Spotless  also  enters  the  time  completed  (as sometimes there are multiple trades required before the job can be stated as done).  

3.13 When the work  is completed, the details,  including the completion time, are required to be inserted into its WMS within two days. The achieved duration is simply the difference between these times, and this is then compared to the urgency standard. With sufficient reason,  say  unavailability  of materials  or  the  tenant  not  granting  access,  Spotless  can change the target date based on a sub‐contractor e‐mail without Housing and Community Services  approval,  leading  to  a  risk  of  incorrect  timeliness  reporting.  Such  changes  do generate  an  audit  trail  that  can  later  be  inspected  and  checked,  and  Housing  and Community Services have advised that: 

Changes to due dates can occur in circumstances such as where the contractor advises that the work cannot be done by the due date (e.g. because the tenant has made another appointment for when they will be at home). 

0 5000 10000 15000 20000 25000 30000 35000

vacant properties

up to 12 months

within 20 calendar days

within 96 hours

next day 

within 4 hours

Invoiced work orders

Priority Ca

tegory

On time Not on time

Page 56: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  3: Time, quality and cost   

Page 50  Maintenance of Public Housing     

Any changes made by Spotless to the work order due dates are transparent to HACS in the service portal and on HomeNet and in the overdue work order report. HACS scrutinises and changes to work order identified in the report. 

The overdue work order report is generated by HACS through HomeNet and is tabled by HACS every fortnight at the COG meeting. HACS has access to this report and it is run daily. It is closely monitored by HACS.  

On completion of work the contractor enters the actual completion date and returns a copy of the signed work order to Spotless for payments. This is all visible through the service portal. 

3.14 Notwithstanding current arrangements for oversight by Housing and Community Services, work undertaken by Spotless suggests substantive issues may persist in this area. In 2015, Spotless  conducted  a  targeted  audit  of  reporting  by  one  of  their  sub‐contractors  and found  that  most  (86  percent)  of  the  work  orders  had  defects,  primarily  due  to  the sub‐contractor,  but with  some  the  fault  residing with  Spotless.  These  errors  primarily occurred  because  of  communication  errors,  incorrect  or  no  documentation  and inconsistency of completion dates between a work order and data entered into WMS. All such discrepancies understated the time taken, mostly by one day, but there were several of  3‐5  days,  and  Spotless  highlighted  the  instance  of  one  work  order  where  the discrepancy of several weeks seemed designed to record an elapsed time  just within the target.  

3.15 No other similar audits have been conducted by Spotless or the Housing and Community Services Quality Assurance team. 

3.16 Housing  and  Community  Services  needs  to  assess whether  Spotless  has  addressed  the problems in the reporting of timeliness that were identified by Spotless in its 2015 audit. This audit was limited in scope to the examination of a random sample of 111 work orders allocated to a single sub‐contractor over a five month period  in 2014, which was around 10 percent of  the work orders allocated  to  this contractor over  the period. However,  in light of the nature of the findings and their  impact on the reliability of related timeliness data, it would be prudent for Housing and Community Services to initiate action to assure itself that the problems  identified  in that audit are not experienced more generally, and that  Spotless  staff  and  sub‐contractors  are  undertaking  the  correct  processes  for  the completion of work orders and for data entry into relevant systems. 

RECOMMENDATION 9 TIMELINESS OF MAINTENANCE TASKS 

Housing and Community Services should strengthen assurance  in regard to the reported timeliness of maintenance activities by: 

a) assessing  the  extent  to which  the  issues  indentified  in  the  Spotless  2015  audit  in relation to sub‐contractor practice have been rectified and whether it is satisfied with the reliability of timeless data; and 

b) conducting Quality Assurance audits or joint audits on this matter. 

Page 57: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      3: Time, quality and cost 

Maintenance of Public Housing  Page 51   

Quality 

Background 

3.17 Several actions are needed to establish quality maintenance services. These include: 

assessment of the sub‐contractors before they join the Spotless panel; 

inspection of sub‐contractors’ work by a Spotless Works Supervisor; 

quality assurance by Spotless quality assurance officers of a sample of work;  

review of this quality assurance work by Housing and Community Services Quality Assurance team; 

gathering information from complaints and feedback by tenants; and 

continuous improvement initiatives. 

Selection and retention of sub‐contractors by Spotless 

3.18 Spotless’  Service  Delivery  and Management  Plan,  which  is  part  of  the  Total  Facilities Management  contract,  describes  the  processes  for  selecting  sub‐contractors  as  being based on value for money and in conformance with government procurement guidelines; and  that  there were  ongoing  processes  for managing  the  quality  of  services  provided. Although  there  is  no  provision  in  the  contract  for  testing  adherence  by  Spotless  to  its Service Delivery and Management Plan,  the process as at 2015 was  for  the  Spotless  to conduct tender evaluations and for Housing and Community Services to give approval to the  tender  evaluation  report.  Housing  and  Community  Services  therefore  has  some visibility over this process.  

3.19 Spotless  maintains  a  spreadsheet  of  all  employees  of  sub‐contractors,  together  with details  of  qualifications.    This  is  not  subject  to monitoring  by Housing  and  Community Services. 

Inspection of works by Spotless 

3.20 As mentioned  in paragraph 2.79, the Service Delivery and Management Plan, part of the contract, states that ‘if a claim is submitted, the Works Supervisor will attend the site and confirm  that  the work has been completed to a satisfactory standard’. Spotless’  internal guidance refers only to inspections of work orders over $2000; although this requirement is not mandatory according to the Delivery of Works.   No change had been made to the contract to reflect this position.5 

                                                            5 Spotless has advised that ‘the responsive repair procedure inspection process is not accurately reflected in (Spotless’) Service delivery and management plan. The inspection process for responsive repairs includes a minimum inspection regime of 5% of all work order orders. Spotless will need to amend the service delivery and management plan to accurately reflect the Audit regime. This will align with KPI 4.1.’ 

Page 58: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  3: Time, quality and cost   

Page 52  Maintenance of Public Housing     

3.21 The 2015 Spotless audit  (refer to paragraph 3.14) noted that  for the sample of works  in the audit, there were six work orders over $2 000 where an inspection was required, none of these claim inspections were compliant with procedures. 

3.22 In  its monthly report, Spotless  lists the ‘recalls’:  instances where tenants call again about unsatisfactory work  or  the  appliance  failing  again.  These  instances  are  not  counted  as complaints. A total of 437 recalls were issued for the month of June 2015.  

3.23 Spotless can also  issue  ‘Business  Improvement Forms’, which can  relate  to  timeliness of completion  of  work  orders  or  to  administrative  issues  such  as  failure  to  supply documentation  at  all  or  on  time. However,  there  is  no  record  in  the monthly  reports, inspected during this audit, about the extent or results of  inspections by Spotless’ Works Supervisors. 

3.24 Current  reporting  does  not  provide  Housing  and  Community  Services  with  adequate visibility over Spotless’ Work Supervisors  inspections of works undertaken by Spotless or its sub‐contractors. 

RECOMMENDATION 10 INSPECTION OF WORKS 

Housing and Community Services should  improve quality control of works undertaken by Spotless and sub‐contractors through measures such as targeted audits of Spotless’ Work Supervisor processes for undertaking inspections. 

Audits of work orders by Spotless  

3.25 Many work order audits undertaken by Spotless have relied on telephone calls to tenants rather than physical inspection. Re‐performance of selected work order audits by Quality Assurance has found many more defects than originally reported by Spotless. For example, Spotless’ quarterly report for the year to March 2015 noted a total of 57 ‘fails’ compared to  3320  work  order  audits,  a  failure  rate  of  1.7  percent.    The most  recent  quarterly analysis of Spotless data by Housing and Community Services Quality Assurance, relating to July – September 2015, reports a fail rate of work order audits of 0.3 percent,  leading the Quality Assurance team to conclude that: 

The auditing activity represents little to no discernible benefit to HaCS in terms of contractual requirements to achieve value for money and continuous improvement. 

3.26  By  contrast,  the  targeted  audits  conducted by Housing  and Community  Services  found 19 percent of a sample of 100 work orders for December 2013 to January 2014 had failed (when Spotless reported a fail rate as 3 percent). An earlier audit, of 21 work order audits in November 2013, found an even higher failure rate of 57 percent.  

3.27 As  discussed  earlier  (paragraph  2.50),  the  contract  provides  for  Spotless  to  select  a random  5  percent  from  a  10  percent  sample  of work  orders  provided  by Housing  and Community Services. Two issues arise here. First, there is no assurance that the selection 

Page 59: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      3: Time, quality and cost 

Maintenance of Public Housing  Page 53   

of  cases,  from  the provided  sample,  is  random;  and  given  the  incentive  for performing larger numbers of work order audits, there could be a bias to select simpler cases. Second, in early 2014 Housing and Community Services  increased  the  sample  size  to 15 percent based on reported problems in contacting tenants.  Spotless has described such problems, but in their statistical reports the number of ‘no access’ cases was very small or zero.  

3.28 Given the key role of work order audits in providing assurance around service delivery and in  contributing  to  incentive  payments,  the  significant  and  persistent  gap  between  the failure  rates  found  by  Housing  and  Community  Services  (for  example  19  percent  and 57 percent) and  the  failure  rates  reported by Spotless  (for example 3 percent and most recently 0.3 percent) is a matter of concern which Housing and Community Services needs to address. 

3.29 The Audit Office was advised by a representative of Spotless that  its process was first to split the Housing and Community Services sample into North and South Canberra (for their two Quality  and  Compliance  Auditors),  then  remove  all works  over  $2000,  all  planned works and vacant properties. The  justification  for  these exclusions  is not understood by the Audit Office. For the work for a particular day, an auditor would choose a particular suburb and then take every second work order off the Housing and Community Services list. If they fail to contact the tenant, they move on to the next work order. Housing and Community Services has no visibility over this selection process and it is a significant part of  the method  for work  order  audits.    Spotless  provides  a  statistical  summary  of  the results  of  the  work  order  audits  in  its monthly  report,  but  this  does  not  include  the number of failures detected. 

3.30 Housing and Community Services does not have visibility over the work orders selected by Spotless for its audits; therefore it does not have any assurance that the audit results are representative and reliable.  

3.31 The 2012 contract provided an example of a checklist of a work order audit with 15 items and  this  was  confirmed  when  the  template  was  tabled  at  the  Joint  Consultative Committee.  A revised version with eight items has been introduced, based on discussion at a Quality Assurance Group meeting  in early 2014.   Housing and Community Services have advised that revised arrangements are scheduled to take effect from March 2016. 

3.32 Housing and Community Services are able  to  request  the  results of Spotless work order audits,  but  had  not  done  so  until  they  received  a  request  from  the  Audit  Office  on 17 October 2015 to examine a sample of these work order audits. 

3.33 Spotless and Housing and Community Services have  instituted a process  that allows  for joint audits of work orders.   Over  the period of  the contract, 85 work orders have been subject to a joint work order audit, although the last one was conducted in January 2015. Audits of work orders by Spotless, for which the number conducted is a key performance indicator that leads to incentive payments, are not conforming to requirements under the contract  and  not  providing  adequate  assurance  on  the  quality  of  work  performed  by Spotless or its sub‐contractors.  

Page 60: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  3: Time, quality and cost   

Page 54  Maintenance of Public Housing     

3.34 A  recommendation has been made  in Chapter 2  (Recommendation 3)  to address  these findings. 

Quality of Spotless’ in‐house maintenance provider 

3.35 Spotless  has  its  own  in‐house  maintenance  provider;  Asset  Services.  The  approved program of work to be undertaken by Asset Services is agreed annually between Spotless and  Housing  and  Community  Services,  as  part  of  the  development  of  the  planned maintenance  schedule  for  the  following  year.    Housing  and  Community  Services  have advised that, in 2014‐2015, Asset Services were allocated 1 888 work orders, with a total value of $1 122 460. 

3.36 To date,  the work done by Spotless’  in‐house maintenance provider, Asset Services, has been  inspected by  in‐house supervisors but has not been subject to  independent quality assurance. Independent quality assurance of the work undertaken by Asset Services would provide assurance  that  this arrangement  is delivering value  for money  for  the Territory, and would assist in managing any real or potential conflicts of interest that may arise from Spotless overseeing the maintenance services provided by Asset Services. 

RECOMMENDATION 11 IN‐HOUSE MAINTENANCE PROVISION 

Housing and Community Services should initiate action to provide for independent quality assurance  in  regard  to  the  maintenance  work  undertaken  by  Spotless’  in‐house maintenance provider.  

Satisfaction surveys 

3.37 Tenant  satisfaction with maintenance  performance  is  an  important  indicator  of  overall performance.  Two  Key  Performance  Indicators  (KPIs)  under  the  contract  address satisfaction:  

KPI 2.1: More than 90 percent satisfaction of those tenants surveyed (call centre survey); and 

KPI 2.2: More than 90 percent satisfaction of those tenants surveyed (maintenance survey). 

3.38 While  achievements  against  Key  Performance  Indicator  2.2  have  been  very  high,  for example  around  97  percent  in  January‐March  2015,  the  response  rate  is  very  low  at around 4 percent  in 2015.   Tenants  receiving maintenance  services are  issued a  survey form  at  the  time maintenance  is  completed  and  invited  to  send  it  in  to  Housing  and Community Services. The survey is handed out by the sub‐contractor who undertakes the work and there is no mechanism for ensuring it is actually issued or that it is completed by the tenant.  

Page 61: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      3: Time, quality and cost 

Maintenance of Public Housing  Page 55   

3.39 A targeted audit conducted by Housing and Community Services Quality Assurance team in 2012 identified significant issues in relation to the conduct of the maintenance survey. In  particular,  none  of  the  tenants  contacted  reported  having  responded  to  the  survey (either  by mail  or  on‐line)  and  over  70  percent  of  tenants  said  they  did  not  receive  a survey  form. The audit also noted that a significant number of work orders  (45 percent) did not describe the work that was done, or did not describe it accurately. This creates a risk that the tenant may not have known the exact nature of the work (and therefore the level of performance that could be expected) they were commenting on. 

3.40 Tenant  satisfaction  with  maintenance  measured  through  the  annual  Housing  and Community  Services  survey, while  still  positive,  is  considerably  lower,  around  78%  for 2014‐15. While differences  in methodology and  scope mean  that  this  survey  cannot be readily  compared with  the  survey of  tenant  satisfaction with maintenance  surveys,  the Quality Assurance team observed that ‘differences in results between the two surveys and issues with the method of distribution for the monthly Key Performance Indicator 2 survey with regard to conflict of interest and independence should be the subject of Housing and Community Services internal discussion.’ 

3.41 Housing  and Community  Services  advised  that  it has  taken measures  to  encourage  the completion of  survey  forms, and has  sought variations  to work order  forms  to promote compliance by sub‐contractors with the requirement to provide to the forms to tenants. However, the survey response rate remains low and, while survey responses are reviewed as part of the ongoing management of the Performance Management System, there has been no comparison of response rates with other jurisdictions, nor any formal follow up to the 2012 audit. Housing and Community Services advised  that  ‘(f)urther  targeted audits may be included in future audit programs once finalised.’  

3.42 Measurements  of  tenant  satisfaction  with maintenance  services managed  by  Spotless (used as a basis for incentive payments to Spotless) are based on very low tenant response rates. While  Housing  and  Community  Services  provide  some  incentives  for  tenants  to complete survey forms, response rates have not significantly improved and there has been no  formal  follow‐up  to address  the critical  findings of Housing and Community Services’ 2012 audit into the conduct of the maintenance survey. 

RECOMMENDATION 12 TENANT SATISFACTION SURVEYS 

Housing and Community Services should assess  the appropriateness of using  the  tenant satisfaction surveys as a basis for Spotless incentive payments given the very low response rate. If this survey is considered appropriate, a mechanism should be developed to secure reliable data and a satisfactory response rate (formally addressing the critical findings of Housing and Community Services’ 2012 audit into this issue may assist).   

Page 62: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  3: Time, quality and cost   

Page 56  Maintenance of Public Housing     

Condition of vacant properties 

3.43 Spotless is responsible for performing maintenance on vacated properties to restore them to a standard so that the property is lettable to the next tenant. Housing and Community Services Housing managers have consistently commented that the condition of properties is often not satisfactory, and that additional Quality Assurance would assist.  

Complaints management 

3.44 In 2013‐14, Housing and Community Services reported 860 complaints about maintenance, from over 80 000 works orders.  In 2014‐15, there were 574 complaints from over 81 000 work orders. Most were handled within the time allowed, but a small number (14 over the year)  were  late.  A  Housing  and  Community  Services  Quality  Assurance  review  of  the quality of  the  responses  found  that  they varied  from poor  to excellent, with an overall rating of ‘good’.  

3.45 In contrast, a database of ‘recalls’ – occasions when the maintenance work needed to be re‐done  or  completed  –  recorded  over  500  instances  for  the  month  of  June  2015. Additional assurance of the level of complaints recorded might be provided by this matter being reviewed by the Housing and Community Services Quality Assurance team.  

Continuous improvement 

3.46 The Total Facilities Management contract encourages continuous improvement initiatives. For example, the contract requires that Spotless produce a continuous improvement plan and  conduct  Service  Delivery  Reviews  each  six  months  with  the  intent  of  identifying improvements. Neither  the  improvement  plan  nor  the  reviews  have  been  delivered  by Spotless and Housing and Community Services has not required them to be delivered. 

3.47 Housing  and  Community  Services  have  acknowledged  that  Service  Delivery  Reviews required  by  the  2012  contract  have  not  been  undertaken.  However,  Housing  and Community Services advised that Spotless had been constantly reviewing Service Delivery requirements  (resources, systems, processes etc) and  improvements were then  included in  the  Housing  and  Community  Services  Contract  Improvement  Plan.  Housing  and Community Services have advised  that examples of Spotless’ contribution  to continuous improvement include: 

... the introduction of new services such as the LED lighting initiatives, introduction of an alternate heating product, which provides better efficiency outputs resulting in cost saving for tenants. 

3.48 The Housing and Community Services Contract  Improvement Plan  (which takes the form of a register of issues to be addressed rather than a comprehensive improvement strategy) does  not  identify  either  of  the matters  cited  by  Housing  and  Community  Services  at paragraph 3.47. Furthermore, while each issue  in the plan  is allocated a priority, a target date  and  actioning manager  (with  Spotless  allocated  responsibility  for  pursuing  several 

Page 63: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      3: Time, quality and cost 

Maintenance of Public Housing  Page 57   

issues),  it  is not possible on  the basis of  the plan  to  identify which  improvements have been identified and advanced by Spotless. 

3.49 In addition to the Housing and Community Services Contract Improvement Plan, Spotless maintain  an  innovation  register  which  is  discussed  and  agreed  in  the  Contract Management Group and presented to the Joint Consultative Committee for  information. The register tracks the Spotless‐initiated innovation (such as the LED lighting initiative) and the  person  responsible  and  the  timeframe  for  implementation.  It  also  provides  a framework  for estimating and monitoring savings, although at  the  time  the register was reviewed by the Audit Office, no savings data was included. 

3.50 While noting actions  taken by Housing and Community Services and Spotless,  the Audit Office notes that Housing and Community Services Quality Assurance Unit has  identified concerns with respect to the contribution of Spotless to continuous improvement over the life of  the  contract  (as discussed  at paragraph  2.51).  The  Joint Consultative Committee does consider ‘Innovation’ as a standing topic to facilitate discussion between the parties on  improvements    but  a more  consistent  approach,  including Housing  and  Community Services requiring delivery of Service Delivery Reviews and Continuous Improvement Plans, is needed.  

RECOMMENDATION 13 CONTINUOUS IMPROVEMENT PLAN AND SERVICE DELIVERY REVIEWS 

Housing and Community Services should initiate action so Spotless produces a continuous improvement plan and conducts Service Delivery reviews each six months with the intent of  identifying  improvements,  or  remove  these  requirements  from  the  Total  Facilities Management contract. 

Cost 

3.51 Achieving value  for money under  the Total Facilities Management contract  requires not only that appropriate maintenance services are delivered in a timely manner, but also that there  are  appropriate  arrangements  to  control  the  costs  attributed  to  individual  tasks. Under  the  2012  contract  with  Spotless,  cost  is  controlled  and  monitored  through establishing  a  Schedule  of  Rates  that  provides  a  standard  costing  framework  for maintenance activities, and internal controls that cover the invoicing and payment cycles 

Schedule of Rates 

3.52 The process to achieve economical delivery of maintenance services  is primarily through establishing a comprehensive  list of service codes to describe each maintenance activity, with an associated standard cost. These tasks and costs are described  in the Schedule of Rates, (Volume 2 of the contract). The Schedule of Rates  is negotiated between Spotless and  Housing  and  Community  Services  each  year.  In  2013,  this  was  based  on  pricing 

Page 64: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  3: Time, quality and cost   

Page 58  Maintenance of Public Housing     

information  from  the market  gained with  the  assistance of  a quantity  surveyor,  and  in 2014  it  was  based  on  adjusting  the  Schedule  of  Rates  to  the  average  of  the  rates submitted by sub‐contractors.   

3.53 The  adjusted  Schedule  of  Rates  was  sent  to  potential  sub‐contractors  to  bid  for acceptance on  the panel. Each  sub‐contractor  can bid  for a group of Schedule of Rates codes at a percentage above or below the rates in the Schedule of Rates; they also need to indicate how many work orders they could complete each day. The decision on allocation of each work order to a sub‐contractor is based on availability, the rate offered and their previous history. Spotless have advised  that, as a consequence of  this arrangement,  the average price of the services procured by Spotless is 4 percent lower than the base rates included  in  the  Schedule  of  Rates.  Spotless  have  also  advised  that  increases  in  the consumer  price  index have not  been  passed  through  to  the base  rates  included  in  the Schedule of Rates, providing further improvements in value for money.6   

Internal Controls 

Control of costs of a task 

3.54 When a  tenant calls  the Spotless contact centre with a problem,  the contact centre will attempt  to define  the maintenance  task using  the definitions  in  the  Schedule of Rates. Sometimes  the  task  is  larger  than  the  tenant  described,  but  there  is  also  a  risk  of over‐expenditure through the sub‐contractor claiming for a more expensive task than was actually required or delivered. The control for this is through Spotless checking the invoice received  from  the  sub‐contractor  for  reasonableness.  In addition, works are  sometimes over the set value allowed and there is no approval for this. In these cases, the estimate is reviewed by Spotless and sometimes rejected.  

3.55 Where quotes are over $15 000 (or over $5 000  if the work order  includes  items outside the Schedule of Rates) authorisation is required from Housing and Community Services.   

Invoice checking and payment 

3.56 In addition to the arrangements for site inspection and audit described at paragraphs 2.46 to 2.84 and paragraphs 3.20 to 3.34, all invoices submitted by sub‐contractors are subject to desk‐top audit and a  review  for compliance with business  rules. Spotless has advised that, between July 2015 and March 2016, it rejected 2596 (6.5 percent) of sub‐contractor claims as a result of internal review processes. 

3.57 Invoices  are  then  submitted  by  Spotless  to  Housing  and  Community  Services  for reimbursement  of  the  payments  made  to  sub‐contractors.  Housing  and  Community Services  reviews each  invoice and  raises exceptions, known as  rejected work orders. At the end of each month, Housing and Community Services reviews all work order rejections 

                                                            6 In the course of the audit, the Audit Office did not independently assess the extent of savings that may have arisen from these initiatives. 

Page 65: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      3: Time, quality and cost 

Maintenance of Public Housing  Page 59   

and Spotless responses to see if the rejection should be upheld or dismissed. There can be several iterations of this process.   

3.58 Through  the development and maintenance of a  comprehensive  schedule of  rates, and the  implementation,  in  cooperation  with  Spotless,  of  arrangements  for  allocating  and reviewing costs for  individual tasks, Housing and Community Services have established a generally sound framework for the control of costs allocated to individual tasks. 

Page 66: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes
Page 67: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

   

Maintenance of Public Housing  Page 61   

4 PLANNED MAINTENANCE 

4.1 This  chapter  discusses  planned  maintenance  and  strategic  asset  management.  It  also addresses how priorities for planned maintenance are set each year. 

Summary 

Conclusion 

Housing and Community Services is planning maintenance activities using multiple information system. A long‐term plan to consolidate information to create a centralised comprehensive asset register of ACT housing assets is needed. 

Spotless has made significant progress in increasing the proportion of properties that have had a recent condition assessment audit. Given this it would be timely to assess whether the relevant key performance indicator should be changed to better drive performance by identifying a desired outcome rather the conduct of a specific number of annual audits. Furthermore, condition assessments are an important tool in determining the program of planned maintenance but the priority given to these in influencing the planned maintenance program has declined. This needs to be corrected. 

Some maintenance tasks that are classified as planned maintenance are not. This can lead to an overstatement of the amount spent on planned maintenance. The 70 percent requirement for planned maintenance, in the Total Facilities Management contract, is an important element of the Public Housing Asset Management Strategy and also contributes to Spotless’ incentives or abatements. It is important therefore that the claimed planned maintenance expenditure is accurate. 

Key findings   Paragraph 

The report to the Minister on specified performance  indicators that  is required by the Public Housing Asset Management Strategy 2012‐2017 has not been produced.  

4.8 

Housing  and  Community  Services  lack  a  centralised  asset  register  that  contains comprehensive  information  on  public  housing  properties.  Such  a  register would reduce the risk that scheduled maintenance decisions may be based on incorrect or incomplete information.  

4.11 

Housing and Community Services acknowledge that information on public housing assets  is  not  centralised,  but  have  advised  that  the  core  requirements  of  a comprehensive  asset  register  are met within  its  business  systems. While  this  is 

4.12 

Page 68: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  4: Planned maintenance   

Page 62  Maintenance of Public Housing     

noted,  it  would  be  prudent  to  develop  a  long‐term  plan  for  progressively centralising information on public housing assets as IT systems are upgrade and/or replaced. 

Spotless’ condition assessment audits have not met the target in any quarter from contract  commencement  in 2012  through  to October 2015, and Spotless did not provide  required  Energy  Efficiency  Rating  reports  in  the  first  two  years  of  the current Total Facilities Management contract. 

4.20 

Changes made by Spotless,  in consultation with Housing and Community Services (including outsourcing the conduct of condition assessment audits) have resulted in the  target  being  met  each  month  since  the  revised  arrangements  were implemented in October 2015. Housing and Community Services needs to monitor the revised arrangements to ensure targets continue to be met. 

4.21 

Given  Spotless’  progress  in  completing  condition  assessments  of  properties Housing and Community Services needs to adjust the key performance indicator to reflect progress toward the objective, namely having all properties with a condition assessment no more  than  five years old, rather  than maintaining  its  focus on  the number of assessments conducted. 

4.24 

Current business rules governing the classification of maintenance expenditure as either planned or responsive need to be  improved so that the ratio of planned to responsive maintenance  is correctly  reported. Accurate  reporting of  this  figure  is important because  it  informs Housing and Community Services  strategic decision making,  and  is  linked  to  incentives  and  abatements  under  the  Total  Facilities Management contract.  

4.30 

Condition  assessment  audits  are  an  important  source  of  information  to  drive strategic decisions about  the maintenance of  the Territory’s public housing asset. While condition assessment audits have been an important driver of new planned maintenance  work  over  the  last  three  years,  the  priority  attached  to  work identified through the condition assessment audit process has been declining. The condition assessment audit drove  less  than 25 percent of new work planned  for 2015‐16, a  substantial  reduction  from 68 percent  in 2014‐15 and well below  the three year average of 40 percent. Given the extent of works carried over, the  low priority  accorded  to  works  identified  through  condition  assessment  audits increases the risk that they will not be completed in the year initially planned. 

4.35 

Page 69: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      4: Planned maintenance 

Maintenance of Public Housing  Page 63   

Strategic asset management 

4.2 The  Australian  Housing  and  Urban  Research  Institute  considers  that  strategic  asset management  denotes  a  higher  level  of  management:  linking  asset  management  with organisational need and connecting asset purposes with broader organisational objectives, rather  than  just  ensuring  integrity  though  maintenance.  According  to  the  Australian National  Audit  Office,  an  asset  management  strategy  is  a  key  element  of  corporate planning, and should consider the whole asset life cycle. 

4.3 The Victorian Auditor‐General’s Office  stated  that  a  comprehensive  asset management strategy should:  

• follow an integrated approach—align asset management requirements and service outcomes to overarching plans and objectives; 

• focus on service delivery—all planning, decisions and reporting should focus on the type and quality of services the community needs; and 

• make evidence‐based asset decisions—by relying on rigorous information about the costs, benefits and risks of alternatives across the asset life cycle. 

A comprehensive asset management strategy is then supported by: 

• an acquisition plan that defines the type and timing of asset requirements and provisioning options, including financing and cash flows, and considers property cycles and market fluctuations; 

• a maintenance plan that details expected life cycle costs and requirements, regardless of whether they will be met, to enable a better understanding of accrued maintenance liability; 

• an operations plan that sets out operating policies and the resources required to manage the asset, including a breakdown of administrative costs by business unit;  

• a vacancy management plan that outlines a strategy to measure and minimise property vacancies; and 

• a disposal and risk management plan. 

A comprehensive asset management strategy puts these principles into practice by directing activity and resources in a coherent and justifiable way. 

4.4 The  key  document  for  strategic  planning  of  the  housing maintenance  stock  is  the ACT Public Housing Asset Management Strategy 2012‐2017. Principle 4 of the strategy states the following intentions:  

the portfolio will be maintained to established condition standards to ensure appropriate amenity and safety for tenants and to preserve the value of the assets; 

well directed maintenance expenditure will help to deliver the overall housing strategy, as well as protection of the asset and community safety; 

stock condition audits will continue to be used to make decisions on maintenance requirements and capital refurbishment.  These audits will help to determine the 

Page 70: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  4: Planned maintenance   

Page 64  Maintenance of Public Housing     

holding strategy for properties (i.e. retain, upgrade and retain, maintain short to medium term, redevelop, or dispose); and 

a planned maintenance program will be prepared annually using the stock condition information to prioritise expenditure.  The maintenance program focuses on improving the physical amenity and safety of public housing stock. 

4.5 The  ACT  Standing  Committee  on  Health,  Community  and  Social  Services  report  on Provision of  Social Housing  in  the ACT, August 2012 expressed  concerns with  the asset management  strategy  for  public  housing.  The  Committee  noted  that  the  ACT  Asset Management Strategy did not:  

include a comprehensive analysis of which stock cannot be sold or redeveloped due to heritage legislation;  

detail what would happen to current tenants during any redevelopment period;  

address what would happen if the land presented for sale did not sell at the expected price point, or if a sale failed to go ahead; or  

plan for future maintenance needs of stock that had been recently completed, or was currently being built.  

4.6 The  Committee  recommended  that  the  current  strategy  be  considered  interim  and updated. The Government response of February 2013 disagreed, stating that the strategy had been endorsed by the Government and established a sound decision‐making process that integrated maintenance and management.  

4.7 The  current  strategy  calls  for  an  annual  report  to  the Minister  which  is  to  include  a specified  set  of  performance  indicators  addressing  the  topics  of  rejuvenation  of  stock, building sustainable communities, flexibility of stock to meet needs, targeted maintenance and value for money.  

4.8 The  report  to  the Minister  on  specified  performance  indicators  that  is  required  by  the Public Housing Asset Management Strategy 2012‐2017 has not been produced.  

RECOMMENDATION 14 PERFORMANCE AGAINST THE PUBLIC HOUSING ASSET MANAGEMENT STRATEGY 

Housing  and  Community  Services  should  report  annually  to  the  Minister  on  its performance against the Public Housing Asset Management Strategy 2012‐2017 using the indicators  specified  in  that Strategy or  seek  the  support of  the Minister  to  remove  this requirement. 

   

Page 71: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      4: Planned maintenance 

Maintenance of Public Housing  Page 65   

Asset register 

4.9 The asset  register  is a  cornerstone of  an asset management  strategy.  It  should provide accurate  and  comprehensive  data  on  key  characteristics  of  assets,  including  location, value  and  condition,  to  sufficient  detail  to  assist  decision‐making  on  the maintenance, upgrade or disposal of the assets. However, a single comprehensive register of ACT public housing assets and matters associated with them does not exist. The Audit Office  found key strategic information is held in several places: HomeNet (basic property information), SPM  (condition of asset), WMS  (warranty details, but not all, missing  is warranty expiry date or period for parts and labour) and Community Services Directorate Oracle database for  financial  information  such  as  property  values  and  depreciation.  There  is  a monthly reconciliation between Oracle and HomeNet to confirm that the register of properties  is updated  to  cover  sales, disposals and purchases, and HomeNet updates WMS with  this data three times a week.  

4.10 HomeNet currently holds  information relating to all property holdings, past and present. There  is some property element  information attached to this, such as market rent value, number of bedrooms, block size and dwelling size. This is initially entered into HomeNet at the  time  the  property  is  bought  or  constructed.  There  is  no  regular  updating  of most property elements, and  these have been entered using different units of measurement. Also, there  is no current process to reconcile the  information  in SPM (the database used by Spotless to manage condition assessments) with Housing and Community Services data bases such as HomeNet or Oracle.  

4.11 Housing  and  Community  Services  lack  a  centralised  asset  register  that  contains comprehensive  information on public housing properties.  Such  a  register would  reduce the risk that scheduled maintenance decisions may be based on  incorrect or  incomplete information.  

4.12 Housing and Community Services acknowledge that  information on public housing assets is not centralised, but have advised that the core requirements of a comprehensive asset register are met within  its business systems. While this  is noted,  it would be prudent  to develop  a  long‐term  plan  for  progressively  centralising  information  on  public  housing assets as IT systems are upgrade and/or replaced. 

RECOMMENDATION 15 ASSET REGISTER 

Housing  and  Community  Services  should  develop  and  progressively  implement  a long‐term  plan  for  consolidating  existing  data  sources  to  create  a  centralised comprehensive asset register of ACT public housing assets. 

Page 72: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  4: Planned maintenance   

Page 66  Maintenance of Public Housing     

Condition assessment 

4.13 Better practice is to carry out condition assessments as a means of informing maintenance planning as expressed, for example, in the Australian National Audit Office Better Practice Guide on  the Strategic and Operational Management of Assets by Public Sector Entities, September  2010  and  Australian  Housing  and  Urban  Research  Institute  Towards  best practice for public housing asset management, May 2009. 

Assessing condition  

4.14 Key Performance  Indicator 3.1  in  the Total Facilities Management contract requires  that Spotless  implement  a  condition  assessment  audit  program  that  provides  strategic planning  information.  In addition,  the  contract expresses  the aim of all dwellings being assessed at least once in a five year period.  

4.15 Spotless  is  tasked  with  carrying  out  condition  assessment  audits  in  order  to  update information on the housing stock and facilitate the strategic decisions on its management. Under  the Key Performance  Indicator 3.1, a  target  is set of 280 each month, or 3 360 a year. With a housing stock of 11 600, this is more than enough to provide for the aim of all housing  stock  having  a  condition  assessment  in  the  last  five  years.  Housing  and Community Services has advised that it is able to produce a variety of reports from its SPM tool which detail the condition assessment status of properties and which can be used to inform maintenance planning. 

4.16 The  current  assessment  processes  requires  an  assessment  of  the  conditions  of  each specified component of a house (e.g. external walls, carpet) on a scale from C1 (best) to C5.  The  condition  grading  is  based  on  the  estimated  remaining  useful  life  of  the component,  for  example  C4 means  11  percent  ‐  25  percent  remaining  useful  life.  This information  is  to  be  transferred  by  Spotless  to  the  Housing  and  Community  Services system, HomeNet. However, there are problems  in transferring this data, as discussed  in paragraph 4.10, and inconsistencies in key data occur such as the number of properties. 

4.17 The 2012 Total Facilities Management contract provides  that,  if a  tenant has broken an appointment  for  a  condition  assessment  audit,  the  site  visit  may  be  counted  as  a completed  condition assessment audit.   Up  to September 2015, notes entered  into  the HomeNet  system  by  Spotless  were  assessed  by  the  Quality  Assurance  Unit  as  not providing  sufficient  justification  for  claiming  a  broken  appointment  tenant  booking process,  and  in  July  and August 2015,  the Quality Assurance Unit  invalidated  all of  the claims for broken appointments on grounds of insufficient evidence.  

4.18 Housing  and  Community  Services  has  advised  that  this  outcome  is  an  example  of  the Quality Assurance process working as  intended and  the outcome has been accepted by Spotless.  The invalidated claims were reflected as abatements in the scoring of KPI 3.1 for July/August  2015.  A  revised  process  for  managing  broken  appointments  was  agreed 

Page 73: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      4: Planned maintenance 

Maintenance of Public Housing  Page 67   

between Housing and Community Services and the Spotless  in May 2015 and  is required to be in place from September 2015 onwards. 

4.19 Under  the  Total  Facilities  Management  contract,  condition  assessment  audits  were required  to  contain  an  Energy  Efficiency  Rating  (EER)  report.  From  contract commencement  to  July  2014,  this  requirement  was  not  met,  despite  this  being  a contractual  requirement  that attracts  incentive payments. This  led  to Spotless  incurring abatements  (although Housing and Community Services offered Spotless a refund of the abatements  if  they  caught  up with  outstanding  EERs).7   A  new  standard  for  EERs was accepted  by  Housing  and  Community  Services,  but  the  Quality  Assurance  unit  has expressed some concern that the new arrangements may provide less useful information than the standard set in the contract.  

4.20 Spotless’  condition  assessment  audits  have  not  met  the  target  in  any  quarter  from contract commencement  in 2012 through to October 2015, and Spotless did not provide required  Energy  Efficiency  Rating  reports  in  the  first  two  years  of  the  current  Total Facilities Management contract. 

4.21 Changes  made  by  Spotless,  in  consultation  with  Housing  and  Community  Services (including outsourcing  the conduct of condition assessment audits) have  resulted  in  the target  being  met  each  month  since  the  revised  arrangements  were  implemented  in October  2015.  Housing  and  Community  Services  needs  to  monitor  the  revised arrangements to ensure targets continue to be met. 

Status of assessments 

4.22 Notwithstanding difficulties  in achieving desired rates for condition assessments, reports provided by Housing and Community Services indicate that, as of late February 2016, over 80 percent of properties had had a condition assessment audit completed in the last five years. 

4.23 This  compares  favourably with  the  situation at  the outset of  the  current Total Facilities Management contract, with Housing and Community Services reports suggesting that, on 1 July 2012, 45 percent of properties had no record of a condition assessment.  

4.24 Given Spotless’ progress  in completing condition assessments of properties Housing and Community  Services  needs  to  adjust  the  key  performance  indicator  to  reflect  progress toward the objective, namely having all properties with a condition assessment no more than  five  years  old,  rather  than maintaining  its  focus  on  the  number  of  assessments conducted. 

                                                            7 Spotless has confirmed that, although the process was not well defined at the beginning of the contract in 2012, the conduct of condition audits was subject to discussion through the Contract Management Group and arrangements for the completion of audits agreed between Housing and Community Services and Spotless.  

Page 74: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  4: Planned maintenance   

Page 68  Maintenance of Public Housing     

RECOMMENDATION 16 CONDITION ASSESSMENTS 

Housing and Community Services should initiate action to improve condition assessments by: 

a) continuing  to monitor the revised condition assessment arrangements  implemented by Spotless to ensure the targets for condition assessments are consistently met and that  Energy  Efficiency Reports provide  adequate  support  to maintenance planning; and 

b) assessing whether Key Performance  Indicator 3.1  should be  changed  to  reflect  the objective of  ‘all properties having  a  condition  assessment no more  than  five  years old’. 

Conduct of planned maintenance 

4.25 The  Total  Facilities  Management  contract  aims  for  a  ratio  of  70  percent  planned maintenance  by  value,  30  percent  for  responsive,  with  abatements  and  incentives depending on the result. The 70 percent planned has been accepted as a benchmark by other government bodies to plan maintenance. 

4.26 Performance against the target is shown in Table 4‐1. 

Table 4‐1  Expenditure on planned maintenance as a proportion of total maintenance expenditure – 2012‐13 to 2014‐15 

Year  Planned Maintenance Expenditure %  Impact on Spotless Management Fee 

2012‐13  68.30 Abatement applied 

2013‐14  71.18 Incentive paid 

2014‐15  72.73 Incentive paid 

Source:  Housing and Community Services Quality Assurance Quarterly Performance Report, April‐June 2015 

4.27 The  robustness of  the  reported  figure  is dependent on  the application, by Housing and Community Services and  Spotless, of appropriate business  rules  for  the  classification of individual work items. The practice of inappropriately classifying works as planned rather than  responsive  has  been  raised  by  Housing  and  Community  Services  at  the  Joint Consultative Committee (August 2014): 

A lot of works that [Housing and Community Services] allows Spotless to claim under Planned is fixed on failed; it is not really a planned work... 

4.28 ‘Fixed on fail’ describes a policy whereby particular assets (such as hot water systems and stoves)  are  only  replaced  when  they  fail  (rather  than  in  accordance  with  a  planned schedule).  A  proportion  of  the  replacements  are  related  to  assets  which  fail  early  or unexpectedly and which should be properly counted as responsive maintenance.  

Page 75: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      4: Planned maintenance 

Maintenance of Public Housing  Page 69   

4.29 Counting  all  ‘fixed  on  fail’  as  planned maintenance  inflates  the  planned maintenance figure. As the ratio of planned to responsive maintenance is a Key Performance Indicator (3.6)  under  the  contract  and  linked  to  incentive  payments,  this  presents  a  risk  that Spotless is receiving unwarranted incentives payments. 

4.30 Current business rules governing  the classification of maintenance expenditure as either planned or  responsive need  to be  improved  so  that  the  ratio of planned  to  responsive maintenance is correctly reported. Accurate reporting of this figure is important because it informs  Housing  and  Community  Services  strategic  decision  making,  and  is  linked  to incentives and abatements under the Total Facilities Management contract.  

RECOMMENDATION 17 DEFINITION OF PLANNED MAINTENANCE 

Housing and Community Services should initiate action to improve current business rules governing the classification of maintenance expenditure as either planned or responsive, so that the ratio of planned to responsive maintenance is correctly reported. 

4.31 Annual planned maintenance  is documented  in a  ‘Delivery of Works’ document for each financial  year.  Spotless drafts  this document,  and  through discussion with Housing  and Community Services a  final version  is agreed. The Delivery of Works document  includes estimates of  costs  and  priorities  and outlines  a procurement process  that  is  consistent with ACT procurement principles, although  it does not  specifically  include milestones  in the sense of allocation of tasks over the year.  

4.32 Priorities for planned maintenance have varied over the years of the contract as outlined in Table 4‐2. SPM, a computerised database, is used by Spotless to help manage property condition  assessment  audits  (as  described  at  paragraphs  4.15  and  4.16  above). Works which  are prioritised  in  response  to  the  condition  assessment  audits  are designated  as ‘SPM identified’.  

Page 76: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

  4: Planned maintenance   

Page 70  Maintenance of Public Housing     

Table 4‐2  Priorities for planned maintenance 

Priority Key 

Priority reasons 2013‐14 

Number (%) 

Priority reasons 2014‐15 

Number (%) 

Priority reasons 2015‐16 

Number (%) 

1  Housing and Community 

Services/Spotless Commitment/ Complaint 

53 (6%) 

Housing and Community Services 

Commitment 

53 (8%) 

Housing and Community Services 

Commitment 

41 (7%) 

2  Recommended for 12/13 but not 

included,  Carry over from 12/13 Delivery of Works Reserve 

428 (46%) 

Carry over from 13/14 Delivery 

of Works Reserve 

282 (44%) 

Spotless priority  119 (20%) 

3  SPM identified 169 (18%) 

Spotless identified

62(10%)

Carry over from 14/15 Delivery of 

Works 

168 (28%) 

4  Identified by Spotless 

285 (30%) 

SPM identified  246 (38%)

Spotless identified  157(27%)

5          SPM Identified  105 (18%) 

Source:  Audit Office analysis of documents provided by Housing and Community Services 

4.33 Over the three years examined, the most significant category was planned work identified as a priority but not completed in the previous year (40 percent of all work). This includes priority works  unable  to  be  included  in  the  agreed Delivery  of Works  schedule  due  to funding limitations, as well as planned works included in the schedule but deferred due to other  emerging  priorities  or  factors  outside  of  the  control  of Housing  and  Community Services  or  Spotless.  The  backlog  of maintenance  is  a  common  issue  across  Australian social  housing  providers  and,  in  September  2015,  Housing  and  Community  Services estimated the total value of backlog of works as approximately $161m.  

4.34 For new work, the most significant priority category over the period examined (2012‐13 to 2014‐15) was work  identified by Spotless (48 percent of new work), followed by planned maintenance identified through condition assessment audits (SPM identified) (40 percent of new work) and work in response to a specific commitment by Housing and Community Services or Spotless (11 percent of new work).  

   

Page 77: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

      4: Planned maintenance 

Maintenance of Public Housing  Page 71   

4.35 Condition  assessment  audits  are  an  important  source  of  information  to  drive  strategic decisions about the maintenance of the Territory’s public housing asset. While condition assessment audits have been an important driver of new planned maintenance work over the  last  three  years,  the  priority  attached  to  work  identified  through  the  condition assessment audit process has been declining. The condition assessment audit drove  less than  25  percent  of  new  work  planned  for  2015‐16,  a  substantial  reduction  from 68 percent  in 2014‐15 and well below  the  three  year average of 40 percent. Given  the extent  of  works  carried  over,  the  low  priority  accorded  to  works  identified  through condition assessment audits increases the risk that they will not be completed in the year initially planned. 

RECOMMENDATION 18 CONDITION ASSESSMENTS IN PLANNED MAINTENANCE 

Housing and Community Services should  review how  it develops  the annual program of planned maintenance  to  ensure  that  condition  assessment  audits  remain  an  important priority for identifying planned maintenance work. 

Page 78: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes
Page 79: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes

   

Maintenance of Public Housing  Page 73   

Audit reports 

These and earlier reports can be obtained from the ACT Audit Office’s website at http://www.audit.act.gov.au. 

Reports Published in 2015‐16 

Report No. 01 – 2016  Calvary Public Hospital Financial and Performance Reporting and Management 

Report No. 10 – 2015  2014‐15 Financial Audits 

Report No. 09 – 2015  Public Transport: The Frequent Network 

Report No. 08 – 2015  Annual Report 2014‐15 

Reports Published in 2014‐15 

Report No. 07 – 2015  Sale of ACTTAB 

Report No. 06 – 2015  Bulk Water Alliance 

Report No. 05 – 2015  Integrity of Data in the Health Directorate 

Report No. 04 – 2015  ACT Government support to the University of Canberra for affordable student accommodation 

Report No. 03 – 2015  Restoration of the Lower Cotter Catchment 

Report No. 02 – 2015  The Rehabilitation of Male Detainees at the Alexander Maconochie Centre 

Report No. 01 – 2015  Debt Management 

Report No. 07 – 2014  2013‐14 Financial Audits 

Report No. 06 – 2014  Annual Report 2013‐14 

Reports Published in 2013‐14 

Report No. 05 – 2014  Capital Works Reporting 

Report No. 04 – 2014  Gastroenterology & Hepatology Unit, Canberra Hospital 

Report No. 03 – 2014  Single Dwelling Development Assessments 

Report No. 02 – 2014  The Water and Sewerage Pricing Process 

Report No. 01 – 2014  Speed Cameras in the ACT 

Report No. 08 – 2013  Management of Funding for Community Services 

Report No. 07 – 2013  2012‐13 Financial Audits 

Report No. 06 – 2013  ACT Auditor‐General’s Office Annual Report 2012‐13 

Report No. 05 – 2013  Bushfire Preparedness 

Reports Published in 2012‐13 

Report No. 04 – 2013  National Partnership Agreement on Homelessness 

Report No. 03 – 2013  ACT Government Parking Operations 

Report No. 02 – 2013  Executive Remuneration Disclosed in ACTEW Corporation Limited’s (ACTEW) 2010‐11 Financial Statements and Annual Report 2011 

Report No. 01 – 2013  Care and Protection System 

Report No. 10 – 2012  2011‐12 Financial Audits 

Report No. 09 – 2012  Grants of Legal Assistance 

Report No. 08 – 2012  Australian Capital Territory Public Service Recruitment Practices 

Report No. 07 – 2012  Annual Report 2011‐12 

Report No. 06 – 2012  Emergency Department Performance Information 

Page 80: ACT AUDITOR–GENERAL’S REPORT · audit of Spotless’ conduct of work order audits and the effectiveness of related controls. 2.61 A review of Joint Consultative Committee minutes