keynote banking's best websites

Banking's Best Websites: Who is Leading the Way and Why

An InformationWeek Financial Services Webcast Sponsored by

Webcast Logistics

Today’s Presenters

Chris Musto, GM, Keynote Competitive

Research and Financial Services Keynote Systems

Ken HarkerSenior ConsultantKeynote Systems

Banking's Best Websites

Who is Leading the Way and Why

Chris Musto 

GM, Keynote Competitive Research & Financial Services

Ken Harker 

Sr. Consultant, Keynote Systems

SITES EVALUATED: SAMPLE:

TIMING:

7 evaluations; 1519 panelists total ~200 per site; US online adults 18+ Current online banking customer of site being evaluated

All panelists successfully logged in to account

Bank of America Chase Citibank SunTrust U.S. Bank Wachovia Wells Fargo

To learn what works in online banking, Keynote asked online bankers as they used online banking

Wave 7 evaluation period: May 2010 Previous evaluation period: May 2009 Next evaluation: May 2011

..using our browser companion that captures events 

…to evaluate their bank’s online banking

…providing clickstreams, comments and  feedback

…which  we analyze quantitatively and qualitatively

…performing tasks & answering questions

“Find information that meets your needs.”

“How satisfied are you with this site?”

We invited online bankers…

As they took the study, we saw how they used the offering, asked what they thought of it, and analyzed the results

The user’s view Keynote asks user 

to perform a task Keynote asks 

questions about the user’s experience performing that task

Keynote asks the user’s impressions of the bank

To the user, the evaluation was a natural experience

To us, it was an opportunity to find out how some banks get better business outcomes from online banking

We asked users to perform six tasks

1. Log In

2. Check Balances and Transactions

3. Update Personal Information

4. Schedule Payment or Explore Online Bill Payment

5. Use Customer Support

6. Explore the bank’s other products

= The highest partial correlation of driver to index

As users conducted the six tasks, we found the experiences that predicted Brand and Loyalty

Correlation to Brand Impact

Correlation to Loyalty Impact

BUSINESS SUCCESS DRIVERS BRAND IMPACT LOYALTY IMPACT

1. Customer Support

3. Bill Pay Satisfaction

Who excelled at these business‐driving site experiences?

RANK Customer Support Bill Pay Satisfaction

1 SunTrust Bank of America

2

3 Bank of America SunTrust

4 U.S. Bank

5

6

7

Customer Support

Who is Leading the Way and Why

Customer Support RankingsSunTrust and Bank of America among top sites Top metrics in this driver

• Options to resolve satisfaction• Agree in‐context help provided• Agree site cares• Online help not well organized• Difficult to locate FAQs and other online help• Difficult to search online help• Site doesn't provide specific tips/ instructions as I complete different tasks

SunTrust Leads: Agree In‐Context Help ProvidedRate of “top‐two box” agreement with statement

How strongly do you disagree or agree with the following statement?

"This site provides me with help, tips, and guidance specific to the task I am trying to complete (i.e., without having to leave the page I am on)." 

1 = Strongly disagree7 = Strongly agree

Rate of online banking users frustrated by lack of live chat in online bankingBank of America is meeting an expectation

Which of the following problems or frustrations, if any, have you encountered when contacting customer service at COMPANY in the past (via e‐mail, phone, etc.)? [Check all that apply]

Online chat not available

Multiple contact/ help options• “There are different options to get customer 

service such as telephone, email or chat.”• “…seem to be there for you 24/7. If you need 

to talk to someone, you can chat, e‐mail, or call the 1800 number.”

• “I like the fact that there are different channels of support whether it is live or web/phone. I do like having immediate support.”

• “I like that when I click help it pops up help for the section of the site I am on, ex if I am in bill pay I am given help for bill pay.”

Live chat helpful for immediate help• “Like very much online live chat. Very very 

helpful.”• “I used the live chat for a problem and it was 

resolved right away.”• “…I also really like that there is an online chat. 

That makes it really easy when I am already on the computer and I need help solving an issue.”

Live Chat gets noticed: Bank of America

Bill Pay Satisfaction

Who is Leading the Way and Why

Bill Pay Satisfaction Rankings

All metrics• Schedule payment satisfaction (Q58)• Schedule payment difficulty (Q56) • Inadequate online banking feature: Pay bills online (Q117)• Reason to Stop Online Bill Pay: Difficult to use (Q61)• Reason to Stop Online Bill Pay: Not enough bill pay features/options (Q61)• Inadequate online banking feature: Receive bills online (i.e., e‐bills) (Q117)• Reason to Stop Online Bill Pay: Fees are too high (Q61)

SunTrust and U.S. Bank: Schedule Payment Satisfaction (Q58)

How satisfied are you with the online bill payment service at this site? 

1 = Not at all satisfied7 = Extremely satisfied

Quick and easy to use• “Quick, clear, easy.”• “It's very easy to use, the process is fast.”• “It's convenient and very easy to use.”• “I like the simplicity of it. Very clean.”Ease of looking up/ adding a new bill• “It can pay a person by looking up his phone 

number.”• “Setting up new payee started with asking for 

phone number, to simplify process.”• “It's so easy to look up a person if you are 

paying them a bill. finds all of their information for you.”

• “Easy to figure out how to add bills, and lots of good instructions.”

Helpful ‘Payment Assistant’ window• “When you click on a bill to pay, a box comes 

up with information on the last 3 payments that were made to the account.”

Bill Pay Satisfaction Best Practices: U.S. Bank

Quick and easy to make payments, service is free

• “It's easy to use, & fast.”• “The ease of use and it's free!”• “The online bill pay procedure is very straight 

forward and simple. And it is free.”• “It is fast and easy to arrange the payment 

online and hassle‐free.”• “The service is very easy to use and 

convenient.”Helpful ‘Payment Assistant’ window• “My payment history is right there so that I 

can review previous payments and time when they were made.”

• “I like being able to see what my payment history to each biller is…”

Ease of adding new payee• “I like how easy it is to add a bill and to make 

a payment.”• “It is easy to use and I can pay any bill or 

anyone.”

Bill Pay Satisfaction Best Practices: SunTrust

How banks are learning from the best of the Web

Who is Leading the Way and Why

BB&T: Landing page as hubTell the customer what they need to know, even if they didn’t realize they needed to know

Display upcoming transactions Show alert topics Highlight “new” information

PNC: Leading the movement from statement to hub

On page tools to sort or filter transactions Aggregate of pending 

withdrawals and deposits

Tell the customer what they need to know, even if they didn’t realize they needed to know Available balance is the one dimensional metric that matters most in a checking account But what has posted and what will post are critical to understanding that metric and answer most questions

Webster: The little bank whose customers could… do it more easliy

What do I need to know and what can I do?

Unlike customers at most large banks, Webster customers don’t have to click past the secure site landing page to see if a recent transaction has been processed.

The site also provides an on‐page transfer interface.

The link directly to the current statement is an easily ignored but important feature, with most banks requiring a one click to pick an account and a second click to view its statements.

Lowing the barrier to feedback

Who is Leading the Way and Why

Bank of America: Transaction history enables on‐page editing

A streamlined path to edit transaction records directly from the table without clicking through hierarchical pages makes for a more intuitive and faster user experience

Bank of America: Low barrier to feedback on transaction tagging

“Tax deductible”

“reimbursable”

Not just beautiful words to your accountant

Lower barriers to positive returns on consumer effort still pay off for both bank and customer

Keynote Competitive Research

Banking Prospects Study

Banking Prospects

How do banking sites compare in technical quality?

Site performance and site availability are a good startKeynote uses a more holistic approach to assessing site quality

Consider a common path (transaction) through the site

In this case, start at a bank home page, step through the process of finding information on checking accounts, and begin the application process 

Knowing how your site ranks in a competitive study is important, but knowing why you rank where you do is more important

Typical Study Measurement Locations

Atlanta Verizon

Boston Verizon

Chicago Verizon

Dallas Verizon

Detroit Level3

Houston Verizon

Los Angeles Qwest

Miami Verizon

New York AT&T

Philadelphia Level3

San Francisco Sprint

Washington D.C. Qwest

Transaction Compared

Prospective Customer

Home Page List/Details Apply

High Speed Response 

Dial‐Up  Response

Response Time Consistency

Geographic Uniformity 

Load Handling 

Availability 

Outage Hours

7 Key Factors

Responsiveness Index

ReliabilityIndex

For one‐time studies, Keynote uses at least three weeks of data

• Important to measure weekdays and weekends • Multiple weeks reduce the impact of any holidays or unusual news events• For banking studies, Keynote does not consider weekends to be “peak 

period”, but as more and more customers interact with financial institutions online, this might need to change

• Long‐term continuous measurement is the best way to manage site performance

Study Period 

All pages are very slow to a small percentage of site visitors

• 5% of visitors see page load times of slower than 23 seconds• Keynote recommends all page loads average 2 seconds or faster

An Example of an Action Area – Average Time and Variability

High 95thpercentile 

times indicate small number of site visitors see much 

slower times than the 

average site visitor

Action Areas – Profiling Page Performance by Element

Many things can impact site performance, including issues with application calls, CDNs, and third‐party elements

You cannot rely upon implementing  best practices to solve all problems, you need to measure

The application call that generates the base page content occasionally takes 5 to 8 seconds to load

End users see no changes to the new page until this call is completeThe delay is very damaging to end user perception of the site

Action Areas – Application Calls and Variability

Action Areas – Client‐Side Processing

Although banking sites are not pushing the AJAX, Javascript, and Flash model as much as other industries, we are seeing it more and more

You need to understand the impact of client‐side processing time

This page has two periods of client‐side processing, early in the page download, that impact the end user perception of the page

200 ms of client‐side processing 

delay

150 ms of client‐side processing delay

Action Areas – Third‐Party Elements

sales.liveperson.net  call takes an 

extraordinarily long time

Critical page content from the banking site 

is blocked from loading

Managing the performance and reliability of third‐party calls (ad tags, analytics tags, marketing tags, etc.) is a challenge

Delays from third‐party elements can block critical page content from loadingThe delay is very damaging to end user perception of the site

Site visitors in San Francisco, Miami, and Los Angeles have slower page download times than the other markets

Is this normal?  Can something be done?Would a CDN help?  Are third‐party elements partly to blame?What else can I do to make sure all of my customers are getting the same level of service?

Action Areas – Geographic Uniformity

Mobile Banking

Keynote Competitive Research 

Common Challenges to Overcome

1. Increasing demand for your services on mobile

2. Need for consistent QoS across devices and networks

3. Dependency on 3rd Parties to deliver mobile services

4. Lack of ability enforce SLA due to insufficient “evidence”

5. Service downtime and poor performance can affect revenue and brand reputation

6. Quick release cycles impacting QoS

7. Need for performance trend analysis 

Different Options to Deliver Content

Web Applications SMS Applications Native Applications

Web Application Monitoring

Typical Online Banking Customer Activity: Send Payment1. Start browser on mobile device

2. Open site URL

3. Login with account credentials

4. Complete payment transaction

5. Take timings of page load response

6. Validate correct content appears

7. Save result to reporting server

Web Application Monitoring : Send Payment2 3

4

1

“We are unable tocomplete your payment...” March 10, 201145

©2009 Keynote Systems, Inc. - All rights reserved

100%

80%

Mobile Web Applications Issues

Expected  Actually ReceivedImage timed‐out

Native Smartphone Application Monitoring

Download from mobile app store1. Start App

2. Login

3. Access main account balance screen

4. Take timings based on UI actions

5. Validate correct result appears on the UI

6. Save timings to reporting server

#1 StartApplication

Native Application Monitoring

#2 Login #3 RetrieveAccount Info

#4 DisplayAccount Balance

March 10, 201149

©

Login function is broken for several 

hours

Login function is broken for several 

hours

Login function is broken for several 

hours

Account summary screen takes over 60 seconds to load

Loading…

MyKeynote can track problems with applications running on real iPhones and other popular mobile handsets

Login function is broken for several 

hours

©2007 Keynote Systems, Inc.  Keynote & Client Confidential.

Competitive Benchmark: Home Page DownloadPerformance in Seconds

How important is being fast?

Mobile Banking Summary 

Mobile Banking is providing competitive differentiation

Mobile Banking leverages:

SMS Mobile Websites Native Smartphone Applications (iPhone, Android, BlackBerry) Composite Transactions

End users show low “failure tolerance” when applications touch their personal financial information

Competitive benchmarking is extremely popular 

Questions?

Q&A

Please Submit Your Questions Now

Resources 

To View This or Other Events On-Demand Please Visit:http://www.netseminar.com

For more information please visit:

http://www.keynote.com/company/events/events.html