모바일, 빅데이터, 클라우드 환경의애플리케이션 성능 관리를 위한차세대 APM 도입 전략 및 성공 사례

전 성호 | 상무한국 컴퓨웨어㈜

최종 사용자 관점

신속한 문제 해결

IT 부서간 연계

기능 관리 성능 관리 (성능,분석,협업,복구…)

목 차

차세대 애플리케이션 성능 관리

최종 사용자 경험 관리

모바일 성능 관리

Big Data 성능 관리

Cloud 성능 관리

DevOps

IT 서비스 제공에 대한 고민들

Java .NET PHP C++ Oracle SAP CICS Big Data

EDGE DATA CENTERCLOUD

개발

운영

테스트/QA

클라우드

모바일

빅 데이타

글로벌 기업 환경

CDN?

Hardware?

Memory leak?

Page size?

3rd Parties?

Client?

Slow SQL?

서비스 제공 경로의 복잡성

0

5

10

당사

경쟁사

서비스 제공 부서간의 갈등

신 기술 적용 방안의 문제

Firefox ✓

Chrome ✗

IE ✓

브라우저

서울 ✓

동경 ✓

뉴욕 ✗

지역

iPhone ✓

Android ✗

iPad ✗

디바이스

실시간 연관 정보 획득

차세대 애플리케이션 성능 관리 정의 (가트너 제시)

라이프사이클 지원

개발,테스트 및운영의 협업을가능하게 하는통합된 플랫폼

스마트 분석

실시간 및 이전상황, 비즈니스 및IT 연관도 를 통한

데이터가 아닌해답 제시

신속한 적용

APMaaS 서비스, 스마트 분석 기능및 자동화된 수집적용을 통한 즉시적인 적용 가능

트랜잭션 관리

100% 트랜잭션 가시성 확보, 심층분석 및 신속한

문제 해결

최종 사용자관점

사용자, 디바이스,브라우저 및 지역을 통한 최종 사용자 관점 관리

“최종 사용자 관점은 모든 것이다. 그것은 계속 그래 왔지만, 항상 덜 평가 되어 지고따라서 덜 투자 되어진다. 만일 최종 사용자 관점에 따른 디자인에 대하여 모른다면, 공부 하여야 하며, 그것을 제대로 아는 사람을 채용 해야 한다. 그것에 집착 하여서함께 살고 숨쉬어야 한다. 모든 회사 직원이 그렇게 될 때까지…” Evan Williams

CEO, Twitter

운 영 아키텍트테스트/QA

개 발현 업

트랜잭션플로우맵

Deep Transaction 관리 (상세 연관 분석)dynaTrace UEM (최종 사용자 관점 관리)

차세대 APM 솔루션의 특징

시스템자원연계

Integration

개발

Loadtesting/Staging

테스트

Production

운영

25%-30%개발 시간

소요

10%-15%개발 시간

소요

라이프사이클지원

Web ServerBrowser / Rich-Client

Mobile/TAB

Java .NET

Other

Tuxedo /C++ Database

DC-RUM

(N/W)

Synthetics

ADK

Cloud / Big Data 지원

아마존

마이크로소프트

dynaTraceAnalysis Server

차세대 APM 솔루션의 구성

Web Server브라우저 Java .NETTP

/C++Database

PerformanceWarehouse

Agent/PurePathCollector Monitoring

Collector

dynaTraceServer

dynaTraceClientSessions

Store

ExportedSession

모바일/테블릿

서비스 관리

dynaTraceClient

OfflineSession 분석

자동 배포

부하

분산

Content of this presentation reflects preliminary planning. The features and dates for future releases are subject to change

ClosestTo User

Cloud Deployable

CDNVisibility

OptimizedBusiness Aware

$%

사례 : UEM (최종 사용자 관점 관리) 단독 구성

브라우저 및 모바일에서 성능 정보 제공 ( 별도의 작업 없음 )

Java Other Database

PurePathCollector

dynaTraceServer

dynaTraceClient

Web Server브라우저.NET

자바 스크립트에이전트 자동

배포

웹 서버 사용자 경험 센서

웹 서버 에이전트(Visits 계약에 따라 일정

수량 제공)

성능 수집 정보 전송

모바일/태블릿

추출 정보

• 모든 최종 사용자 성능 정보

• 모든 사용자의 클릭 별 정보

• 지역별/브라우저별.. 통계

• 브라우저 내 컴포넌트 성능

• 기타 회사 현업과 연계된 정보

ROI

• 최종 사용자 성능과 연계된매출 연계 개선 사항 적용

• 최적 사용 지역 / ISP 파악을통한 세비스 개선

• 자동화를 통한 생산성 확보

• VIP 특별 관리

고객 불만족?

전화 올 때까지 기다리지 말 것..

상황을 통제 하고 있을 것.

Purepath 페이지 클릭 상황 및 에러를 통해 불만 고객 자동 인지

24x7. 모든 트랜잭션 지원.

최종 사용자에 대한 모든 상황 통제

UEM (최종 사용자 관점 관리)의 발전 방향

모바일 성능 관리

모바일 기술의 발전

2005

2013

고객 요구 사항의 변화를

정확히 읽어 냄.

• 130% 온라인 매출 신장

• #1 온라인 수퍼 마켓

기회

모바일 구매자의 요구 사항 증가

모바일 성능 1초가 미치는 영향

16% 고객만족저하

Source: Aberdeen Group

11% 페이지뷰 수저하

7% 구매

성공률저하

0

-10

-20

Mobile Browser

Mobile Device

Mobile OS

Mobile Carriers

Geographic Diversity

모바일 사용자는모바일 성능이PC에서와 같거나낫기를 기대함

모바일 사용자는

종류의 디바이스 종류를 사용 중

18

모빌리티 대응 전략을 위한 체크 리스트

모빌리티 전략이 회사 목표와 밀접한 연관이 있는가 :

전략이 회사의 주요 관계자에게 인정 되었는가 ?

회사의 다른 비즈니스에 주는 영향은 무엇인가 ?

다른 보안 및 규정의 문제는 없는가?

고객 요구 사항을 명확히 이해 하는가 :

고객에게 그저 광고 하기 위함인가 아니면 소셜화 하기 위함인가 ?

모든 디바이스에 대하여 똑같은 콘텐츠 경험을 제공하고 있는가 ?

목표 고객에 대하여 적정한 콘텐츠로 대응하고 있는가 ?

최종 사용자 경험에 대해 심각히 고려 하였는가 :

최종 사용자의 키 트랜잭션은 무엇인가 ?

그들은 어디로부터 접속하고 있는가 ?

고객의 디바이스는 무엇인지 관리되고 있는가 ?

모바일 전략의 7가지 실수들

1. 최종 사용자를 모른다키 트랜잭션 종료 여부디바이스, 네트워크, 지역, 사용량

2, 고객의 기대치를 모른다PC 와 같은 사용 속도 및 효율성불편함에 대한 즉각적 반응

3. 쉽지 않은 모바일 콘텐츠링크가 제대로 동작 하나?디바이스별로 동작 확인 되었나?

4. 편리성을 주지 않는다즉시,간단,정황 연계터치에 알맞은 메뉴 크기

5. 디바이스의 능력을 최대 이용 않음적은 스텝이 열쇠앱과 웹의 장단점 수용

6. 회사의 기대와 연계되지 않음피크 시에 잘 동작 하는지?크레쉬 환경을 관찰 하는지?

7. 고객의 기대를 충족하지 않음모든 디바이스 및 브라우저 환경24 x 7 모니터링, 3 party 영향도모바일 환경에 맞는 콘텐츠 크기

19

사례 : Getting in the game : Volkswagen

기회

주요 이벤트에 대한

영업 기회 발굴 증대

모바일 전략

자동차 쇼에서 방문자에게 태블릿을

제공하고 자동차 사양 및 비교

할 수 있는 내용 즉시 제공

비즈니스 가치

VW와 다른 회사 차량과의

즉시적인 비교를 통해

VW를 차별화 하여

이벤트로부터 영업 기회 및 매출 증대

20

사례 : Getting in the game : UPS

기회

모바일 디바이스와 텔레메틱스를 통한

운영 능력 증진

모빌리티 전략

모든 트럭과 직원에게 모바일

디바이스를 지급하여

배달 및 수집 과정 추적

비즈니스 가치

직원 생산성 향상 (사고 감소)

패키지 배송 시간 감소

패키지 상태 정보 전달 시간 증진

21

사례 : Getting ahead of the game : Crittenton 병원

기회

응급 차량 기사로 하여금 가장 가까운응급실로 가도록 하여 지체 시간 없앰

모빌리티 전략

응급 차량 기사로 하여금 Crittenton병원 응급실 지체 시간 및 지도를 모바일로 알려 줌

비즈니스 가치

응급 차량 기사가 응급실의 혼잡도

알게 되어 결국 병원 매출 증대에

기여

22

사례 : Getting ahead of the game : Lowe’s

기회

모바일 디바이스로 매장 내 상품 정보를 제공하여고객 서비스 증진

모빌리티 전략

Purchase 42,000 iPhone을 구매 (25/매장) 매장신입 담당자로 하여금 Lowes.com m모바일 사이트를 접속하여 고객을 지원 하도록 함

비즈니스 가치

말로 전달 하는 것보다 고품질 정보를 통해 고객에게 제공 하여 감동을 주며 이를 통하여 매출 증대 및 신입 사원 교육 비용 절감 기대

23

사례 : Changing the game : OnStar GM

기회

운전자의 안전 증진과 차량 판매를 증대 하려는

사용자에게 차별화된 서비스 제공

모빌리티 전략

M2M 인프라를 개발하여 자동차로부터 가치있는정보를 무선으로 수집

앱을 개발하여 원격지 시동 및 잠금 해제 등과 같은부가 서비스 제공

비즈니스 가치

소비자에게 GM 자동치에 대한 차별화된 능력을 부여하여 GM 자동차를 고려하게 함

소비자의 재 구매 혹은 브랜드 충성도를 증대

24

사례 : Changing the game : American Greetings

기회

카드 판매 증대를 위해 브랜드 충성심 제고및 과 Y 세대 접근응 위해 모빌리티 이용

모빌리티 전략

QR 코드를 Y 세대 목표의 카드 뒷면에 삽입하여 디지털 카드 교류의 경험을 갖게 함

비즈니스 가치

첫 두 달 10만회 이상의 다운로드 기록

소매상으로 하여금 회사를 기술 리더로 생각 하게하여 매출 증대

카드 매출뿐 아니라 브랜드 충성도 및 인지도 증대

모바일 성능 관련 추출 정보

디바이스 별크래쉬 정보

75% 의 시간을 캐시 콘텐츠의파싱 및 읽기에 사용 중

이 컴포너트를 80 번이나다시 가져오네 (CDN)

이 회사가범인이네. (3rd party)

실시간 성능, 장애,사용자 경험 정보

차별화 기술 : 하이브리드 앱 지원

차별화 기술 : 앱에 성능 코드 자동 삽입

차별화 기술 : 모바일에서 성능 감시

(Elastic MapReduce)

NoSQL

(DynamoDB)

두 가지 접근 : 기술 이용

데이터 이용

Big Data 성능 관리

Big Data 기술 이용 : 복잡성 및 도전 과제

Hadoop Cluster (HDFS, MapReduce)

3rd parties

Poor UX

느린 job

운영비 증대

느린 근본 원인은?

앱? DB? 데이터? 클러스터? 노드? 코드?

Slow R/T

확장 시기 선정

리소스 사용률 저하

테스트 통과 후운영 실패

고장 난 노드

NoSQL

SLA 못 맞춤제품 선정

결과 보고 느림현업 보고서

지연

$$$ 손실

이상 징후 감지지연

Big data 는비싸게 됨

비즈니스 분석지연

Big Data 기술 이용 : 기존 모니터링 방법의 문제점

Hadoop 모니터링 툴 (e.g., HortonWorks Ambari, Cloudera Manager) 상위 레벨 JOB 지표만 제공

멀티 노드 클러스터에서 성능 문제 발생지점에 대한 가시성 없음

MapReduce JOB에 대해 빠른 문제 해결과 근본 원인 문제 발견을 위한

메소드 및 코드 레벨 직관성 없음

NoSQL 모니터링 툴 (e.g., DataStax OpsCenter) 제한 적인 DB 레벨 통계

End-to-end 트랜잭션 가시성 없음 (Application to database)

메소드 및 코드가 발생한 성능 근본 원인 문제에 대한 깊이 있는 접근 불가

인프라 / 시스템 모니터링 툴 (e.g., Ganglia)복잡한 환경에서 코드와 연계된 시스템 문제 파악 불가

기존 APM 툴은 현대의 BigData 의 복잡한 환경을 지원 하지 못함

Big Data 기술 이용 : Hadoop 도전 과제

Hadoop Cluster (HDFS, MapReduce,

…)

3rd parties

클러스터를 어떻게 조정하고최적화 할 수 있나?

Hadoop 운영 환경은

제대로 준비 되었나?

새로운 적용 후 나타난 성능 문제 및

계속된 오랜 문제의 해결책은?

JOB 은 피크시에

문제 없이 동작 하나?

NoSQL

• 수 많은 로그를 뒤질 필요 없음

• 시간이 소요된 곳, 리소스를 소요한 곳등의 JOB에 대한 프로파일 제공

• 수분 내에 정확한 원인 문제 지점 제공

• SLA 에 따른 클러스터 사용량 제공

• JOB에 대한 인프라 시스템 연관도 제공(자동 CPU, 스토리지, OS 연계)

Big Data 기술 이용 : NoSQL 도전 과제

성능문제의 위치는?(DB,애플리케이션,인프라,사용자)

NoSQL DB는 어떻게 사용자의 경험에 영향을 주는가?

인프라 시스템의 건강도는 NoSQL 응답시간에 어떻게 영향을 주는가?

잘못 디자인된 접근 패턴은 응답 시간에 영향을 주는가?

End-to-End view 100% 트랜잭션 가시성 제공(user-click to database)

모든 트랜잭션에 대한 DB Call 모니터링

단위 클릭에 대한 DB 접근 위치 파악 제공

Cassandra 및 Hbase에 대한 깊은 가시성

시스템 성능이 응답시간에 미치는 영향 제공

NoSQL 트랜잭션 성능을 호스트 및JVM 의 건강도와 자동 연계함.

Big Data 기술 이용 : 비용 절감

Hadoop최적화

“최고의 엔지니어 3명이MTTR 을 3일에서 10분으로 줄임”

Big Data 데이터 이용 : SPLUNK 연동

모바일애플리케이션

비즈니스애플리케이션

Powerful, end-to-end, real-time platform for Machine Data

훌륭한 데이터 제공 실시간 제공 미리 연관 지워진 데이터

필요하지만잘 연관되어 지지않는 데이터 : APM 웹 분석 이상 징후 분석 보안 관련

차세대 APM for SPLUNK

실시간 비즈니스 연관 데이터를 Splunk로 제공

“Visit 데이터”애플리케이션에 대한 모든 방문자에 대한 고급 데이터 제공

- 사용자 이름, 지역, 고객 IP 정보, 구매 성공 이력, 랭딩 페이지, 구매 취소 이력…

“사용자 클릭 이벤트”

애플리케이션에 대한 모든 사용자의 모든 클릭 이벤트에 대한 데이터 제공

- 페이지 클릭, 페이지 성능, 각 페이지에서 가져올 수 있는 모든 데이터

“End-to-end 연계 데이터”

애플리케이션에 대한 모든 방문자에 End-to-end 트랜잭션 데이터 제공

- 트랜잭션 이름, 응답 시간, CPU 시간 등 모든 트랜잭션에 대한 성능 정보 및 시스템 연계 정보

Big Data 데이터 이용 : 할수 있는 일 (예)

“보안”

해킹, DDOS, 악의적인 행동 위협등의검색

동일한 IP 주소에서 발생한 유사한

사용자 행위

자동화된 대용량 부하/공격 탐지

인더스트리 - ECommerce

“감사, 이상 징후 리스크”

비인가 접근 탐지

동일 사용자의 짧은 기간 내의복수의 고액 처리

인더스트리 –Financial Services, Ecommerce

“운영 지식 정보”

부서별 핑계(Pinpoint Faults)

서버 및 네트워크 장애로 인한 트랜잭션영향을 실시간으로 전달

인더스트리 – All

“비즈니스 연관 분석 정보”

실시간 비즈니스 진척도

프로모션이 매출과 연계된 정보

가장 접근이 많은 곳은

Cloud 성능 관리

Compuware APMFor Big Data and Cloud

100 Most Trend-Setting Products in Data

for 2014

http://www.dbta.com/Articles/Editorial/News-Flashes/Trend-Setting-Products-in-Data-for-2014-93459.aspx

Cloud : CIO told us

CIO20%

VP IT18%

VP Infrastructure

16%

VP Operations13%

IT Manager12%

IT Operations Manager

9%

IT Supply Manager

5%

IT Purchasing Manager

4%

Others3%

Cloud – TOP investment area

Top 3 concerns:1. End user experience2. Impact on brand3. Loss of Revenue – po

or app performance

N=468 IT Managers in Enterprises

Cloud : 차세대 APM으로 해결 할 수 있는 것

100% Cloud 가시성 – 사용자, 트랜잭션 & 시스템 리소스

• 지역 및 검색 기간에 따라 성능 편차를 보임

• 능동적 자원 배분에 따른 트랜잭션 영향

• 리소스 사용량 과 Cloud 서비스가 문제 발생

근본 원인 – 정확한 상세 내역

• 핀 포인트 가 문제 – Cloud 서비스 레벨 계약 준수 미비 (비용)

• 코드 레벨 상세 – 너무 많은 변환 콜 / XML 프로세싱 콜

일반적 영향도 분석

• 여타 사용자 영향도

• 여타 시스템 영향도

Cloud : Amazon Web Services 지원

AWS 마켓 플레이스에서 사용 가능 (개별 구매 라이선스 사용)

EC2 구성에 대한 자동 모니터링

애플리케이션 요구에 의한 인스탄스 확장 여부 검증

미리 지정된 Cloud-Watch 모니터링

미리 지정된 비용 모니터링

RDS 접근 패턴 분석

Cloud : Windows Azure 지원

Azure 구성에 대한 자동 모니터링

트랜잭션 플로우에 Azure 토폴로지 구성 표현

Azure의 스토리지 접근 및 비용 분석

Azure 접근 및 성능에 대한 SQL 분석

Cloud : 기타 Cloud 지원

사설, 하이브리드, 복수 클라우드 환경에서의깊은 가시성 제공

KVM, XEN, and Vmware 같은 가상화 플랫폼을다양하게 지원

44

Cloud : 사례 : Elsevier

차세대 APM을 통하여 느린 성능으로 영향을 받은 지역 및 사용자를 파악 하고 특정 지역 Cloud 문제를선제 파악 하고 대처 함 (검색 10분 사용자 수 최소화)

Cloud : 가시성 제공

애플리케이션 라이프 사이클 : DevOps

협업 문제로 인한 근본 문제 파악 어려움

숍질라 CIO (in 2010): “… 워룸에 모인 그들은 (개발자와 운영팀) 서로에 대해서가 아니라문제 및 이슈에 대하여 적으로 간주하고 이야기 하기 시작한다 ”

Image taken from https://www.scriptrock.com/blog/devops-whats-hype-about/

전략 : 프로세스에 배제되는 사람이 없어야 함

프로젝트 계획 의사 소통 툴

피드 백

전략 : 개발에 조기 참여 되어야 함

성능 문제 확장성 문제

테스트 방안

Deployability

구축 방안

솔루션 : 자동화 자동화 자동화…..

공통 툴 자동 피드백

확장성 분석성능 파악 및 분석

성능

ROI

생산성

놀랄만한 성능 향상

고객 만족

효율적 시스템 운영

75% 에서 92% 성능 향상

1612

35

41

5

0

10

20

30

40

Activities

widget high

response time

Opening a

project or

project list

HRMS

Employee Self

Review

Resp

onse

tim

e S

ec.

거대한 생산성 획득

이슈 확정 시간 단축

11 개 문제 해결에 1.5주 소요

809% 생산성 향상

12.4

1.5

0 4 8 12

Baseline

W/ dT

Weeks

가시성

새로운 가시성

이슈 발견 및 운영 용이성

지속 문제의 자동 분류

100% 확신감

w/dT

Baseline

감사합니다.

Third PartyContent

Mobile End User

Web End User CloudServices

Our Application

ExternalServices

Cloud Storage