webinar oracle application testing suite

Application Testing Suite

José Luis Álvarez

Consultor

26-06-2012

Agenda

1. Gestión calidad de las aplicaciones

2. Pruebas Funcionales

3. Pruebas de Carga

• Análisis de resultados

4. Gestor de Pruebas

3 avanttic Consultoría Tecnológica

• Las empresas han invertido en software para proporcionar un mejor

servicio y a menor coste a los usuarios ó clientes

• Pero una pobre calidad del software desarrollado pone esas

inversiones en riesgo:

• Mas del 40% de las aplicaciones se entregan con entre 1 y 10 defectos

críticos [Software Is Deployed, Bugs and All, SD Times.]

• Alrededor del 80% del coste de los desarrollos es consumido por los

desarrolladores identificando y corrigiendo defectos

[IBM: The business value of software quality.]

• El coste de corregir un defecto después de entrar en producción es hasta

100 veces mayor que si se hubiese identificado en la fase de desarrollo o

diseño [National Institute of Standards & Technology, 2002]

Impacto de la baja calidad

La gestión de la calidad en las aplicaciones es imperativa para la agilidad en los negocios y para proporcionar altos niveles de servicio a un bajo coste y riesgo

http://www.sdtimes.com/link/32634











http://www.ibm.com/developerworks/rational/library/4995.html










http://www.nist.gov/director/prog-ofc/report02-3.pdf












• Cambios en las aplicaciones

Oracle Application Testing Suite

• Asegurar la calidad y el rendimiento con

pruebas end-to-end de aplicaciones

• Cambios en la infraestructura

Oracle Real Application Testing

• Diseñado y optimizado para el test de los

cambios en infraestructura de base de datos

• Test Data Management

Oracle Data Masking Pack

• Consigue los objetivos de seguridad ocultando

los datos sensibles en los entornos de test

• Permite las pruebas seguras de los entornos a

escala de Producción

Gestión calidad de las aplicaciones


Gestión calidad de las aplicaciones

Gestión ciclo de vida: desde desarrollo hasta producción

PROD TEST

DEV

Functional

Testing

Load

Testing

Dev / Test System

Provisioning

Install / Upgrade/ Clone From

Production Application

Oracle Enterprise

Manager

• Rich functional and load testing

solution

• Ensure highest quality testing by

running actual production workloads

• Achieve security & compliance

objectives by masking sensitive data

* Source: http://www.riceconsulting.com/public_pdf/STBC-WM.pdf


Oracle Application Testing Suite Una solución de pruebas potente e integrada para asegurar

la calidad y el rendimiento del software

Oracle Functional Testing

Tests funcionales y de regresión

Oracle Test Manager

Gestión de los ciclos de test, requerimientos y defectos

Oracle Load Testing Test de carga y performance


Oracle Application Testing Suite Ciclo de vida del testing orientado a la calidad

1. Diseño de Planes de tests basados en requerimientos de aplicación

2. Desarrollo de casos de test manuales y scripts de test automatizados

4. Ejecución de tests de carga y optimización del rendimiento de la aplicación

3. Ejecución de test funcionales para validar los requerimientos de la aplicación

Oracle

Test Manager

Oracle

Functional Testing

Oracle

Load Testing


Functional Testing


• Automatiza las pruebas funcionales y de regresión de aplicaciones

Web, SOA y paquetes (Siebel, eBusiness Suite, …)

• Plataforma integrada de scripting para las pruebas funcionales y de

carga

Oracle Functional Testing Pruebas Funcionales y de Regresión

• Interfaz visual intuitivo que

simplifica las pruebas

• IDE Java que proporciona

extensibilidad de los scripts

• Aceleradores para EBS,

Siebel, ADF y Web Services


OpenScript


1) Creación de un script WEB

2) Grabar navegación sobre la aplicación

3) Probar el script

4) Configurar el script (nombre de cada paso, variables, parámetros,

databanks, etc.)

5) Introducir validaciones

6) Probar el script con varias iteraciones

7) Analizar resultados

Pasos básicos para realizar pruebas

funcionales sobre una aplicación Web


Perspectiva Tester

Panel de resultados de la ejecución de scripts

Estructura básica de un script

Vistas (árbol o código Java) de un script

Ejecución de scripts

Grabación de scripts Creación de scripts

Ejecución de varias iteraciones

Vista de detalle de

navegación: Browser,

HTML y Headers


• OpenScript graba scripts funcionales de aplicaciones web en la vista

“Tree View” y muestra el correspondiente código Java en la “Java

Code View”

Functional Test Script Vistas

Tree View Java Code View


• File -> New

• Tipos de scripts:

• Web Applications

• Siebel

• Adobe Flex

• Oracle Fusion / ADF

• Oracle E-Business Suite/Forms

• Web Services Testing

• Database Testing

(1) Creación de Scripts funcionales

Creación de scripts


• Una vez iniciada la grabación

se abre un navegador desde

donde accedemos a la

aplicación a probar

• Hacemos una navegación del

proceso a probar y paramos la

grabación

(2) Grabación del Script

Grabar navegación

Parar grabación


• Obtenemos el script resultado de la

grabación con los grupos:

• Initialize (1 ejecución al comienzo)

• Run (se ejecuta el # de iteraciones)

• Finish (1 ejecución al final)

• Personalizamos el script según

nuestras necesidades:

• Nombrar cada paso del script

• Mover pasos (steps) de un grupo a

otro (arrastrar y soltar)

(2) Grabación del Script

Páginas


• Probamos el script y validamos su ejecución en la vista de resultados

(3) Probar el Script

Ejecutar el script (Playback)


(4) Configurar el Script Sustituir variable

Parámetros de la Query String a configurar


• Añadimos un databank (fichero csv) desde donde se obtendrá la

variable a sustituir

(4) Configurar el Script Añadir databank

Añadir databank


• Seleccionar fichero del databank, validar la obtención de datos y

seleccionar la columna de sustitución

(4) Configurar el Script Seleccionar columna de sustitución

Databank, alias y columna de

sustitución


• Un databank se añade una sola

vez al script y puede usarse con

diferentes variables

• Repetimos la operación Sustitute

Variable para cada variable a

sustituir asignando la columna

adecuada en cada caso

(4) Configurar el Script Sustituir variables

Columnas del

databank


• Usar la notación {{ }} para incrustar variables y funciones en el script

• Ejemplos: • {{@timestamp()}} - Muestra el timestamp actual en milliseconds

• {{@hostip()}} - Local host IP

• {{@xmlEncode(some text)}} - Hace XML-encode de un valor value

• {{@urlEncode(value)}} - Hace URL-encode de un valor

(4) Parametrización

Uso de funciones y variables


• OpenScript soporta los siguientes casos de validación en pruebas

funcionales web:

• Text Matching Tests

• Object Tests

• Table Tests

• Server Response Tests

• Pueden ser añadidas durante la grabación del script ó después de la

misma.

• Se añaden los comandos en localizaciones concretas del script para

validar contenidos

(5) Validaciones en el script


• Verifica la presencia o ausencia de texto en una página

• Haciendo right click en el contenido HTML dentro del panel de

detalle se añaden los Text Matching Test

(5) Validaciones en el script

Text Matching Test


• Verifica cualquier propiedad de un objeto

• Seleccionar en el browser el objeto que se quiere verificar

(5) Validaciones en el script Object Test

Seleccionar

Muestra Xpath del objeto


• Seleccionar la propiedad del objeto que se quiere verificar

• Especificar los valores de la propiedad a testear

(5) Validaciones en el script Object Test


• Valida el contenido de forma

individual de cada celda de

la tabla

• Seleccionar las celdas a

validar y especificar el valor

que se quiere testear

(5) Validaciones en el script Table Test


• Configuramos el número de

iteraciones a realizar y cómo

usaremos el databank en cada

una de ellas.

(6) Probar el Script con varias iteraciones

Ejecutar con varias iteraciones

Número de iteraciones


(6) Probar el Script con varias iteraciones

Pantalla de resultado

de cada iteración

Datos usados en la

iteración


• Proporciona los resultados de la reproducción paso a paso

• Esta vista incluye la duración, el resultado y el resumen de todos los

comandos del script

• La vista esta ligada a la vista de detalle:

• Results Report, Screenshot, Content for each command, Comparison

between record & playback

(7) Analizar resultados Results View


• Se puede seleccionar un nodo en Result View y ver una

comparación entre lo grabado y lo reproducido

(7) Analizar resultados

Results View - Comparación

Comparison Tab


• La vista de consola muestra la salida de los comandos reproducidos

y la información de estado e incluye:

• Mensajes de log

• Errores de validación

• Información de Stack cuando se producen Java exceptions

(7) Analizar resultados Console View


• Muestra la información de error y problemas en el script:

• La Problems View muestra cualquier problema en el código del script

que pueda producir un error o que impida la compilación del script

• La Error Log View muestra el log de errores


Problems / Error Log Views


• Integrado

• Plataforma común de scripting para pruebas funcionales y de carga

• Otras herramientas fuerzan a aprender y usar herramientas separadas y

lenguajes diferentes para hacer las pruebas funcionales y de carga

• Facilidad de uso

• Combina un interfaz intuitivo de scripting con un potente IDE de java

para crear y extender los scripts

• Simplifica los procesos script sin sacrificar la extensibilidad

• Extensible y basado en estándares

• Herramienta basada en estándares del mercado como Java y Eclipse

• Optimizado para el test de aplicaciones Oracle

• Proporciona aceleradores para las aplicaciones mas comunes de Oracle

(Siebel, eBusines Suite, ADF)

• Este soporte out of the box para las aplicaciones Oracle reduce el tiempo

de testing

Ventajas de Oracle Functional Testing


Load Testing


• Pruebas realistas de carga y performance de aplicaciones Web,

SOA y Oracle applications

Oracle Load Testing Pruebas de carga, performance y tuning

• Escala hasta miles de

usuarios concurrentes

para simular picos de

carga en producción

• Proporciona mas precisión

aportando contenido

funcional a la carga

• Consola Web intuitiva que

fomenta las pruebas

colaborativas

• Monitores de servidor integrados que ayudan a identificar y resolver

los problemas de rendimiento

• Aceleradores para EBS, Siebel, ADF & Web Services


1) Creación de un script HTTP

2) Grabar navegación sobre la aplicación

3) Probar el script

4) Configurar el script (nombre de cada paso, variables, parámetros,

databanks, etc.)

5) Probar el script con varias iteraciones

6) Añadir el script al escenario de la prueba de carga

7) Configurar la prueba de carga

8) Ejecutar la prueba de carga

9) Analizar resultados

Pasos básicos para realizar pruebas de

carga sobre una aplicación Web


• File -> New

• Tipos de scripts:

• Web/HTTP

• Siebel

• Adobe Flex

• Oracle E-Business Suite/Forms

• Oracle Fusion/ADF

• Web Services Testing

• Database Testing

(1) Creación de Scripts

Creación de scripts


• Acceso a la interfaz web de Load Testing for Web Applications desde

el menú “Inicio” de Windows

• User: Administrator

• Passwd: oracle

Acceso a Oracle Load Testing for Web

Applications


• “Build Scenarios” Configura los escenarios de carga

• “Set up Autopilot” Ejecuta las pruebas de carga

• “Watch VU Grid” Monitoriza actividad usuarios virtuales

• “View Run Graphs” Vista de estadísticas de ejecución y gráficas

• “Create Reports” Post-análisis de estadísticas de ejecución y

gráficas

• Múltiples sesiones pueden ser comparadas para crear gráficas a

medida

Oracle Load Testing

Componentes principales


(6) Añadir script al escenario

de la prueba de carga

Añadir script al escenario

Configurar ejecución del script:

- VUs: Número de usuarios virtuales

- System: donde se ejecutará la prueba

- Mode: Cliente Java

- Iteration Delay: Tiempo entre iteraciones

- Think Time: Tiempo entre pasos de

ejecución del script.


(7) Configurar la prueba de carga


• Detalles del escenario

• Configuración de databanks

• Quitar script del escenario


Detalles del escenario



Arranque y parada

de la prueba

Métricas a capturar

durante la prueba

Ejecución del

escenario


• Toda la información de una

ejecución es asociada a una

sesión.

• Crearemos una sesión al

comenzar la ejecución de la

prueba.

• Podemos ejecutar varias

sesiones al mismo tiempo.

(8) Ejecutar la prueba de carga

Arrancar la prueba


• Hacer click en el botón “Stop” del dashboard para enviar la señal de

parada a todos los usuarios virtuales. Una vez que paran todos los

usuarios virtuales, la sesión se detiene:

• Hacer click en Stop para hacer parada gradual

• Hacer click en Abort para hacer una parada inmediata

• El botón “Pause autopilot” para la incorporación de mas usuarios

virtuales sin parar al resto de los usuarios virtuales en ejecución

• Hacer click en el mini botón “Start Autopilot” para reiniciar los perfiles

que estén pendientes en la cola Autopilot

(8) Parada de la prueba de carga

The Pause button

The Abort button

Click “Start

Autopilot” to restart


Load Testing Análisis de resultados



Gráficos de la ejecución de la prueba

Visualización de la evolución de la ejecución de

prueba en tiempo real



Visualización del resultado dela

ejecución de prueba (Full View)


(9) Analizar resultados Informes de ejecución de pruebas.

Basado en sesiones, permite comparar las

mismas métricas en distintas sesión.


• Recolecta mas información monitorizando otros sistemas con el

componente OLT ServerStats durante la prueba de carga:

• Configurar el monitor para analizar el rendimiento de los web servers,

Application Servers, Bases de Datos y otras infraestructuras de

aplicación

• Genera stress con usuarios virtuales de los servidores mientras

monitoriza la infraestructuras de aplicación

• Analiza el servidor y las estadísticas de los usuarios virtuales en los

mismos informes

Ejecutar pruebas de carga con ServerStats


• Hacer click en “New” en “Configuration Monitors” para añadir un

nuevo monitor

Configurar ServerStats

Añadir nuevos Monitores (1/2)

1

2

3

• Seleccionar un data source, perfíl

de métrica o métrica desde el

tree view

• Hacer click en “Next”


• Note el tipo de data source que es

usado en el perfíl o métrica

• Este gráfico muestra una

métrica que esta basada en un

data source SNMP

• Click “Next” para continuar

Configurar ServerStats Añadir nuevos Monitores (2/2)

• Continuar seleccionando el sistema a monitorizar y el colector:


• Otro ejemplo de perfil de métricas ServerStats es el perfil Oracle el

cual contiene todos los monitores necesarios para capturar las

métricas clave de rendimiento de una base de datos Oracle

Configurar ServerStats: Oracle Profile


• Potentes capacidades de scripting

• Plataforma integrada de scripting con Oracle Functional Testing para

simplificar su creación

• Existen Aceleradores para las aplicaciones Oracle

• Interfaz web colaborativo

• Interfaz Web de control de cargas que permite el acceso remoto y multi-

usuario de colaboración durante los test de carga

• Arquitectura de empresa escalable

• La plataforma de Load Testing esta basada en WebLogic Server y

Oracle DB lo que mejora la escalabilidad y el rendimiento

• Diagnósticos de rendimiento integrados

• Monitores de servidor o combinado con Enterprise Manager para aislar y

resolver los cuellos de botella de rendimiento

Ventajas de Oracle Load Testing


Test Manager


• Gestiona los procesos de test desde una consola web centralizada

• Trazabilidad completa desde los requerimientos y los casos de test hasta las incidencias

• Realiza la documentación manual y automáticamente de los casos de test

• Crea informes que proporcionan visibilidad del proceso de test

• Completamente customizable para encajar con su metodología

• Arquitectura escalable

Oracle Test Manager Gestión de los procesos de test


• Para lanzar Oracle Test Manager (OTM):

• Desde el menu Programs > “Oracle Application Testing Suite” > “Oracle

Test Manager”

• Oracle Test Manager requiere autenticación

Oracle Test Manager Launching


• Crea requisitos en múltiples niveles de jerarquía:

• Se definen requisitos de alto nivel y sub-requisitos todos con sus

diferentes prioridades

• Se asigna a cada requisito un valor jerárquico y un identificador único

• Se puede especificar información detallada de los requisitos en campos

que son configurables con el “OATS Administrator”

Oracle Test Manager Requisitos

Details View

Customizable

field names

Tree View


• Seleccionando los requisitos podemos añadir o editar requisitos

• Podemos usar las flechas para cambiar la posición de un requisito dentro

de la jerarquía

Requisitos Añadir y editar

Customizable

field names

Arrows to move the

nodes placement

Edit

Add


• Asocia requisitos con test, y indirectamente con incidencias, para

validar la completa trazabilidad de los elementos

• Las asociaciones también son creadas hacia los requisitos desde los

test e incidencias

• Se pueden añadir archivos adjuntos y links http

Requisitos Adjuntos y asociados

File Attachments

HTTP Links

Associated Tests

Associated Issues


• Crea múltiples niveles jerarquizados para organizar los diferentes

test:

• Permite agrupar test para una gestión mas sencilla

• Permite lanzar grupos de test como un único test

• Se asocian con los requisitos o con las incidencias generadas como

resultado de la ejecución del test

• Permite mezclar test manual y automatizados:

• Permite documentar test manuales con información detallada, con

los pasos necesarios y los resultados esperados

• Permite añadir test scripts automáticos con notas:

• Programar la ejecución de tests

• Configurar ejecución de test para ejecutarse en equipos remotos

Oracle Test Manager Tests


Oracle Test Manager Tests

Test Details

Test steps Test tree view

Test run history


• Seleccionando los test podemos añadir o editar tests

• En ellos podemos seleccionar el tipo de test y otros campos como

que funcionalidad esta probando, el propietario, etc.

Tests Añadir y Editar

Edit this test link


• Creación de “Tests Manuales” para almacenar pasos detallados para

una ejecución manual de tests:

• Documenta las acciones y los resultados esperados para cada paso

• Después de crear el test se añaden los pasos

Tests Creación de Tests manuales


• Seleccionando “Run this test” desde los detalles del test:

• Test Manager va pidiendo la ejecución de cada paso

• En cada paso se introduce el resultado de ese paso, para obtener el

resultado global de la prueba así como los parciales de cada paso

• Los resultados quedan almacenados en el “Run History” que se ve al

seleccionar la vista de detalle de cada test

Tests Ejecutando Tests Manuales


• Los test creados desde el OpenScript son importados desde el

repositorio del OpenScript:

• Los scripts importados son guardados en la base de datos del OTM

• OTM crea automáticamente “Test Steps” para cada página del script

Tests Creando Tests Funcionales


• Seleccionando “Run this test” lanzamos el dialogo para lanzar el test

funcional:

• Seleccionamos el sistema donde va a correr el test

• Seleccionamos si queremos ver la ejecución pinchando en Invisible o

Visible

• En el dialogo de monitorización del test podemos monitorizar la ejecución

del test hasta que se actualice el “Run History” en la sección de detalles

del test

Tests Lanzando Tests Funcionales


• Seleccionando el botón de programación

• Selecciona “New Task” para configurar los test a ejecutar

• Seleccionamos la frecuencia, solo una vez especificando un día/hora o

diario o semanal especificando una hora

Tests Programando Tests Funcionales

Schedule button


• Se crean incidencias para documentar bugs, defectos u otras

incidencias identificadas durante la fase del testeo:

• Se asignan a un grupo organizativo o miembro del equipo, para que siga

su estado hasta que se resuelva.

• Por ejemplo, asignar la incidencia a un desarrollador

• Se asocian con tests, requisitos o otras incidencias relacionadas

• Cuando se añade una incidencia es automáticamente asignada a un

numero como identificador

• No existen jerarquías de árbol como para los requisitos y tests

Oracle Test Manager Incidencias


Oracle Test Manager Incidencias

List view

Issue Details


• Los botones de Añadir o Editar abren el dialogo de los detalles de las

incidencias:

• Las incidencias tienen campos por defecto y campos configurables. Los

campos configurables facilitan el ajuste a cualquier metodología de

pruebas

Incidencias Añadir y Editar

Edit this Issue link


• OTM tiene 2 pestañas para crear y ver informes:

• Desde la pestaña de reports se puede acceder a informes estándar y

crear informes personalizados:

• Se pueden hacer disponibles a todos los usuarios o mantenerlos

limitados a un usuario o grupo de usuarios

• Permite guardar, enviar por email, imprimir y exportar informes en

varios formatos

• Desde la pestaña de cuadros de mando se pueden ver tres informes por

defecto:

• Se puede reordenar el orden de los reports que aparecen

• Se pueden añadir o quitar reports

• Se pueden crear nuevos cuadros de mando de informes y guardar los

cambios

Oracle Test Manager Test Manager Reports


Test Manager Reports Reports and Dashboards

Dashboard Tab Reports Tab


• Seleccionar añadir un report desde el botón de la barra de

herramientas para crear un informe personalizado:

• En “Define Report” seleccionamos qué tipo de reports y qué campos

incluimos

• En “Define Filters” filtramos los datos que nos interesan

Test Manager Reports

Creating a Report


• Combina múltiples informes en una vista única con un cuadro

de mando:

• Permite mezclar informes por defecto y personalizados

• Permite guardar cuadros de mando como públicos o privados

• Permite cambiar entre informes almacenados desde el árbol de informes

Test Manager Reports Dashboards

Toggle Button

Reports Tree

Reports Display


• Seleccionando el botón de New Dashboard creamos un nuevo

cuadro de mando:

1. Seleccionado cualquier report del árbol de reports se añade al cuadro

de mando

2. Con el botón de activar, activamos la visibilidad de los informes

3. Reordenar los informes del cuadro de mando

Test Manager Reports Creando Dashboard

Navigator toolbar


• Intuitivo

• Interface simple e intuitivo para gestionar los casos de test

• Acceso fácil para todo el equipo de test

• Completo

• Realiza la gestión de los Casos de Test, Requerimientos, Incidencias y

ejecución de los test desde un lugar centralizado

• Deploy y gestión sencilla

• Fácil de instalar

• Campos completamente configurables e informes a medida

• Arquitectura de empresa escalable

• La plataforma de Test Manager es WebLogic Server y B.D. Oracle

Ventajas de Oracle Test Manager


Preguntas

Para más información contacte con nosotros a través de [email protected]

BARCELONA

Aragó 182, 4º planta

08011 Barcelona

Tel. 93 151 84 51

MADRID

Orense 85

28020 Madrid

Tel. 91 116 17 89

[email protected]

webinar oracle application testing suite

Documents