2013 Update on Access to Real Time and Archive NOAA Weather Radar Data

Tim Crum, Christina Horvat, and Don HorvatWSR-88D Radar Operations CenterNOAA’s National Weather Service

Mike Istok Office of Science and TechnologyNOAA’s National Weather Service

Stephen DelGreco and Steve AnsariNational Climatic Data Center

NOAA’s National Environmental Satellite, Data, and Information Service

Data Stewardship: Technological Approaches and Solutions to Collecting, Preserving and Communicating Weather and Climate Data

AMS 29th EIPT, 10 January 2013

Austin, TX 1/10/2013 AMS EIPT Conference 1

Agenda

• Recent changes and plans for: – WSR‐88D

• Level 3• Level 2

– TDWR• Level 3• Level 2

– More radar data coming?

• NCDC radar data customer service and user tool initiatives

1/10/2013 AMS EIPT Conference 2

1/10/2013 AMS EIPT Conference 3

WSR‐88 Level 3(156 Sites) 

• Recent changes:• Adding 15 Dual Pol products as mods completed• Use of LDM at NWSTG

• Status data flow per radar:• Before Dual Pol 8.4 kbps (avg)/20 kbps (peak)• After Dual Pol 47 kbps (avg)/112 kbps (peak)• With AVSET 52 kbps (avg)/123 kbps (peak)• With AVSET & SAILS 54 kbps (avg)/129 kbps (peak) 

• Plans:• Complete Dual Pol product additions as remaining sites modified• AVSET & SAILS increase lower‐scan angle frequency

• SAILS mid‐scan lowest angle products (94 and 99) to be added

• Lowest, ~0.2 deg, scan at KLGX products (94 and 99) to be added

Overview…..Radar Data Flow‐‐ Serving Multiagency, Academia, Private Sector Users ‐‐

Gov BaseData Users

WSR-88DRPG

LOCAL AWIPS(AWIPS & WMO Headers Added)

RPCCDS

FAA Display Systems (WARP, ITWS)

NWS National Centers

‐ NCDC, NCEP‐ Other Gov Users‐ Academia, Pvt Sect

DoD OPUP

WSR-88DRDA

FAA Network

DoD Network

NWS Network

RFCAWIPS

National Level II Servers

Level IIProductsT1

NWSTGAWIPS

NCF

AWIPS SBN / NOAAPORT

1/10/2013 AMS EIPT Conference

National Level II Servers

ROC

1/10/2013 AMS EIPT Conference 5

WSR‐88 Level 2(140 Sites)

• Recent changes:• Adding 3 Dual Pol variables as modifications completed• Completed network rearchitecture

• Primary servers at NWSTG; • Alternate path (hot backup) servers at ROC

• Auto‐failover • 24/7 Monitoring and Support

• U. MD provides primary I2 Gateway to top tiers; OU provides alternate 

• Status, data flow per radar:• Before Dual Pol 25.6 kbps (avg)/180 kbps (peak)• After Dual Pol 60 kbps (avg)/414 kbps (peak)• With AVSET 73 kbps (avg)/455 kbps (peak)• With AVSET & SAILS 86 kbps (avg)/497 kbps (peak)

1/10/2013 AMS EIPT Conference 6

WSR‐88 Level 2(140 Sites)(Continued)

• Plans:• Add remaining 8 CONUS Air Force WSR‐88Ds to network in 2013 • Addition of 7 Alaska FAA WSR‐88Ds and the Air Force WSR‐88D in Guam 

to the network dependent on sufficient bandwidth and budget • Complete additions of 3 Dual Pol variables as remaining sites modified

NEXRADs

National Level II

University of Maryland (Gateway)

Purdue Top Tier LDM Server

OU Top Tier LDM Server

TGP48/49Silver Spring

University of Oklahoma (Gateway)

ERC

PurdueLocation: NWSTG Silver Spring

Eastern Region

Location: Norman

OPSNet MPLS Backbone

Southern Region

Central Region

Western Region

ERC/NCDC Top Tier LDM Server

Internet2 (Abilene)

TOC1

TOC NODE

TOC2

TDS

TDSS

ROC1

ROC NODE

ROC2

RDS

RDSS

Unidata

Unidata Top Tier LDM Server

ERC

Date 5/17/12

NCEP

SSMC2Silver Spring

Level II Web Page Sever

1/10/2013 AMS EIPT Conference 8

TDWR‐SPG Level 3(45 Sites) 

• Recent changes:• Added TDWR VCP80 Rapid Scan Update Products at 11 test sites

• Positive user community response

• Status data flow per radar:• 9.0 kbps (avg) / 17 kbps (peak)• Rapid Scan Update data flow impacts presently unknown

• Plans:• NWS working to enable most/rest of remaining 34 TDWR‐SPG sites to 

send Rapid Scan Update Products by spring 2013 convective season• No plans or funding  to distribute TDWR‐SPG Level 2 data

]

Weather Radar Data Services at NOAA's National Climatic Data Center

Stephen Del Greco, May 29, 2012

Radar Archives & Access• NCDC has been up to the WSR‐88D challenge (Tim’s words)

• Amount of “uncompressed” radar data at NCDC, available to users/requestors• Level 2:  2,099 TB or 2.1 PB• Level 3:  94.7 TB

• Amount of  Level 3 data archived/yr has increased six‐fold from 2 TB in 2008 to 11.4 TB in 2012 

• Level 2 and Level 3 data ordered/accessed more than doubled between 2011 and 2012• Level 2: 69 TB in 2011, 158 TB in 2012• Level 2: 41 TB in 2011, 108 TB in 2012

• Level 2 median retrieval latency ~6 min in 2011

NEXRAD Inventory: Select Site and Producthttp://www.ncdc.noaa.gov/nexradinv/

Radar Archives & Access•

•

0

20

40

60

80

100

120

140

160

180

2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012

Compressed NEXRAD Accessed from NCDC (TB)

Level‐3 (TB)

Level‐2 (TB)

Radar Archives & AccessRadar Data Services• Direct digital access to radar inventories, data, and visualization software are available  

at no cost via the NCDC radar resources web page, (http://www.ncdc.noaa.gov/oa/radar/radarresources)

•

NEXRAD Inventory: Select Site and Producthttp://www.ncdc.noaa.gov/nexradinv/

Weather and Climate Toolkit (WCT)• WCT is free, platform independent software distributed from NOAA’s NCDC. • The WCT allows the visualization and data export of weather and climate data,

including Radar, Satellite and Model data. • By leveraging the NetCDF for Java library and Common Data Model, the WCT is

scalable and capable of supporting many new datasets. • Gridded NetCDF files (using Climate-Forecast (CF) conventions) are supported,

along with many other formats. • The WCT provides tools for custom data overlays, Web Map Service (WMS)

background maps, animations and basic filtering.

Weather and Climate Toolkit (WCT)• The export of images and movies is provided in multiple formats.

• The WCT Data Export Wizard allows for data export in both vector polygon/point (Shapefile, Well‐Known Text) and raster (GeoTIFF, ESRI Grid, Gridded NetCDF) formats. 

• These data export features promote the interoperability of weather and climate information with various scientific communities and common software packages such as ArcGIS, Google Earth, MatLAB, etc… 

• The WCT also supports an embedded, integrated Google Earth instance. 

• The Google Earth Browser Plug‐in allows seamless visualization of data on a native 3‐D Google Earth instance linked to the standard 2‐D map. 

• Additional features include 3D rendering of Radar sweeps in Google Earth through the use of the COLLADA modeling technology

Networks Supported

NEXRAD, TDWR ( LVL III), Satellite, Model• Data Formats include:

• Gridded NetCDF, HDF and OPeNDAP• GRIB version 1 and 2• NEXRAD Level‐II• NEXRAD, TDWR Level‐III• GOES AREA Files• GINI• GEMPAK Grids• XMRG MPE 

Applications• 3D Radar Sweeps in Google Earth:

– Drapes rendered image on COLLADA model

Applications• 3D Isosurfaces in Google Earth:

– Output of 3D Polygons to KMZ• Supported for Generic Radial, Level‐II NEXRAD and Gridded x, y, z datasets.

Play Movie

Radar Networks Supported at NCDCOther Radar Network data and products available:• NOAA Regional & ConUS Radar‐based Precipitation Mosaic (Stage IV)• RIDGE Mosaics (Radar Integrated Display with Geospatial Elements)• Environment Canada Radar Network 41 Sites (C‐band)• NOAA 3‐D Reflectivity and QPE mosaic (product ‐ 1km resolution)

Potential future Radar networks data & products available:• NWS River Forecast Center generated QPE (stage III)• Collaborative Adaptive Sensing of the Atmosphere (CASA) Radarnetwork (X‐band)• Other Global distributed radar networks (Operational Programme for the Exchange of weather Radar information ‐ OPERA)• Phase Array Radar Networks (~20??) 

1/10/2013 AMS EIPT Conference 19

Summary

• Long way from archives of WSR‐57 and 74C 16mm screen captures • Advances in the amount and ease of access of real‐time and archive 

WSR‐88D Level 2 and Level 3 data, then TDWR Level 3, have been steady and ongoing• Collaborative efforts with NEXRAD agencies, universities, private sector, 

Unidata, and other organizations have leveraged resources and expertise• Continued support from Univ. of Oklahoma, Purdue Univ., Educational 

Research Consortium of the Carolinas, and Unidata to make real‐time Level 2 data widely available

• NCDC • Tremendous partner in keeping pace with the amount and various types 

of radar data• More data sets may be added • Superb customer service in reducing data access costs and time; 

development of shareware for data display (Weather &Climate Toolkit)