nyc remapped

81
"%% # "%% # SemTechBizNYC Oct 16, 2012 Joel Natividad [email protected] @jqnatividad

Upload: joel-natividad

Post on 25-Jun-2015

298 views

Category:

Technology


0 download

DESCRIPTION

The power of Linked Open Data in NYC

TRANSCRIPT

Page 1: NYC Remapped

��"�%%����#� ���"�%%����#� �

SemTechBizNYCOct 16, 2012

Joel [email protected]

@jqnatividad

Page 2: NYC Remapped

Human-powered,Machine-accelerated,

Collective Knowledge Systems

CROWDKNOWING

��

Page 3: NYC Remapped

3.0Grand Prize Winner

��

April 17, 2012

Founders

Page 4: NYC Remapped

A

��&����&��#�0�)$#��-�&�

��

March 31, 2011

Page 5: NYC Remapped

Semantic Open Data Federator

Semantic Open Data Federator

Semantic Open Data Federator

DBCC

Page 6: NYC Remapped

Semantic Metadata Repository

Semantic Metadata Repository

Semantic Metadata Repository

DBCD

Page 7: NYC Remapped

“Smarter City” Platform“Smarter City” Platform“Smarter City” Platform

DBCE��#����/$#�

Page 8: NYC Remapped

Story about NYC Open Data

Page 9: NYC Remapped
Page 10: NYC Remapped

The Original Data Geek

Page 11: NYC Remapped

��

����

4

I4F���!!�$#� *1�&%&-"�+%$

CI4J���!!�$# �*(%�����&%&-"�+%$

CB2HEB�%�$%!�8 "D�

� *1���$) *1

GB�"�!!�$#�,�'�($&'���1��(

?�C4DI��&�!!�$#�(%))� �*(%&%" *�$��(%�-�*;�(�1� ""���. )%()<

?�=EDG��%����$$-�"��-���*

������*%���%�(�!�$��(����$&!�

��'(�'(��&$-�#�������#�+'(&/8��/������� *19�;��$*�(��%(��$��(��$��-*-(�<

Page 12: NYC Remapped

NYC’sLandmark

Open  Data  Law

Mar  7,  2012

WHY

 NYC

?

“...publishing of public data sets in raw or unprocessed form through a single web portal by city agencies for the purpose of making public data available to the greatest number of users and for the greatest number of applications and shall, whenever practicable, use open standards for web publishing and e-government.

Local  Law  11,  §  23-­‐505:

Page 13: NYC Remapped

>?

Tech

Med

ia

Bios

cien

ce

Fash

ion

Edut

ech

Indu

stri

al

Fina

ncia

l Ser

vice

s

Resi

dent

s

Tour

ists

Visi

tors

Gov

ernm

ents

NG

Os

Rese

arch

ers

>?

�����"%��"�-��%��)�.�(�"���*�:�( .�$�$�-)*( �)6

Page 14: NYC Remapped
Page 15: NYC Remapped

NEW YORK CITY S

DIGITAL ROADMAP

the city of new york ! august 2012

PROGRESS & INNOVATION

DigitalRoadmap_081812.indd 1

18/08/12 5:06 PM

Page 16: NYC Remapped
Page 17: NYC Remapped
Page 18: NYC Remapped
Page 19: NYC Remapped
Page 20: NYC Remapped
Page 21: NYC Remapped
Page 22: NYC Remapped
Page 23: NYC Remapped
Page 24: NYC Remapped
Page 25: NYC Remapped

DEMO

Page 26: NYC Remapped

What if you can mashup any NYC Open Data Set?What if you can mashup

any NYC Open Data Set?What if you can mashup

any NYC Open Data Set?

Page 27: NYC Remapped

“Smarter City” Platform“Smarter City” Platform“Smarter City” Platform

Page 28: NYC Remapped

is the Killer App of

Open Data

Linked Data

Page 29: NYC Remapped

is the Killer App of Open Data

Linked Data

Page 30: NYC Remapped

BigData

Page 31: NYC Remapped

BigData

Page 32: NYC Remapped

BigDataDataBig

DataBig

DataBig

DATA SCIENCE

Page 33: NYC Remapped

BigData

DATA SCIENCE

LINKEDDATA

Page 34: NYC Remapped

Data Wrangling

Page 35: NYC Remapped

Data Wrangling

Big Boss

Page 36: NYC Remapped

Data Wrangling

Big Boss

DATA

Page 37: NYC Remapped

Data WranglingData Wranglers Big Boss

DATA

Page 38: NYC Remapped

Data WranglingData Wranglers Big BossQuants

DATA

Page 39: NYC Remapped

How can we minimize, if not eliminateData Wrangling?

Page 40: NYC Remapped

“At great expense, each of the largest securities companies collected data independently. Worse (for them but not for me), they were practically relying on abacuses and slide rules, or the modern equivalents, such as small handheld calculators, to manipulate that information. I could provide a far more sophisticated system at a fraction of the price.

PITC

H

Page 41: NYC Remapped

Data Wrangling

Page 42: NYC Remapped

Data Wrangling

Ontodia will do

exactly th

is

for Big Lin

ked Open D

ata.

Page 43: NYC Remapped

Answers from Raw Data

Human-Usable

DeveloperAccessible

6-StarData

Answers from Raw Data

Answers from Raw Data

Human-UsableHuman-Usable

DeveloperAccessibleDeveloperAccessible

6-StarData6-StarData

Page 44: NYC Remapped

Answers from Raw Data

Answers from Raw Data

Answers from Raw Data

joelnatividad
Sticky Note
Click picture to watch Sir Tim Berners-Lee talk about the need for Raw Data on the 20th anniversary of the WWW.
Page 45: NYC Remapped

Answers from Raw Data

Human-Usable

DeveloperAccessible

6-StarData

Answers from Raw Data

Answers from Raw Data

Human-UsableHuman-Usable

DeveloperAccessibleDeveloperAccessible

6-StarData6-StarData

Page 46: NYC Remapped

Human-UsableHuman-UsableHuman-Usable

Page 47: NYC Remapped

Human-UsableHuman-UsableHuman-Usable

Page 48: NYC Remapped

Human-UsableHuman-UsableHuman-Human-Human-UsableUsableUsable

Page 49: NYC Remapped

Answers from Raw Data

Human-Usable

DeveloperAccessible

6-StarData

Answers from Raw Data

Answers from Raw Data

Human-UsableHuman-Usable

DeveloperAccessibleDeveloperAccessible

6-StarData6-StarData

Page 50: NYC Remapped

DeveloperAccessibleDeveloperAccessibleDeveloperAccessible

Page 51: NYC Remapped

Answers from Raw Data

Human-Usable

DeveloperAccessible

6-StarData

Answers from Raw Data

Answers from Raw Data

Human-UsableHuman-Usable

DeveloperAccessibleDeveloperAccessible

6-StarData6-StarData

Page 52: NYC Remapped

6-StarData6-StarData6-StarData

Page 53: NYC Remapped

6-StarData6-StarData6-Star6-Star6-StarDataDataData

Page 54: NYC Remapped

6-StarData6-StarData6-Star6-Star6-StarDataDataData

Page 55: NYC Remapped

Answers from Raw Data

Human-Usable

DeveloperAccessible

6-StarData

Answers from Raw Data

Answers from Raw Data

Human-UsableHuman-Usable

DeveloperAccessibleDeveloperAccessible

6-StarData6-StarData

Page 56: NYC Remapped

��%/�#����" )*�%���""�&(%&�(+�)�/ *����*�0�" �$� $���� .�$�$� ���%(�%%�5�/�%)��" �$� )�"�))�*��$�B=F�%��*��*�&(%&�(+�)7��� (�#�(!�*�.�"-�6

��%/�#��*����-($�(%-$��� #���%(�@>>��%#&"� $*)��%(���� .�$�$� ���%(�%%����*��%( 2����1��%#&"� $*��"�))5��(%)):(���(�$�����/ *���-�" *1�%��� ��� $� ��*%()6

��%/�#����" )*�%���""�� )�%-$*��(%��/�1�)�%/)�*��*��(��#�(!����%/$��1��*�"��)*�A=F� $�*���$�0*�*/%���1)6����%/�&( #�(1��$��)��%$��(1�#�(!�*&"���)6

� .��#���""�*��)��'-�( �)6��������%(#�*5�%$�������1��*�>�#����6��� .��#����"*���"�)��)�/�""��)�$�/���*�6���/�$*�� )*%( ��"���*���)�/�""�*%�)-&&%(*�+#��)�( �)��$�"1) )6

����� �

��� ���8 �������

����

������

���������8���������

����� �����������������������������������������������!����������������������������������������������!���������������!��������������������!���������������������������!� ���������������������������!����������������������������$##�����"

����������������������������������!������������������������������������������������������!����������������������������������������������!���������������!��������������������!���������������������������!� ���������������������������!����������������������������$##�����"

��������������������������������������!���������������������������������������������������!����������������������������������������������!���������������!��������������������!���������������������������!� ���������������������������!����������������������������$##�����"

����������!�����������������������������������������������!����������������������������������������������!���������������!��������������������!���������������������������!� ���������������������������!����������������������������$##�����"�������������������!����������

����������������������������������������������!����������������������������������������������!���������������!��������������������!���������������������������!� ���������������������������!����������������������������$##�����"

�����

����������������������������������������������!����������������������������������������������!���������������!��������������������!���������������������������!� ���������������������������!����������������������������$##�����"

�����������!� �����������

����������������������������������������������!����������������������������������������������!���������������!��������������������!���������������������������!� ���������������������������!����������������������������$##�����"����������������

����������������������������������������������!����������������������������������������������!���������������!��������������������!���������������������������!� ���������������������������!����������������������������$##�����"����������������������$##�����"

����������������������������������������������!����������������������������������������������!���������������!��������������������!���������������������������!� ���������������������������!����������������������������$##�����"

����

��

��# ����#'-�&'2�#$(���-���(�5

Page 57: NYC Remapped

����� �

��� ���8 �������

����

������

���������8���������

����

��

��# �����(/��#'-�&'2�#$(���-���(�5���������

Page 58: NYC Remapped

����� �

��� ���8 �������

����

������

���������8���������

����

��

� � � � � � � �

��(���.���#��

6�"�&(�&���)�'7� �(-$&

��& �(%!���

��# �����(/��#'-�&'2�#$(���-���(�5���������

Page 59: NYC Remapped

����

��

� � � � � � � �

��(���.���#��

6�"�&(�&���)�'7� �(-$&

��& �(%!���

��# �����(/��#'-�&'2�#$(���-���(�5

������

�������������� �

����

��� ���

���� ��� ��������

� � � � � ����

Page 60: NYC Remapped

����

��

� � � � � � � �

��(���.���#��

6�"�&(�&���)�'7� �(-$&

��& �(%!���

��# �����(/��#'-�&'2�#$(���-���(�5

������

�������������� �

����

��� ���

���� ��� ��������

� � � � � ���� ����

Page 61: NYC Remapped

����

������������

����

��

���������

Page 62: NYC Remapped

������������

Mobile AppsDesktop Apps

WebsiteAnalytics

Feed

=

����

��

���������

Page 63: NYC Remapped

���������

�������

�����

Apps are a specialized

perspective/bundling of DataM

obile

App

sD

eskt

op A

pps

Web

site

Ana

lytic

sFe

ed

=

=

����

��

Page 64: NYC Remapped

������������ ���������

��� ������������������

������������������

������������ ��������������

��� ����� ��

���

��������

Text

CSV

Excel

XML SOA API PubSub

���������

������������

����

��

Page 65: NYC Remapped

������������ ���������

��� ������������������

������������������

������������ ��������������

��� ����� ��

���

��������

Text

CSV

Excel

XML SOA API PubSub

���������

������������

����

��

Page 66: NYC Remapped

Spaghetti Architecture

����

��

Page 67: NYC Remapped

������������ ���������

��� ������������������

������������������

������������ ��������������

��� ����� ��

���

��������

Text

CSV

Excel

XML SOA API PubSub

���������

������������

����

��

Page 68: NYC Remapped

��#����!'����(�!

�����$����#�� ���(�!

�����$���# !�����(�!

��#����!#&���)�$ ��

�(�!

�����$�����!��.����#��+�� ���/

�����$����#��!�$ ����!'���"

��$ ����)�$ ��0���!#&���)�$ �� ����#�

����"# !� �#���#����!'���"

SPARQL

OWL

��#����!'���".���+������'�/

�������!'���".�����+��+�,,,/

� ����$'�#(.����+���$'�+-/

������������ ���������

��� ������������������

������������������

������������ ��������������

��� ����� ��

���

��������

Text

CSV

Excel

XML SOA API PubSub

���������

������������

����

��

Page 69: NYC Remapped

������������ ���������

��� ������������������

������������������

������������ ��������������

��� ����� ��

���

��������

Text

CSV

Excel

XML SOA API PubSub

���������

������������

��������������

� ����������������

� ���������������

�������������������

����

�$� ����

�#� �"�

�!��&� �%�

���

� ���� �� ���

����������

� �

����!�

���� ����������������������������������������

���

� �

�����$���$��

�#�

�&�

T

T

T

T T

T

�� �������������

������� ��

LIN

KED

AN

SW

ERS

�+�')$##(�&����:��2��$&"2������2�!��#�

�#�!�'�;

����

��

������� ��

���������� � ����� ����� ����

�� �������������

Page 70: NYC Remapped

������������ ���������

��� ������������������

������������������

������������ ��������������

��� ����� ��

���

��������

Text

CSV

Excel

XML SOA API PubSub

���������

������������

����

��

��������������

� ����������������

� ���������������

�������������������

����

�$� ����

�#� �"�

�!��&� �%�

���

� ���� �� ���

����������

� �

����!�

���� ����������������������������������������

���

� �

�����$���$��

�#�

�&�

T

T

T

T T

T

�� �������������

������� ��

LIN

KED

AN

SW

ERS

�+�')$##(�&����:��2��$&"2������2�!��#�

�#�!�'�;

Page 71: NYC Remapped

DEMO

Page 72: NYC Remapped

������������ ���������

��� ������������������

������������������

������������ ��������������

��� ����� ��

���

��������

Text

CSV

Excel

XML SOA API PubSub

���������

������������

��������������

� ����������������

� ���������������

�������������������

����

�$� ����

�#� �"�

�!��&� �%�

���

� ���� �� ���

����������

� �

����!�

���� ����������������������������������������

���

� �

�����$���$��

�#�

�&�

T

T

T

T T

T

�� �������������

������� ��

LIN

KED

AN

SW

ERS

�+�')$##(�&����:��2��$&"2������2�!��#�

�#�!�'�;

���������� � ����� ����� ����

�� �������������

����

��

UPGRADING BUILT BUILDINGLEGEND:

������� ��

Page 74: NYC Remapped
joelnatividad
Sticky Note
Click picture to watch short clip of Hans Rosling's take on opening up data.
Page 75: NYC Remapped

... that “Search Function”and something for the everyday user

Page 76: NYC Remapped

SemanticWeb

Page 77: NYC Remapped

PUBLIC

Page 78: NYC Remapped
Page 79: NYC Remapped

RIVER OF DATA

Tech Media Bioscience Fashion Edutech Industrial Financial Services

Residents Tourists Visitors Governments NGOs Researchers

data is the lifeblood of thepost-industrial age

Page 80: NYC Remapped

We need your help & feedback

Find out more atontodia.com & pediacities.com

[email protected]@jqnatividad

Invitation-only access to NYCBigApps 2012 entrantsLaunching First Half 2013

We need your help & feedback

Page 81: NYC Remapped

CREDITS

• Tim Berners-Lee highlight from TED (http://www.ted.com/talks/tim_berners_lee_on_the_next_web.html)

• “Team Roping Williams” taken from virginvagabonds.com

• Hans Rosling highlight from TED (http://www.ted.com/talks/hans_rosling_shows_the_best_stats_you_ve_ever_seen.html)

• “Garden of Data” imagery taken from presentations provided by Hans Rosling & Anna Rosling Rönnlund of gapminder

• several images taken from NYC.gov & NYCEDC properties

• DataGotham logo provided by Hilary Mason

• Various screenshots provided by Revelytix, Spry Inc. and Ontodia, Inc.