bo roos lindgreen - schaalbare data storage bij hyves (storage expo 2010)
TRANSCRIPT
![Page 1: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/1.jpg)
![Page 2: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/2.jpg)
over Hyves
• Nederlands Social Network
• Opgericht in 2004
doel en nut van Hyves:
• Communicatie
• Identiteit
• Applicaties
• Lokale relevantie
statistieken:
• 6.7 B pageviews/m
• 7.2 M unieke bezoekers/m
• 1 B foto’s
• 1 M foto uploads/dag
• 2 B berichten
tekst
over Hyves
![Page 3: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/3.jpg)
Hyves en foto’s
![Page 4: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/4.jpg)
design criteria
![Page 5: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/5.jpg)
gebruiks criteria
![Page 6: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/6.jpg)
bestanden
![Page 7: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/7.jpg)
1. schaalbaarheid
2. performance
3. prijs
probleemstelling
![Page 8: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/8.jpg)
Hyves oplossing
![Page 9: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/9.jpg)
a brick
![Page 10: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/10.jpg)
media
uploaders
web
servers
media
index
bricks
bricks
bricks
bricks
1
2
3
2
1
3
4
media design
![Page 11: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/11.jpg)
tooling
![Page 12: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/12.jpg)
prijs
![Page 13: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/13.jpg)
schaalbaarheid
performance
prijs
checklist
![Page 14: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/14.jpg)
Mediaindex te groot
Grotere disks kunnen niet optimaal worden ingezet
IP adressen zijn schaars
Bricks schalen lineair
nieuwe uitdagingen
![Page 15: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/15.jpg)
1. mediaindex
2. disk grootte
3. lineaire groei
4. schaarste IP
probleemstelling
![Page 16: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/16.jpg)
MEDIAINDEX
mediaindex
![Page 17: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/17.jpg)
Per bestand hebben we nu zo’n 6 IO operaties
nodig
We ontwerpen nu een systeem dat maar 1 IOo
per bestand nodig heeft
Voordelen:
~6 keer grotere disks mogelijk met de zelfde rpm
~6 keer minder bricks nodig
~6 keer minder disk failures
~6 keer minder offloads (en dus minder
mankracht)
diskgrootte
![Page 18: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/18.jpg)
web
serversmedia
index
bricks
bricks
bricks
2
1
3
4media
routers
5
mediarouter
![Page 19: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)](https://reader034.vdocuments.us/reader034/viewer/2022042714/5577c519d8b42a1c068b537c/html5/thumbnails/19.jpg)
Wij hebben een kostenefficiente, schaalbare oplossing ontwikkeld die is
toegespitst op onze specifieke problematiek
Oplossing vergt aanpassingen en werk aan de programmatuur
Elke oplossing heeft weer nieuwe grenzen
samenvatting