sp 2 1 routers hardware architecture korzha corr

56
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID 1 Аппаратная архитектура маршрутизаторов и ее особенности в зависимости от их назначения Системный инженер Cisco Systems - Андрей Корж

Upload: evgeny-zhuravlev

Post on 26-Mar-2015

43 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: SP 2 1 Routers Hardware Architecture Korzha Corr

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID 1

Аппаратная архитектура маршрутизаторов и ее особенности в зависимости от их назначения

Системный инженер Cisco Systems - Андрей Корж

Page 2: SP 2 1 Routers Hardware Architecture Korzha Corr

2

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Цели сессии

По итогам сессии получить : 1.  Более глубокое понимание аппаратного

дизайна маршрутизаторов

2.  Определение наиболее важных критериев аппаратного дизайна и их привязки к назначению устройств

3.  Понимание важности аппаратной архитектуры, чтобы при выборе платформы для решения задач мочь сравнивать архитектуры одного класса.

Page 3: SP 2 1 Routers Hardware Architecture Korzha Corr

3

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Содержание

1.  Основные элементы анатомии маршрутизатора.

2.  История развитие маршрутизаторов Cisco

3.  Инженерные ограничения аппаратного дизайна

4.  Дизайн фабрик коммутации

5.  Дизайн Forwarding процессоров

6.  Основные заметки

Page 4: SP 2 1 Routers Hardware Architecture Korzha Corr

4

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Содержание

1.  Основные элементы анатомии маршрутизатора.

2.  История развитие маршрутизаторов Cisco

3.  Инженерные ограничения аппаратного дизайна

4.  Дизайн фабрик коммутации

5.  Дизайн Forwarding процессоров

6.  Основные заметки

Page 5: SP 2 1 Routers Hardware Architecture Korzha Corr

5

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

• Обрабатывающиеэлементы• control‐plane–OSпроцессор• data‐plane–сетевойпроцессор

• Память• DRAMдляOSипакетныхбуферов• SRAMдля«кэшей»различногоназначения• TCAMдлябыстрогонахожденияидоступа

• соединения• шинадоступа• последовательныйлинк• фабрикакоммутации

5

Что внутри маршрутизатора?

Page 6: SP 2 1 Routers Hardware Architecture Korzha Corr

6

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

CPU(CentralProcessingUnit)• процессорыширокогоназначания(CISC,RISC)• высокаягибкостьs/w[неделинадопфункционал]• низкаяпроизводительность[до1Mpps]• применение:маршрутизаторыдоступа(ISR)

ASIC(ApplicaKonSpecificIntegratedCircuit)• одноцелеваяаппаратнонеизменнаяфункциональность• низкаягибкостьреинжиниринга[2года]• высокаяпроизводительность[более100Mppsсегодня]• применения:коммутаторы(Catalysts),опорныемаршрутизаторы

NP(NetworkProcessor)=“нечтопосредине”• производительность+программируемость,наращиваемость,параллельноемультипроцессирование• умереннаягибкостьs/w[месяцынадопфункционал]• умереннаяпроизводительность[4Mpps–40Mpps+]• недешевы,достаточноэнергоемки• уровнипрограммируемости–u‐code,C‐code• применение:высокопроизводительныефункциональные

edgeиагрегация 6

Производительность или гибкость?

Page 7: SP 2 1 Routers Hardware Architecture Korzha Corr

7

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Сегодняприменяютсядвеосновныхтехнологиипамяти:

•  StaKcRAM(SRAM,SSRAM)•  DynamicRAM(DRAM,EDODRAM,SDRAM,DDR)

SRAM DRAM

Низкое потребление Высокое потребление

Высокая скорость [10-15ns]

Низкая скорость [40-60ns] /25

Низкая плотность [eg. 16M per chip]

Высокая плотность [eg. 1G per chip]

7

Типы памяти

Page 8: SP 2 1 Routers Hardware Architecture Korzha Corr

8

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Деревопоследовательныхпоисков

8‐8‐8‐8используетвIOSвбольшинствеплатформ

16‐8‐8в12000,11‐8‐5‐8‐C10K

Альтернативныеподходы–8‐1‐1‐1‐1‐1‐1‐1‐1‐1‐1‐1...(вSRAM)

TCAM(TernaryContentAddressableMemory

Троичная Ассоциативная память)

SRAMскомпараторомдлякаждойячейки

1проход–оченьбыстро,нооченьдорого

параллельноевыполнениенезависимыхпоисков(ACL,QoS,Neflow,FIB)

Содержимое и маска Адрес

запрос результат 192.168.200.111

192.168.200.xxx 192.168.300.xxx

192.168.100.xxx 801 802 803

802

DENY

. . .

. . .

8

Типы памяти (продолжение)

Page 9: SP 2 1 Routers Hardware Architecture Korzha Corr

9

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

• шина• полудуплекс,sharedmedium• НапримерPCI[800Mbpsдо25Gbps+]• простоидешево

• Последовательныйлинкточка‐точка• выделенное,одноилидвух‐направленноесоединение• напримерSPI[11.2Gbps+]• синхронный,скодированиемвлинии

• Фабрикакоммутации(cross‐bar,exchange)• неблокируемая,полныйдуплекс,any‐to‐any• напримерGSR,ASR9k,CRS[40Gbpsto9.6Tbps+]• характеристики

• cellилиframeкоммутирующие• центральныйилираспределенныйарбитр• одноилидвухуровневаякоммутация• реплицируетмультикастилинет• естьлиреализацияQoSвс.фабрике 9

Соединения

Page 10: SP 2 1 Routers Hardware Architecture Korzha Corr

10

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Содержание

1.  Основные элементы анатомии маршрутизатора.

2.  История развитие маршрутизаторов Cisco

3.  Инженерные ограничения аппаратного дизайна

4.  Дизайн фабрик коммутации

5.  Дизайн Forwarding процессоров

6.  Основные заметки

Page 11: SP 2 1 Routers Hardware Architecture Korzha Corr

11

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

CPU Centralized processing

< 1Mpps Unmatched flexibility

Main limit: performance

Эволюция маршрутизаторов

CPU and ASIC Hybrid processing

< 1Mpps Limited flexibility, high performance (9xGE)

Main limit: bus speed

CPU Distributed processing

< 1Mpps High flexibility

Main limit: bus architecture

ASIC Hybrid processing

>10 Mpps Limited features

Main limit: complex architecture

NPU Centralized processing

>1 Mpps Limited features (resolved in

next hardware releases)

Main limit: features

CPU-ASIC-NPU Distributed processing

>50 Mpps Complex feature

dependencies (before Eng3/5)

Main limits: performance, complexity, 20G/slot

ASIC-NPU Distributed processing

>50 Mpps Complex feature dependencies

Main limits: complex architecture

NPU Centralized

>1 Mpps In-line features with

performance

Main limits: centralized

NPU Massively distributed

>500 Mpps Almost ideal architecture

Main limits: price

NPU распределенная

>50 Mpps Единая архитектура

Ограничение: linecard NPU

7200

7500 6500

5500

ASR1000

10000

12000

CRS

7600

ASR9000

Централиз. Полностью распред. Распределенная

NPU (QFP) NPU (CPP, QFAP) ASIC (EARL) + NPU (EzChip)

Page 12: SP 2 1 Routers Hardware Architecture Korzha Corr

12

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Содержание

1.  Основные элементы анатомии маршрутизатора.

2.  История развитие маршрутизаторов Cisco

3.  Инженерные ограничения аппаратного дизайна

4.  Дизайн фабрик коммутации

5.  Дизайн Forwarding процессоров

6.  Основные заметки

Page 13: SP 2 1 Routers Hardware Architecture Korzha Corr

13

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Forwarding [Mpps]

Пропускная способность

[Gbps]

Forwarding процессор

Processing budget per packet [ns]

Потребление на Гигабит [W]

Стоимость на Гигабит [GPL USD]

Catalyst 4500 250 320 Централизованный

1x1 4 (no code) 2 500

Cisco XR12000 240 300 Распределен

ный.

15x4 250 (u-code) 25 6500

Cisco ASR1000 16 20 Централизов

анный

1x40 2000 (C code) 30 5000

13

Выбор архитектуры или архитектура выбора

Page 14: SP 2 1 Routers Hardware Architecture Korzha Corr

14

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Инженерные ограничения

1.  Основные ограничивающие факторы: – цена

– энергопотребление

– охлаждение

– габариты

– производительность – гибкость / перепрограммируемость – Инновационность, технологичность

Page 15: SP 2 1 Routers Hardware Architecture Korzha Corr

15

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Цена как ограничение

1.  Соревнование производителей : лучше = лучше

2.  ...Но кроме этого - дешевле = лучше

3.  Фактор толкающий производить продукты не высокой инновационности с минимизацией расходов на R&D.

4.  Дешевле = больше ограничений, короткий жизненный цикл, частое использование продуктов, разработанных для применения в других уровнях сети для другого класса задач и условий эксплуатации.

Page 16: SP 2 1 Routers Hardware Architecture Korzha Corr

16

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Ватты и джоули

1.  Сейчас мы имеем ~400W per slot (CRS, ASR9k) Плюс фабрика, RP, вентиляторы системы теплоотвода... ~15W на Gbit/s для CRS-1 ~6W на Gbit/s для CRS-3

2.  Будущие генерации: 600Вт? 800Вт? На слот 3.  Модульные системы питания (CRS/ASR9k), можно

добавлять по мере заполнения шасси линейными картами 4.  2 по N-чипов: >2x э/потребление, один чип 2N чипов -

экономичнее

5.  Архитектура чипов Cisco (один «но большой») - более «green»

Хотя требует больше времени на разработку.

Page 17: SP 2 1 Routers Hardware Architecture Korzha Corr

17

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Ватты и джоули(продолжение)

1.  ASR1k - “green”: <130-400W под 20G трафика с услугами

Находится в пределах как CRS/ASR9k

2.  „Green” модное словечко Следует обращать внимание на условия декларируемого потребления.

3.  Технологии низкого ЭП: clock gating, asynchronous processors, фрагментарное обесточивание по необходимости...

4.  Разработка новых чипов Движение к 45nm технологии позволило снизить потребление на 1/3 (доступна с 2008) 32nm в 2010, 22nm в 2011, 16nm > 2015

Page 18: SP 2 1 Routers Hardware Architecture Korzha Corr

18

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Теплоотвод

1.  Airflow дизайн front-to-back

может не отвечать NEBS требованиям к фильтрации

side-to-side Требует более широкого шасси

front_top-to-back_bottom Ограничивает размер линейных карт

2.  Моделирование температурных режимов.(изменение кострукции LC и т.д.)

3.  Жидкостное охлаждение? (дорого, сложно)

Page 19: SP 2 1 Routers Hardware Architecture Korzha Corr

19

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Габариты

1.  „Недвижимость” на карте очень ограничена 12k linecard ~1500cm^2

CRS-1 linecard ~2300 cm^2

2.  Площадь одного чипа 200-300 cm^2 Менее 10 чипов на линейную карту?

Плюс коннекторы к backplane

Плюс межчиповые соединения

3.  Передняя понель для коннекторов и оптики

Page 20: SP 2 1 Routers Hardware Architecture Korzha Corr

20

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Производительность 1.  Враждующий треугольник : Пропускная способность

- производительность forwarding (PPS) - используемый функционал

2.  Сохранение абсолютной скорости линейного интерфейса(в pps) - дорого.

Линейные карты CRS поддерживают множество функционала за счет дорогого процессора обработки (MSC), часто предпочитаются менее производительные недорогие (FP)

3.  «Cell tax» и другие побочные эффекты Снижение производительность при разных размерах пакетов

4.  Репликация Multicast Проще дизайн, но ограничения в производительности

Page 21: SP 2 1 Routers Hardware Architecture Korzha Corr

21

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Гибкость

Три основных типа ASICs для выбора 1.  Field Programmable Gate Array (FPGA)

–  наинизшая фикс. цена, самая высокая цена в развитии

2.  Masked Gate Array (MGA) –  средний показатель цен между FPGA и CIBC ;-)

3.  Cell Based Integrated Circuit (CIBC) – Самая высокая фикс. цена, наиинизшая на доработку

Page 22: SP 2 1 Routers Hardware Architecture Korzha Corr

22

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Инновационность и технологичность

1.  Постоянно изменяющееся: Технологические процессы(45nm и менее)

SPI ( убыстряются)

Эффективность теплоотвода(незначительно)

Оптимизация чипов(дизайн)

2.  Для новых технологических процессов цена на элемент

На 40 % на первом году

На 30 % на втором году

Затем остается постоянной

3.  Новый технология внедряется каждые ~2 years

Page 23: SP 2 1 Routers Hardware Architecture Korzha Corr

23

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Инновационность и технологичность (прод)

1.  Дизайн маршрутизатора новой генерации требует около 4 лет!

В CRS (с 2008) применяется 65nm технология (2006)

...но его дизайн делался существенно ранее

2.  Беря в расчет 2-х летний цикл выхода новой технологии, процесс планирования и дизайна нового устройства должен начаться практически еще до выхода предыдущего.

Page 24: SP 2 1 Routers Hardware Architecture Korzha Corr

24

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Коротко о дизайне чипов 1.  Electronic design automation (EDA) 2.  ULSI (Ultra Large Scale Integration)- >1M

транзисторов. 3.  Функциональный дизайн(используя библиотеки)

–  Размер, э/потребление, clocking speed

4.  Тестирование эмуляцией в software(synthesis) 5.  Подготовка процесса производства 6.  Производство прототипов 7.  Широкое тестирование прототипов 8.  Если баг в в hardware -> „re-spin ASIC”

Задержка выпуска на несколько месяцев

9.  При ограничении архитектуры -> частый „re-spin ” платформы....

Page 25: SP 2 1 Routers Hardware Architecture Korzha Corr

25

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Немного о производстве чипов 1.  Чипы производят на кремниевых подложках

называемых «вафлями» от 300mm до 450mm Модернизация фабричного оборудования под новый технологический

процесс 10млрд. $

2.  Размер функциональности(сколько займет силиконового пространства)

3.  Сколько места на подложке „рабочее” 60-90% чипа, остальное – соединения

4.  Чем больше чип – вероятность ошибки выше при одинаковой технологии

–  Close to 0% (zero) for complex chips, in initial phase!

–  Quickly climbs to over 50% in the first months of production

–  Final yield is typically over 90%

–  For complex chips (such as Cisco) this is not so easy

Page 26: SP 2 1 Routers Hardware Architecture Korzha Corr

26

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Содержание

1.  Основные элементы анатомии маршрутизатора.

2.  История развитие маршрутизаторов Cisco

3.  Инженерные ограничения аппаратного дизайна

4.  Дизайн фабрик коммутации

5.  Дизайн Forwarding процессоров

6.  Основные заметки

Page 27: SP 2 1 Routers Hardware Architecture Korzha Corr

27

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Эволюция фабрик коммутации

• Шина‐>1‐ступ.фабрика‐>2‐ступ.фабрика

• Ac�ve/standbyфабрика‐>ac�ve/ac�veфабрика

• STM‐4‐>STM‐16‐>10GE‐>STM‐256‐>100GE

• входящая‐>исходящаярепликацияmul�cast

• FabricQoS(науроках76/12k!)

• ОбщийRX/TXASIC‐>независимыеRXиTXASIC

27

Page 28: SP 2 1 Routers Hardware Architecture Korzha Corr

28

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Что такое фабрика коммутации?

Ingress Linecards

Egress Linecards

TX

RX

TX

TX

TX

RX RX RX

UNICAST to slot 3

MULTICAST to slots 2,3,4

1

2

3

4

1 2 3 4

Fabric Channel •  addressable fabric port •  one big pipe

What capacity? 4 канала @ 10Gbps неблокируемая

Инженерное: 4 * 10 = 40Gbps fdx

Маркетинговое: 4 * 10 *2 = 80Gbps

UNICAST to slot 3

Page 29: SP 2 1 Routers Hardware Architecture Korzha Corr

29

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Как выглядела бы идеальная фабрика

1.  Фиксированная цена за порт (тысячи 10G портов)

2.  Высокая плотность (малоразмерность и потребление) 3.  Поддержка субпортов(порты меньшей скорости)

4.  Высокая доступность 5.  Полная неблокируемость(любые комбинации загрузки и

утилизации фабрики без блокировок) Исходящие буфера значительно больше входящих

Нет внутреннего speedup (overspeed, overclocking)

6.  Минимальная задержка

7.  Многоступенчатость 8.  Никаких уловок и компромисов ;)

Page 30: SP 2 1 Routers Hardware Architecture Korzha Corr

30

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Компромисы к дизайну фабрики

1.  «Субпорты» и настоящая неблокируемость крайне дорога

2.  Попытка минимизировать : Более высокая скорость обработки внутри фабрики чем требуется линейным картам

дополнительная обработка очередей и управление потоками внутри фабрики

Page 31: SP 2 1 Routers Hardware Architecture Korzha Corr

31

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Cisco CRS-1 фабрика коммутации

1 of 8

2 of 8

8 of 8

1

2

8

1

2

16

40 Gbps

Line Card Line Card

50 Gbps 136 Bytes Cells

Fabric Chassis

100 Gbps/LC(2) (2.5X Speedup)

1296 X 1296 буферизованный неблокируемый коммутатор Многоступенчатый интерконнект - трехступенчатая топология Бенеша End2end управление прохождением трафика( flow control)

S1 S2 S3

S1 S2 S3

S1 S2 S3

Два уровня приоритета HP Low Latency Traffic LP Best Effort Traffic

Поддержка мультикаста 1M Multicast Groups

Page 32: SP 2 1 Routers Hardware Architecture Korzha Corr

32

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Почему нужен speedup?

1.  Блокировка субпортов и speedup

STM16

STM16

STM16

STM16

10G 10G

0G

0G

0G

20G 10G

2,5G

2,5G

2,5G

Page 33: SP 2 1 Routers Hardware Architecture Korzha Corr

33

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

per-bit loadsharing 4 planes = 25Gbps - 8/10 code = 20Gbps

7+1 switch fabric •  Cisco CRS-1/16, •  40G linecard, 18x18 matrix •  1 fabric port на слот •  active/active redundancy •  cell-based (136B cell), more packets packed in a cell

TX RX

4x 2.5Gbps links

per-cell loadsharing 8 planes = 80Gbps - 8/10 code = 64Gbps - cell tax = ~56 Gbps

8x 2.5Gbps links

Примеры фабрик

TX RX

2x 3.125Gbps links

Active RSP

Standby RSP

4:4 switch fabric •  Cisco 7600, 720 Gbps •  40G linecard, 18x18 matrix •  2 fabric ports на слот •  active/standby redundancy •  frame-based (64-9KB)

20G 20G

40G 40G

Page 34: SP 2 1 Routers Hardware Architecture Korzha Corr

34

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

“Non-Blocking”?

Ingress Linecards

TX

TX

RX

RX

Egress Linecards

10G

10G 10G

10G

Port-to-Port трафик • Нет потерь пакетов

TX

TX

RX

RX 10G

10G 10G

10G

Any-to-Any трафик •  Voice/Video/Data •  Unicast/Multicast •  есть потери! Почему?

Page 35: SP 2 1 Routers Hardware Architecture Korzha Corr

35

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Multicast репликация репликация на выходе

TX

TX

RX

RX

RX

RX

Ingress Linecards Хорошо:

Репликация на выходе •  Cisco CRS, 12000 •  Cisco ASR9K, 7600

10Gbps of multicast eats 10Gbps fabric bw!

TX

TX

RX

RX

RX

RX

Ingress Linecards

Неплохо: Выделеный fabric plane Репликация на выходе

Выделеный только под 2.5G multicast- slot (10G multicast impossible)

Page 36: SP 2 1 Routers Hardware Architecture Korzha Corr

36

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Если фабрика не реплицирует? Обходы при репликации на входе

Плохо: Репликация на входе •  один репликационный чип

10Gbps multicast съедает 160Gbps fabric bw! (10G multicast невозможен)

Достаточно неплохо: бинарная репликация на входе •  примитивная фабрика коммутации 10Gbps multicast съедает 80Gbp fabric bw! (10G multicast невозможен)

TX

TX

RX

RX

RX

RX

Egress Linecards

Ingress Linecards

TX RX

Ingress Linecards

TX RX TX RX TX RX

TX RX TX RX TX RX TX RX

RX RX RX RX

RX RX RX RX

Page 37: SP 2 1 Routers Hardware Architecture Korzha Corr

37

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Ingress DPC

Egress LC’s

X

X

X

X

OIRпролема• приизвлечениилинейнойкартыпотокивидеотеряютсяхаотически

Binary Tree проблемы

16171819202122232425262729303132

3334 6364

08 09 10 11 12 13 14 15

04 05 06 07

02

01

03

36384042444648

Page 38: SP 2 1 Routers Hardware Architecture Korzha Corr

38

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Cell tax - пояснения

% o

f Lin

erat

e

L3 Размер пакета [B]

40

100

200

300

400

500

600

700

800

900

1000

1100

1200

1300

1400

1500

Cell Tax эффект на Linerate: пилообразная кривая

cell payload [48B]

cell hdr [5B]

Пример формата ячейки:

Фикс. overhead [cell header, ~10%] Относительный overhead [fabric header] изменяемый overhead [padding]

40B IP Packet: IP Packet [40B]

cell hdr [5B]

buffer hdr [8B]

Хорошая эффективность 1Mpps = 1Mcps 1Gb/s 1.33Gb/s

41B IP Packet: IP Packet [first 40B]

cell hdr [5B]

buffer hdr [8B]

empty [47B padding]

cell hdr [5B]

IP Packet [last 1B]

плохая 1Mpps = 2Mcps 1Gb/s 2.6Gb/s

64B IP Packet: IP Packet [first 40B]

cell hdr [5B]

buffer hdr [8B]

empty [24B padding]

cell hdr [5B]

IP Packet [last 24B]

посредствен 1Mpps = 2Mcps 1Gb/s 1.7Gb/s

Page 39: SP 2 1 Routers Hardware Architecture Korzha Corr

39

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Cell tax невидимы трафику в CRS

Percen

tageofLinerate

80%

60%

40%

20%

0%

100%

120%40

100

200

300

400

500

600

700

800

900

1000

1100

1200

1300

1400

1500

140%

L3Размерпакета[B]

Упаковывниепакетов(super‐framing):

IPPacket1cellhdr

bufferhdr IPPacket2

bufferhdr

beginningofIPPacket3cellhdr

bufferhdr

restofIPPacket3cellhdr IPPacket4

bufferhdr

Page 40: SP 2 1 Routers Hardware Architecture Korzha Corr

40

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Cell tax – недостаточный overspeed

Про

центотLine

rate

80%

60%

40%

20%

0%

100%

120%

L3Размерпакета[B]

40

100

200

300

400

500

600

700

800

900

1000

1100

1200

1300

1400

1500

140%

Page 41: SP 2 1 Routers Hardware Architecture Korzha Corr

41

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Cell tax ухудшение + 10% multicast (за счет binary tree таксы на репликацию)

Про

центотLine

rate

80%

60%

40%

20%

0%

100%

120%

L3Размерпакета[B]

40

100

200

300

400

500

600

700

800

900

1000

1100

1200

1300

1400

1500

140%

Page 42: SP 2 1 Routers Hardware Architecture Korzha Corr

42

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Cell tax худший случай – при отказе одного из модулей фабрики

Про

центотLinerate

80%

60%

40%

20%

0%

100%

120%

L3Размерпакета[B]

40

100

200

300

400

500

600

700

800

900

1000

1100

1200

1300

1400

1500

140%

Page 43: SP 2 1 Routers Hardware Architecture Korzha Corr

43

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

CRS-1 •  40G eth. Неблокируема при отказе 1 или 2 fabric cards TX RX

Избыточность фабрики – отказ fabric card

TX

Standby RSP

ASR9000 •  80G Неблокируема при отказе RSP •  cell tax – не проблема (superframe-based fabric, не cell based)

Active RSP

Active RSP

80G 80G

40G 40G

X

X

1. failed: 56G 49G 2. failed: 49G 42G

X

failed RSP: 180G 90G

CRS-3 •  100G eth. Неблокируема при отказе 1 или 2 fabric cards

TX RX

RX

2x overspeed

Page 44: SP 2 1 Routers Hardware Architecture Korzha Corr

44

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

TX

Active RSP 80G 80G

TX RX

RX

TX RX

Избыточность фабрики – отказ fabric card

Active RSP

40G 100G

40G 100G

X

X

CRS-1: 56G 49G 42G CRS-3: 141G 123G 106G

X

failed RSP: 184G 92G

2x egress speedup

CRS-1 •  40G eth. Неблокируема при отказе 1 или 2 fabric cards CRS-3 •  100G eth. Неблокируема при отказе 1 или 2 fabric cards

ASR9000 корректный active/active •  80G Неблокируема при отказе RSP •  cell tax – не проблема (superframe-based fabric, не cell based)

Page 45: SP 2 1 Routers Hardware Architecture Korzha Corr

45

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Вариант 1 •  2 х SFM/RSP’s (SF + RP) • blocking if only 1 SFM active

Избыточность фабрики–варианты active/active

TX Active SFM

Active SFM

50G 50GX

failed SFM/RSP: 105G 52G - massive cell dip for 50G (ok for 40G) - blocking! with m’cast

RX

Вариант 2 •  3rd SF (inactive control-plane) •  no backward compatibility

•  blocking if only 2 SF’s active

TX

Active SF

80G 80GTX RX

RX Active SF

RX

RX TX

TX Active SF

X

Failed SF: 126G 84G - massive cell dip - blocking! with m’cast

x8

x8

Page 46: SP 2 1 Routers Hardware Architecture Korzha Corr

46

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

HoLB (Head of Line Blocking)

решение: Полосы по направлениямs (= Virtual Output Queues)

смягчение/решение: Есть место для разъезда (= Overspeed)

Traffic Lights (= Arbiter!)

Page 47: SP 2 1 Routers Hardware Architecture Korzha Corr

47

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Input Q’s (IP) - configurable - shaped

TX

TX

RX

RX 40G

40G 112G

112G

неявный backpressure + Linecard Queues (VOQ) •  Cisco 12000 или ASR9000 • VOQ (Virtual Output Queues) на исходящий слот

A9K To-Fab: 266 A9K From-Fab 36

Ingress Linecards

TX

TX

RX

RX

Egress Linecards

10G

10G 14G

14G

arbiter grant

Virtual Output Queues (IP) - 8 на ислодящий слот (IPP/EXP) - Voice: strict scheduling - Multicast: separate queues

explicit backpressure

no Grant = implicit backpressure IP ASIC cell ASIC

Хорошее HoLB решение Планировщик + Backpressure + QoS

явный backpressure + Fabric Queues •  Cisco CRS (1296 slots!) •  6144 destination queues •  512 speedup queues •  4 очереди в каждой точке (Hi/Lo UC/MC) + vital bit

Fabric Queues (cells) - u’cast: strict Hi, Lo - m’cast: strict Hi, Lo

Destination Queues (packets) - u’cast: strict Hi, Lo - m’cast: strict Hi, Lo

Speedup Queues (packets) - u’cast: strict EF, AF, BE - m’cast: strict Hi, Lo

S2 S3 S1

8q 8q

Page 48: SP 2 1 Routers Hardware Architecture Korzha Corr

48

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Ограниченный и недостаточные HoLB обходы Virtual Output Queues и Backpressure

Порог отбрасывание низкоприоритетного трафика • Cisco 7600 clear-block •  арбитр с backpressure •  входной порог для приоритетного трафика •  защита voice/TV при загрузке

Ingress Linecards

TX

TX

RX

RX

Egress Linecards

20G

20G 20G

20G

arbiter grant

Fabric Queue Threshold - drops data packets causing HoLB - protects Voice/Video traffic!

TX

TX

RX

RX 10G

10G 18G

18G

grant arbiter

request/grant loss = high latency!!!

бедный Fabric QoS дизайн •  не-linerate распред. арбитр -увеличение задержки при нагрузках •  2 равновесовые очереди -отбрасывает и voice/video

Destination Queues - no strict scheduling - no multicast queues

Overspeed Queues - Нет строгого планирования - Нет multicast очереди

voice/video loss!!!

Page 49: SP 2 1 Routers Hardware Architecture Korzha Corr

49

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Пропускная способность фабрики и арбитр Почему неблокируемые фабрики блокируются?

Ingress Linecards TX

TX

TX

TX

RX

RX

RX

RX

Egress Linecards Arbiter

Scheduler

Ingress Linecards

TX

TX

TX

TX

RX

RX

RX

RX

Egress Linecards arbiter

arbiter

arbiter

arbiter

Центральныйсинхронныйарбитр

• Cisco12000,7600,ASR9K• неблокируемаяарбитрация

SFзагружаетсяна100%емкости.

Асинхронныйраспределенныйарбитр

• Dualgrantproblems

• Dualrequestproblem

SFначинаетблокироватьсяпризагрузке>66%.

2 grants (1 lost)

timeout

grant

timeout 2 requests(1 lost)

send to slot2

GRANT CELL

CELL

non‐blocking*)

non‐blocking

*)ifnotloadedtoomuch

Page 50: SP 2 1 Routers Hardware Architecture Korzha Corr

50

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Что еще стоит заметить о перспективных дизайнах фабрики

1.  Универсальность фабрики?

2.  Фабрика коммутации Cisco 12000 имела дизайн позволяющий транспортировать АТМ ячейки.Эта емкость фарики – на сейчас невсотребована.

3.  Фабрики коммутаций новых платформ вполне могут быть гибридными сочетая способность обрабатывать фрэймы наряду с иными видами коммутации.

Page 51: SP 2 1 Routers Hardware Architecture Korzha Corr

51

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Содержание

1.  Основные элементы анатомии маршрутизатора.

2.  История развитие маршрутизаторов Cisco

3.  Инженерные ограничения аппаратного дизайна

4.  Дизайн фабрик коммутации

5.  Дизайн Forwarding процессоров

6.  Основные заметки

Page 52: SP 2 1 Routers Hardware Architecture Korzha Corr

52

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Почему не CPU?

1.  Если дизайн чипов так сложен , почему не СРU?

2.  Gigabit Ethernet = max. 1 488 952 Ппкс

3.  На обработку одного 671 ns времени процессора

4.  Время доступа к памяти 10..60 ns

5.  Т.е. 10 -60 раз доступиться к памяти на пакет! Считать IP address получателя

Переписать IP header (TTL, checksum)

...не говоря об остальном

6.  „Почти” хватает. Но как быть с 10GE/40GE/100GE

7.  Решение – только параллельное процессирование

Page 53: SP 2 1 Routers Hardware Architecture Korzha Corr

53

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Forwarding ASIC’s и Network Processors Цена vs. Производительность vs. Гибкость КонвейерныйL2/L3SwitchASIC

• Catalyst4500• 250Mpps,320Gbps

ПараллельныйL2/L3SwitchASIC• Catalyst6500• 48Mpps,80+Gbps

КонвейерныйASICсмикрокодовымиступенями• Cisco12000• 16Mpps,10Gbps• сложныйфункционал–cRTP,AToM,MVPN...

КонвейерныймикрокодовыйNP• Cisco10000,7300• 9Mpps,18Gbps• сложныйфункционал–PPPoE,ISG...

КонвейерныйSMP(symmetricmulKprocessing)микрокодовыйNP• Cisco7600,ASR9000• 20Mpps,20Gbps• оченьсложныйфункционал–VPLS,PPPoE,ISG,Vidmon...

МассивSMPu‐программир.NP• CiscoCRS‐1• 80Mpps,40Gbps• 185Mтранзисторов• core/edge/carrierE

МассивSMPC‐программир.NP• CiscoASR1000>40patents• 16Mpps,20Gbps• 1.3Btransistors• полностьюпрограммируемнаC• 100engineers,5years• обработкавсегоителапакета!(firewalls,IPSec,DPI,ISG,...)

Page 54: SP 2 1 Routers Hardware Architecture Korzha Corr

54

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

CRS-1 как инженерный труд Дизайн занял 4 года   10 ASICs разработано исключительно для

CRS-1

  Одни из самых сложных чипов в индустрии (исключая графические чипы карт в PC ;-)

Metro

Squirt

Sprayer

Reindeer

Bambi QLink

Sharq

Sea

Moose

Sponge

Page 55: SP 2 1 Routers Hardware Architecture Korzha Corr

55

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID

Опросник к выбору оборудование под практическое применение

Стоимость 10G

Фабрика коммутации

масштабируенмость

Фабрика коммутации

арбитрация

Фабрика коммутации

Multicast

Фабрика коммутации

overspeed

Forwarding процессор

Агрегация Синхронная центральная

Репликация, отдельные очереди

ASIC/NP - микрокод

Edge SMP/NP - С

код Репликация, отдельные очереди

SMP/NP - С код

Core Нет арбитра ,

много очередей и

backpressure

Репликация, отдельные очереди

ASIC/SMP - микрокод

Page 56: SP 2 1 Routers Hardware Architecture Korzha Corr

56

© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID