Методология воспроизводимых исследованийимитационных моделей и реализаций

коммуникационных протоклов

Дмитрий Юрьевич Чалый

Ярославский государственный университет, Ярославль

13 ноября 2014 г.

Чалый Д.Ю.: Воспроизводимые исследования коммуникационных протоколов 1 / 8

Источник: Google Ngram Viewer. Дата доступа: 12.11.2014.

url: https://books.google.com/ngrams

Чалый Д.Ю.: Воспроизводимые исследования коммуникационных протоколов 2 / 8

Примитивный подход к воспроизводимости

Можно ли откомпилировать и запустить исходный кодэксперимента за 30 минут?

1 Доступен ли код и библиотеки от которых он зависит?2 Компилируется? Запускается?

Christian Collberg, Todd Proebsting, Gina Moraila, AkashShankaran, Zuoming Shi, Alex M. Warren MeasuringReproducibility in Computer Systems Research1

Методология исследования: анализ 613 статей (ASPLOS’12,CCS’12, OOPSLA’12, OSDI’12, PLDI’12, SIGMOD’12, SOSP’11,TACO’9, TISSEC’15, TOCS’30, TODS’37, TOPLAS’34,VLDB’12).

1Доступен по адресу: http://reproducibility.cs.arizona.edu/v1/tr.pdf. Датадоступа: 12.11.2014. Версия документа от 21 марта 2014 г.

Чалый Д.Ю.: Воспроизводимые исследования коммуникационных протоколов 3 / 8

Примитивный подход к воспроизводимости

Можно ли откомпилировать и запустить исходный кодэксперимента за 30 минут?

1 Доступен ли код и библиотеки от которых он зависит?2 Компилируется? Запускается?

Christian Collberg, Todd Proebsting, Gina Moraila, AkashShankaran, Zuoming Shi, Alex M. Warren MeasuringReproducibility in Computer Systems Research1

Методология исследования: анализ 613 статей (ASPLOS’12,CCS’12, OOPSLA’12, OSDI’12, PLDI’12, SIGMOD’12, SOSP’11,TACO’9, TISSEC’15, TOCS’30, TODS’37, TOPLAS’34,VLDB’12).

1Доступен по адресу: http://reproducibility.cs.arizona.edu/v1/tr.pdf. Датадоступа: 12.11.2014. Версия документа от 21 марта 2014 г.

Чалый Д.Ю.: Воспроизводимые исследования коммуникационных протоколов 3 / 8

Примитивный подход к воспроизводимости

Можно ли откомпилировать и запустить исходный кодэксперимента за 30 минут?

1 Доступен ли код и библиотеки от которых он зависит?2 Компилируется? Запускается?

Christian Collberg, Todd Proebsting, Gina Moraila, AkashShankaran, Zuoming Shi, Alex M. Warren MeasuringReproducibility in Computer Systems Research1

Методология исследования: анализ 613 статей (ASPLOS’12,CCS’12, OOPSLA’12, OSDI’12, PLDI’12, SIGMOD’12, SOSP’11,TACO’9, TISSEC’15, TOCS’30, TODS’37, TOPLAS’34,VLDB’12).

1Доступен по адресу: http://reproducibility.cs.arizona.edu/v1/tr.pdf. Датадоступа: 12.11.2014. Версия документа от 21 марта 2014 г.

Чалый Д.Ю.: Воспроизводимые исследования коммуникационных протоколов 3 / 8

Воспроизводимость в настоящее время

Итог: всего 25% результатов компилируются (из которыхкаждый четвертый проект не запускается)2

2Источник: http://reproducibility.cs.arizona.edu/v1/index.html. Датадоступа: 12.11.2014.

Чалый Д.Ю.: Воспроизводимые исследования коммуникационных протоколов 4 / 8

Процесс исследований

Исходныеданные

Аналитическиеданные

Вычислительныерезультаты

Иллюстрации

Численныерезультаты

СтатьяТаблицы

Текст

Получение иочистка данных

Обработкаданных

Визуализацияданных

Автор

Читатель

Чалый Д.Ю.: Воспроизводимые исследования коммуникационных протоколов 5 / 8

Пример: транспортные протоколы. Исходные данные

1 Оригинальные модели (ARTCP).2 Пакеты имитационного моделирования: ns-3, OMNeT++,

Cisco Packet Tracer (TCP TIPS).3 Захват сетевого трафика непосредственно с сетевого

устройства: tcpdump (оригинальный Trickles).

Чалый Д.Ю.: Воспроизводимые исследования коммуникационных протоколов 6 / 8

Пример: транспортные протоколы. Анализ и обработкаданных

1 Скриптовые языки программирования (shell, awk и т.д.).2 R.3 Возможности систем моделирования (напр. ns-3 statistical

framework, wireshark).

Чалый Д.Ю.: Воспроизводимые исследования коммуникационных протоколов 7 / 8

Проектный подход

1 Каждое исследование - это проект.2 Как можно меньше нестантардных средств разработки.3 Общедоступный репозиторий кода - bitbucket, github.4 Документация - Doxygen.5 Анализ данных - R+{Sweave, knitr}+RPubs.

Чалый Д.Ю.: Воспроизводимые исследования коммуникационных протоколов 8 / 8