systems research for cyber-physical...
TRANSCRIPT
![Page 1: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/1.jpg)
自動運転システムにおける高性能計算技術の応用
加藤真平名古屋大学大学院情報科学研究科 准教授
![Page 2: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/2.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 3: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/3.jpg)
WorkstationLaptop PC
自動運転システムにおける高性能計算技術の応用
HOKUYO UTM-30LX (LIDAR)
Velodyne HDL-64e (3D LIDAR)
Point Grey Ladybug 5 (Camera)
IBEO LUX 8L (3D LIDAR)
Velodyne HDL-32e (3D LIDAR)
JAVAD RTK-GNSS (GNSS/GPS)
Point Grey Grasshopper3 (Camera)
![Page 4: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/4.jpg)
自動運転システムにおける高性能計算技術の応用
2015年6月16日NHKほっとイブニングより
![Page 5: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/5.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 6: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/6.jpg)
自動運転システムにおける高性能計算技術の応用
イオン守山付近
竜泉寺交差点付近
始点
終点
![Page 7: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/7.jpg)
自動運転システムにおける高性能計算技術の応用
@小幡緑地公園
![Page 8: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/8.jpg)
自動運転システムにおける高性能計算技術の応用
2013 20152014
![Page 9: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/9.jpg)
自動運転システムにおける高性能計算技術の応用
ZMPロボカー
アイサンテクノロジー高精度地図
![Page 10: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/10.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 11: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/11.jpg)
3次元レーザースキャン
自動運転システムにおける高性能計算技術の応用
Velodyne社製3次元LIDARスキャナ(左から64層、32層、16層)
![Page 12: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/12.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 13: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/13.jpg)
自動運転システムにおける高性能計算技術の応用
3次元地図データ
3次元レーザースキャン
3次元レーザースキャンと高精度3次元地図データを重ね合わせて自車位置を推定(SLAM技術)
マッチング
自車位置
![Page 14: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/14.jpg)
位置推定(スキャンマッチング)
自動運転システムにおける高性能計算技術の応用
Normal Distributions Transform (NDT)
– 地図空間をボクセル(立方体)に区切り、ボクセルごとの点の集合を
正規分布で近似
– 計算量は、スキャンデータの大きさに比例し、地図データの大きさに
は依存しない
(参考: ICPの場合は地図データの大きさにも比例)
M. Magnusson and A. Lilienthal and T. Duckett
Scan Registration for Autonomous Mining Vehicles using 3D-NDT
Journal of Field Robotics, Vol. 24, No.10, pp. 803—827, 2007
E. Takeuchi and T. Tsubouchi
A 3-D Scan Matching using Improved 3-D Normal Distributions Transform for Mobile Robotic Mapping
Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 3068—3073, 2006
![Page 15: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/15.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 16: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/16.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 17: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/17.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 18: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/18.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 19: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/19.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 20: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/20.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 21: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/21.jpg)
物体検出(パターン認識)
入力画像
HOG特徴量ピラミッド
リサイズ画像ピラミッドルートフィルタ
パートフィルタ
検出結果
自動運転システムにおける高性能計算技術の応用
![Page 22: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/22.jpg)
自動運転システムにおける高性能計算技術の応用
P. Felzenszwalb, D. McAllester, D. Ramanan”A Discriminatively Trained, Multiscale, Deformable Part Model”IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2008
Deformable Part Models (DPM)
– HOG特徴量を部分的に利用
– SVMベースの学習器を利用
– 側方,前背面から見た場合でも検出可能
– 計算コストが課題
物体検出(パターン認識)
![Page 23: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/23.jpg)
物体検出(パターン認識)max_width
HOG特徴量# N
フィルタ
# M
スコア配列を生成
M
N
max_heig
ht
スコア=類似度
自動運転システムにおける高性能計算技術の応用
![Page 24: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/24.jpg)
自動運転システムにおける高性能計算技術の応用
CPU GPU
256-core Maxwell GPU
8 CPU cores
- 4x ARM Cortex A57
- 4x ARM Cortex A53)
60 fps 4K video
1.3 gigapixel of cameras
20nm process
![Page 25: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/25.jpg)
自動運転システムにおける高性能計算技術の応用
R. Girshick, J. Donahue, T. Darrel, J. Malik” Rich feature hierarchies for accurate object detection and semantic segmentation”IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2014
Regions Convolutional Neural Networks (RCNN)
– 最初にセグメンテーションを実行
– 各Regionに対してCNNを適用
– 複数クラスに対応可能
– 計算コストが課題
物体検出(ディープラーニング)
![Page 26: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/26.jpg)
自動運転システムにおける高性能計算技術の応用
Fast RCNN + KLT Tracking
![Page 27: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/27.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 28: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/28.jpg)
自動運転システムにおける高性能計算技術の応用
問題: 「運転動画からブレーキの判別」
入力: カメラ画像・LIDAR画像
出力・ラベル: ブレーキ信号
運転データ詳細
– 運転動画 (40分✕3本)
– 画像サイズ(QVGA: 320✕240 )
– 制御信号(アクセル, ステアリング角,ブレーキ,…) → ブレーキ(ON,OFFの2値に変換)
Brake
Convolutional Neural Network
No Brake!
![Page 29: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/29.jpg)
自動運転システムにおける高性能計算技術の応用
29
Brake: ON
Brake: OFF
Real: 実測Pred: 予測
実測(連続)実測(二値)予測
![Page 30: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/30.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 31: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/31.jpg)
経路計画
複数経路生成 環境予測 経路決定
現在地
目的地
自動運転システムにおける高性能計算技術の応用
![Page 32: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/32.jpg)
軌跡生成(State Lattice)
自動運転システムにおける高性能計算技術の応用
![Page 33: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/33.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 34: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/34.jpg)
自動運転システムにおける高性能計算技術の応用
経路追従
Waypoint
Estimated
Position
StartGoal
Pure Pursuitアルゴリズム[2]
1. 推定された自己位置を受け取る
2. 次のWaypointを探索
3. 到達するための角速度を計算
4. 速度、角速度を与え自動車を制御、自己位置を更新
Look Ahead
Threshold
[2] R Craig Coulter. "Implementation of the Pure Pursuit Path Tracking Algorithm".
Technical Report CMU-RI-TR-92-01, Robotics Institute, Pittsburgh, PA, January 1992.
Auto
Control
![Page 35: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/35.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 36: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/36.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 37: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/37.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 38: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/38.jpg)
db1 db2 fx01 fx02 fx08... cx01 cx02 cx08...
VoltDB PostgreSQL PostgreSQL
old
new
fast
10.11.0.1〜8
10.12.0.1〜8
R
cx.cc.nagoya-u.ac.jpfx.cc.nagoya-u.ac.jp
/home: 816T/896T
/large: 403T/1.4P
90MB/sec(SSH, 実測)
(ユーザ権限で実行)
InfiniBand / FEFS
slow
HDFS
expire
expire
client
backup
query
query
query
自動運転技術のオープンソース実装 82
![Page 39: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/39.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 40: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/40.jpg)
自動運転システムにおける高性能計算技術の応用
Laptop
SoC(e.g., Drive PX)
Many-Core CPUs GPUs
Embedded OS Linux RTX
ROSCUDA
ECUECU
ECUECU
CAN
Camera GNSS
LIDARRadar
OpenCVPCL
Monitoring
ADAS SafetyControlControl
ControlControl
Perception Planning Control
Autonomous Driving SystemVehicular System
Driver Interface
Car
Driver
Distributed Data Processing
Large-scaleDBMS
In-memoryDBMS
Pedestrian
FPGAs
http://github.com/cpfl/autoware
![Page 41: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/41.jpg)
自動運転システムにおける高性能計算技術の応用
https://github.com/cpfl/autoware
![Page 42: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/42.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 43: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/43.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 44: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/44.jpg)
自動運転システムにおける高性能計算技術の応用
![Page 45: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/45.jpg)
自動運転システムにおける高性能計算技術の応用
株式会社ティアフォーhttp://www.tier4.jp
![Page 46: Systems Research for Cyber-Physical SystemsŠ 藤先生_発表...位置推定(スキャンマッチング) 自動運転システムにおける高性能計算技術の応用 Normal](https://reader034.vdocuments.us/reader034/viewer/2022042020/5e7766f3b6f0022fd13a1b43/html5/thumbnails/46.jpg)
Thank You!
自動運転システムにおける高性能計算技術の応用