Download - Open stack day 2014 havana from grizzly
Havana����������� ������������������ from����������� ������������������ GrizzlyChoe,����������� ������������������ Cheng-Dae����������� ������������������
Ubuntu����������� ������������������ Cloud����������� ������������������ Archive����������� ������������������ Grizzly����������� ������������������ KVM����������� ������������������
Quantum����������� ������������������ Shared����������� ������������������ Provider����������� ������������������ Network����������� ������������������
…⋯����������� ������������������ Some����������� ������������������ Patches…⋯
Heat,����������� ������������������ Ceilometer,����������� ������������������ Savana,����������� ������������������ Trevo,����������� ������������������ Marconi,����������� ������������������ Ironic…⋯
Quantum����������� ������������������ ->����������� ������������������ Neutron����������� ������������������ ->����������� ������������������ ML2����������� ������������������ !
Network����������� ������������������ Virtualization
기존����������� ������������������ 패키지����������� ������������������ 삭제����������� ������������������ 새로운����������� ������������������ 패키지����������� ������������������ 설치����������� ������������������
데이터베이스����������� ������������������ 마이그레이션
한번에����������� ������������������ 전체����������� ������������������ 업그레이드����������� ������������������ !
OpenStack����������� ������������������ 서비스����������� ������������������ 다운����������� ������������������ 타임이����������� ������������������ 필요
컴포넌트����������� ������������������ 별로����������� ������������������ 업그레이드����������� ������������������ !
각����������� ������������������ 콤포넌트����������� ������������������ 별로����������� ������������������ 별도의����������� ������������������ 서버에서����������� ������������������ 실행이����������� ������������������ 되고����������� ������������������ 있어야����������� ������������������ 한다(패키지����������� ������������������ 의존성).
nova-compute에서����������� ������������������ quantum-xxx����������� ������������������ 서비스가����������� ������������������ 되고����������� ������������������ 있다면…⋯
openstack����������� ������������������ 서비스����������� ������������������ 정지����������� ������������������ control(API)����������� ������������������ 노드����������� ������������������ 업데이트����������� ������������������ 데이터베이스����������� ������������������ 마이그레이션����������� ������������������
network����������� ������������������ 노드����������� ������������������ 업데이트(dnsmasq,����������� ������������������ quantum-ns-metadata-proxy)����������� ������������������
compute����������� ������������������ 노드����������� ������������������ 업데이트����������� ������������������ some����������� ������������������ clean-ups
chef-workstation에서…⋯����������� ������������������ $����������� ������������������ git����������� ������������������ checkout����������� ������������������ stable/havana����������� ������������������ $����������� ������������������ knife����������� ������������������ cookbook����������� ������������������ upload����������� ������������������ …⋯����������� ������������������
$����������� ������������������ knife����������� ������������������ environment����������� ������������������ from����������� ������������������ file����������� ������������������ …⋯����������� ������������������ $����������� ������������������ knife����������� ������������������ role����������� ������������������ from����������� ������������������ file����������� ������������������ …⋯����������� ������������������
!
오픈스택����������� ������������������ 노드에서…⋯����������� ������������������ $����������� ������������������ apt-get����������� ������������������ purge����������� ������������������ -y����������� ������������������ --auto-remove����������� ������������������ python-
keystoneclient����������� ������������������ $����������� ������������������ chef-client����������� ������������������
compute����������� ������������������ 서비스는����������� ������������������ HA가����������� ������������������ 없다.
Live����������� ������������������ Migration으로����������� ������������������ 보완할����������� ������������������ 수����������� ������������������ 있다.����������� ������������������ !
disable����������� ������������������ 컴퓨트����������� ������������������ 서비스����������� ������������������ 여유분����������� ������������������ 컴퓨트����������� ������������������ 노드����������� ������������������ 확보����������� ������������������
확보한����������� ������������������ 컴퓨트����������� ������������������ 노드로����������� ������������������ live����������� ������������������ migration����������� ������������������ 컴퓨트노드����������� ������������������ 유지보수/����������� ������������������ 업그레이드����������� ������������������ 다시����������� ������������������ 원래로����������� ������������������ live����������� ������������������ migration
Shared����������� ������������������ Storage가����������� ������������������ 없는����������� ������������������ Live����������� ������������������ Migration은����������� ������������������ 운영����������� ������������������ 위험이����������� ������������������ 높다.����������� ������������������
!
Shared����������� ������������������ Storage를����������� ������������������ 사용하는����������� ������������������ Live����������� ������������������ Migration은����������� ������������������ 인프라����������� ������������������ 비용이����������� ������������������ 세다.
����������� ������������������ 작동중인����������� ������������������ 인스턴스:����������� ������������������ 326����������� ������������������ 사용하는����������� ������������������ RAM:����������� ������������������ 1008GB����������� ������������������
한달간����������� ������������������ VCPU-시간:����������� ������������������ 114175.66����������� ������������������ 한달간����������� ������������������ GB-시간:����������� ������������������ 4567754.20����������� ������������������
이슈:����������� ������������������ 패키지����������� ������������������ 의존성����������� ������������������ !
python-compressor,����������� ������������������ python-django,����������� ������������������ python-cmd2…⋯����������� ������������������
!
$����������� ������������������ apt-get����������� ������������������ purge����������� ������������������ --auto-remove����������� ������������������ python-keystoneclient
이슈:����������� ������������������ ����������� ������������������ m1.tiny����������� ������������������ flavor����������� ������������������ disk����������� ������������������ size의����������� ������������������ 기본값이����������� ������������������ 0에서����������� ������������������ 1로����������� ������������������ 변경
grizzly의����������� ������������������ 0은����������� ������������������ flavor에����������� ������������������ 맞게����������� ������������������ 이미지����������� ������������������ 파티션����������� ������������������ 자동����������� ������������������ 확장
havana의����������� ������������������ 0은����������� ������������������ 이미지����������� ������������������ 파티션����������� ������������������ 조정을����������� ������������������ 하지����������� ������������������ 않는다.����������� ������������������ 0은����������� ������������������ 진짜로����������� ������������������ 0임����������� ������������������
!
disk����������� ������������������ size=1,����������� ������������������ glance의����������� ������������������ 이미지가����������� ������������������ 2G면...����������� ������������������ 생성����������� ������������������ 오류
이슈:����������� ������������������ libvirt����������� ������������������ 1.0.1����������� ������������������ -->����������� ������������������ 1.1.1
이슈:����������� ������������������ qemu*����������� ������������������ 1.0����������� ������������������ -->����������� ������������������ 1.5����������� ������������������ !
kvm����������� ������������������ -->����������� ������������������ qemu-system-x86_64����������� ������������������ 1.1����������� ������������������ 이하와는����������� ������������������ Live����������� ������������������ Migration이����������� ������������������ 되지����������� ������������������
않음����������� ������������������ Suspend����������� ������������������ /����������� ������������������ Resume
이슈:����������� ������������������ openvswitch*����������� ������������������ !
1.4.0����������� ������������������ -->����������� ������������������ 1.10����������� ������������������ (VxLAN)����������� ������������������ LTS����������� ������������������ 1.9.3,����������� ������������������ 최신����������� ������������������ 2.0.0
이슈:����������� ������������������ dhcp_lease_time����������� ������������������ !
dhcp_lease_time=120����������� ������������������ —―>����������� ������������������
dhcp_lease_duration=86400
이슈:����������� ������������������ DB����������� ������������������ 마이그레이션����������� ������������������ !
XXX-manage����������� ������������������ db-sync����������� ������������������ 으로����������� ������������������ 대부분����������� ������������������ 끝남
수동����������� ������������������ 마이그레이션이����������� ������������������ 필요할����������� ������������������ 때도����������� ������������������ 있다.����������� ������������������ !
bug…⋯����������� ������������������ upstream����������� ������������������ patch…⋯
South����������� ������������������ !
$����������� ������������������ neutron-db-manage����������� ������������������ stamp����������� ������������������ grizzly����������� ������������������ $����������� ������������������ neutron-db-manage����������� ������������������ upgrade����������� ������������������ havana����������� ������������������
!
$����������� ������������������ neutron-db-manage����������� ������������������ history����������� ������������������ $����������� ������������������ neutron-db-manage����������� ������������������ upgrade����������� ������������������
27ef74513d33:havana
이슈:����������� ������������������ iptables����������� ������������������ rules����������� ������������������ !
iptables����������� ������������������ rules:����������� ������������������ quantum-xxxx����������� ������������������ -->����������� ������������������ neutron-xxx����������� ������������������
!
$����������� ������������������ iptables����������� ������������������ -F����������� ������������������ &&����������� ������������������ iptables����������� ������������������ -X����������� ������������������ $����������� ������������������ service����������� ������������������ neutron-plugin-openvswitch-agent����������� ������������������ restart
이슈:����������� ������������������ namespace����������� ������������������ !
namespace는����������� ������������������ 서로����������� ������������������ 분리된����������� ������������������ 독립된����������� ������������������ network����������� ������������������ stack����������� ������������������
!
tcp/ip,����������� ������������������ routing,����������� ������������������ iptables…⋯
$����������� ������������������ ip����������� ������������������ netns����������� ������������������ exec����������� ������������������ qdhcp-xxx����������� ������������������ ping����������� ������������������ 8.8.8.8
root����������� ������������������ namespace와의����������� ������������������ 통신은����������� ������������������ root����������� ������������������ namespace의����������� ������������������ port와����������� ������������������ veth로����������� ������������������ 연결����������� ������������������
!
$����������� ������������������ ip����������� ������������������ netns����������� ������������������ add����������� ������������������ another����������� ������������������ $����������� ������������������ ip����������� ������������������ link����������� ������������������ add����������� ������������������ veth0����������� ������������������ type����������� ������������������ peer����������� ������������������ name����������� ������������������ veth1����������� ������������������
$����������� ������������������ ip����������� ������������������ link����������� ������������������ set����������� ������������������ veth1����������� ������������������ netns����������� ������������������ another����������� ������������������ $����������� ������������������ ip����������� ������������������ netns����������� ������������������ exec����������� ������������������ another����������� ������������������ ifconfig����������� ������������������ veth1����������� ������������������
…⋯
use_namespace����������� ������������������ =����������� ������������������ True����������� ������������������ !
dnsmasq,����������� ������������������ quantum-ns-metadata-proxy,����������� ������������������
!
프로세스를����������� ������������������ 수동으로����������� ������������������ kill����������� ������������������ 서비스����������� ������������������ 재시작:����������� ������������������ neutron-dhcp-agent,����������� ������������������
neutron-lbaas-agent,����������� ������������������ …⋯
이슈:����������� ������������������ vif_driver����������� ������������������ !
LibvirtHybridOVSBridgeDriver����������� ������������������ was����������� ������������������ deprecated.����������� ������������������
LibvirtGenericVIFDriver
LibvirtHybridOVSBridgeDriver:����������� ������������������ OpenVSwitch����������� ������������������ +����������� ������������������ Linux����������� ������������������ Bridge����������� ������������������ ����������� ������������������
!
LibvirtGenericVIFDriver:����������� ������������������ OpenVSwitch����������� ������������������ Only
LibvirtHybridOVSBirdgeDriver����������� ������������������ !!#����������� ������������������ ovs-vsctl����������� ������������������ show����������� ������������������ 9abc2848-ccfe-4cce-9065-fe12606feea9����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Bridge����������� ������������������ "br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ "eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ "eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ "br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ "br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ type:����������� ������������������ internal����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ "phy-br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ "phy-br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Bridge����������� ������������������ br-int����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ br-int����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ br-int����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ type:����������� ������������������ internal����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ "qvo1499be37-52"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ tag:����������� ������������������ 1����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ "qvo1499be37-52"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ "int-br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ "int-br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ovs_version:����������� ������������������ “1.10.2"����������� ������������������ !#����������� ������������������ brctl����������� ������������������ show����������� ������������������ bridge����������� ������������������ name����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ bridge����������� ������������������ id����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ interfaces����������� ������������������ qbr1499be37-52����������� ������������������ ����������� ������������������ 8000.9ad7852427ca����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ qvb1499be37-52����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ tap1499be37-52
LibvirtGenericVIFDriver����������� ������������������ !!#����������� ������������������ ovs-vsctl����������� ������������������ show����������� ������������������ 9abc2848-ccfe-4cce-9065-fe12606feea9����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Bridge����������� ������������������ "br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ "eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ "eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ "br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ "br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ type:����������� ������������������ internal����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ "phy-br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ "phy-br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Bridge����������� ������������������ br-int����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ br-int����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ br-int����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ type:����������� ������������������ internal����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ "tap1499be37-52"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ tag:����������� ������������������ 1����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ "tap1499be37-52"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Port����������� ������������������ "int-br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ Interface����������� ������������������ "int-br-eth1"����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ����������� ������������������ ovs_version:����������� ������������������ “1.10.2"����������� ������������������
OpenVSwitch는����������� ������������������ iptables����������� ������������������ rule이����������� ������������������ 적용되지����������� ������������������ 않는다.����������� ������������������
!
folsom에서����������� ������������������ 수정한다고����������� ������������������ 홈페이지에����������� ������������������ 나와있음!
Security����������� ������������������ Group이����������� ������������������ 동작하지����������� ������������������ 않는다.����������� ������������������ !
https://blueprints.launchpad.net/neutron/+spec/ovs-firewall-
driver����������� ������������������ !
ongoing����������� ������������������ milestone
Per-Tenant����������� ������������������ Routers����������� ������������������ with����������� ������������������ Private����������� ������������������ Networks����������� ������������������ 네트워크����������� ������������������ 모델이
라면?
rabbitmq����������� ������������������ rpc����������� ������������������ 사용이����������� ������������������ 많아졌다.����������� ������������������ !
single����������� ������������������ process,����������� ������������������ 20����������� ������������������ Req/Sec����������� ������������������ !
nova,����������� ������������������ quantum-xxx-agent
grizzly는����������� ������������������ multi����������� ������������������ process����������� ������������������ patch가����������� ������������������ 있다.(not����������� ������������������ merged)����������� ������������������
!
https://blueprints.launchpad.net/neutron/+spec/multi-workers-for-
api-server����������� ������������������ !
merged����������� ������������������ icehouse-b2,����������� ������������������ backported����������� ������������������ 2013.2.1
하지만,����������� ������������������
rpc����������� ������������������ call은����������� ������������������ single����������� ������������������ process…⋯
RabbitMQ����������� ������������������ subscribe를����������� ������������������ fork����������� ������������������ 전에…⋯
compute����������� ������������������ 노드가����������� ������������������ 약����������� ������������������ 60개����������� ������������������ 이상����������� ������������������ 넘어가면…⋯����������� ������������������
!
RPC����������� ������������������ Call����������� ������������������ Timeout����������� ������������������ 발생
https://blueprints.launchpad.net/
neutron/+spec/multiple-rpc-workers����������� ������������������
!
또는����������� ������������������ 간단한����������� ������������������ 삽질로…⋯����������� ������������������ RabbitMQ����������� ������������������ subscribe를����������� ������������������ fork����������� ������������������ 이후에...