czech and slovak sun training day 2007 - solaris

Sun Training Day 2007sekce Solaris

Martin Červený[email protected]

Pokročilé instalace Solarisu

Privilegia programů v kernelu

Administrace a konfigurace služeb (SMF)

DTrace

Kontejner/zóna Solarisu

Zettabyte File System

Vývoj a nové technologie v OpenSolarisu

Pokročilé instalace Solarisu

Možnosti instalace

● podle média– lokální z CD/DVD– síťová NFS (jumpstart)

● zabezpečená instalace SST/JASS– síťová HTTPS (wanboot)

● podle typu– nová instalace

● z balíků● z archivu (flash archive, flar)

– upgrade stávající instalace– live upgrade stávající instalace

instalace

možnosti

Minimalizace a zabezpečení

● Solaris Security Toolkit (SST)– JumpStart Architecture and Security Scripts (JASS)

● vlastnosti– konfigurace přístupových práv a vlastnictví – souborový audit (MD5 kontrolní součty)– bezpečnostní nastavení

● používání hesel● aktivace bezpečnostních služeb● vypnutí nepotřebných síťových a systémových služeb● filtrace síťové komunikace

● implementace– připravená architektura pro JumpStart

● minimalizované class definice● postinstalační secure.driver

– možnost použití na nainstalovné systémy● install/uninstall/audit● jass-execute -d|-u|-a secure.driver

instalace

SST

Konfigurace

● nastavení parametrů – user.init– user.run

● nastavení rozsahu – .../Driver/*– *secure.driver

● varianta souborů „soubor-varianta+os“● volá config.driver a hardening.driver

– *config.driver a *hardering.driver● JASS_FILES

– kopírování souborů (.../Files/*) ~ 20● JASS_SCRIPTS

– spouštění skriptů (.../[Finish|Audit]/*) ~116

instalace

SST

Instalace wanboot

● vlastnosti– kompletní boot s pomocí http/https

● SPARC OBP>4.14● ověření obsahu (HMAC SHA1)● symetrické šifrování obsahu (3DES, AES)● https pomocí SSL● informace o bootu z DHCP nebo přímo z OBP

proměnných– boot zavaděče z CD/DVD nebo JumpStart

● boot cdrom -o prompt -F wanboot - install

– instalace z flar archivů

instalace

wanboot

Sekvence wanbootinstalace

wanboot

● boot

● wanboot program● wanboot konfigurace● miniroot

● start kernelu

● flar install

● wanboot-cgi● bootlog-cgi

● JumpStart přes http

instalovaný klient instalační server

Konfigurace1) setup_install_server -w …2) příprava apache2

/var/apache2/htdocs/wanboot/wanboot.s10_sparc/var/apache2/htdocs/miniroot/miniroot.s10_sparc/var/apache2/cgi-bin/[wanboot|bootlog]-cgi

3) vytvoření /etc/netboot/etc/netboot/, /etc/netboot/netip, /etc/netboot/clientid

4) certifikáty pro apache2 (openssl)5) wanboot konfigurace klienta (bootconfchk)

/etc/netboot/*/system.conf (SsysidCF, SjumpsCF)/etc/netboot/*/wanboot.conf (boot_file, root_server, root_file,

boot_logger, system_conf, + bezpečnost)/etc/netboot/*/[keystore|truststore|certstore]

6) konfigurace sysidcfg, rules, flar7) boot (ickey)

OK set-security-key wanboot-hmac-sha1OK set-security-key wanboot-3desOK setenv network-boot-arguments host-ip=mojeip ,router-

ip=mujsubnet,subnet-mask=mojemaska,hostname=mojejméno,http-proxy=proxyip:port,file=http://serverip/cgi-bin/wanboot-cgi

OK boot net [-o prompt,dhcp] - install

instalace

wanboot

Více v kurzech

SA-301-S10 - Personalizing Security on the Solaris 10 Operating System

SA-225-S10 - Solaris 10 Features for Experienced Solaris System Administrators

SA-200-S10 - System Administration for the Solaris 10 Operating System Part 1


instalace

kurzy

Privilegia programů v kernelu

Dosavadní možnosti

● privilegovaný stav na úrovni kernelu– euid==0

● delegace privilegií– suid bit– nástroje

● Role Based Access Control (RBAC)● Solaris Management Console (SMC)● sudo

privilegia

dříve

Privilegia

● privilegia– bezpečnostní oprávnění pro kernel, která

nahrazují euid==0– součástí informací kernelu o procesu– 68 privilegií ve skupinách (S10U4)

● FILE – oprávnění přístupu k souborům● IPC – oprávnění přístupu k sdílené paměti,

frontám zpráv a semaforům● NET – oprávnění přístupu k síti● PROC - oprávnění přístupu k procesům● SYS - oprávnění přístupu k systémovým

zdrojům● DTRACE/CPC● CONTRACT● GRAPHICS/WIN – Xwindows systém a TX

– /etc/security/priv_names (+extra_privs)

privilegia

Přehled privilegií (S10FCS)“contract_event” Process/Request

critical/reliable events“contract_observer” Obsever events other than

euid"cpc_cpu” Access to per-CPU perf counters"dtrace_kernel" DTrace kernel tracing"dtrace_proc" DTrace process-level tracing"dtrace_user" DTrace user-level tracing"file_chown" Change file's owner/group IDs"file_chown_self" Give away (chown) files"file_dac_execute" Override file's execute

perms"file_dac_read" Override file's read perms"file_dac_search" Override dir's search perms"file_dac_write" Override (non-root) file's write

perms"file_link_any" Create hard links to diff uid

files"file_owner" Non-owner can do misc owner

ops"file_setid" Set uid/gid (non-root) to diff id"ipc_dac_read" Override read on IPC, Shared

Mem perms"ipc_dac_write" Override write on IPC, Shared

Mem perms"ipc_owner" Override set perms/owner on IPC"net_icmpaccess" Send/Receive ICMP packets"net_privaddr" Bind to privilege port

(<1023+extras)"net_rawaccess” Raw access to IP"proc_audit” Generate audit records"proc_chroot” Change root (chroot)

"proc_clock_highres" Allow use of hi-res timers"proc_exec" Allow use of execve()"proc_fork" Allow use of fork*() calls"proc_info" Examine /proc of other processes"proc_lock_memory" Lock pages in physical

memory"proc_owner" See/modify other process states"proc_priocntl" Increase priority/sched class"proc_session" Signal/trace other session

process"proc_setid" Set process UID"proc_taskid" Assign new task ID“proc_zone” Signal/trace processes in other

zones“sys_acct” Manage accounting system (acct)“sys_admin System admin tasks (node/domain

name)"sys_audit" Control audit system"sys_config" Manage swap"sys_devices" Override device restricts (exclusive)"sys_ipc_config" Increase IPC queue"sys_linkdir" Link/unlink directories"sys_mount" Filesystem admin (mount,quota)"sys_net_config" Config net interfaces, routes,

stack"sys_nfs" Bind NFS ports and use syscalls"sys_res_config" Admin processor sets, res pools"sys_resource" Modify res limits (rlimit)"sys_suser_compat" 3rd party modules use of

suser"sys_time" Change system time

privilegia

Privilegia procesu

● informace kernelu o procesu – Effective set (E) – aktuální oprávnění, dají se

přidávat a odebírat shora omezené podle (P)– Permitted set (P) – horní omezení pro oprávnění

(E) a (I), dají se pouze odebírat– Inheritable set (I) – nastavení výchozích

oprávnění (nové E a P) pro synovský proces– Limited set (L) – horní omezení pro dědičná

oprávnění (I) a nemůže nikdy růst– příznak PRIV_AWARE

● spouštění setuid– pro nepřeprogramované (nejsou PRIV_AWARE)

procesy se v kernelu ověřuje jiné E a PE' = (euid == 0 ? L : E) P' = ((euid == 0 || ruid == 0 || suid == 0) ? L : P))

privilegia

implementace

Nastavení privilegií

● RBAC● nástroj ppriv(1)– zjištění privilegií u procesu– nastavení privilegií pro spouštěný proces– testování potřebných privilegií

● nástroj truss(1)– testování potřebných privilegií

● nastavení při startu OS (SMF)– definice v popisu (manifestu) aplikace– zobrazení nástroji svcprop(1)/svccfg(1)

● ovladače zařízení - add_drv(1m)– /etc/security/device_policy

● API– set/getpflags(2), set/getppriv(2)

privilegia

administrace

Více v kurzech

SC-301-S10 - Personalizing Security on the Solaris 10 Operating System


privilegia

kurzy

Administrace a konfigurace služeb (SMF)

Starý model startu služeb

● runlevel– definované úrovně

● 0,5,6 – vypnutí systému● s – minimální počet procesů, síť● 1,2,3 – běžné úrovně, simulovaná hierarchie

– startovací skripty● /etc/rc#.d/S##service start● /etc/rc#.d/K##service stop● /etc/init.d/service● /sbin/rc#

● vlastnosti– sekvenční start– společný kód a konfigurační data– neřešený dohled nad službami– „služba“

SMF

dříve

Nový model startu služeb

● charakteristika nového modelu– jemnější definice vazby služeb (obousměrně)– paralelní start služeb– automatický restart– delegace ovládání na běžné uživatele– stav údržby– konfigurační data v databázi– chybový systém http://sun.com/msg

● definice služby– Service Management Facility (SMF)– Fault Management Resource ID (FMRI)

– svc:/typ/název:instance– XML popisný soubor

– /var/svc/manifest/, (/var/svc/profile/)– závislosti služby– parametry– start/stop/restart příkazy (/lib/svc/method)

SMF

Implementace a administrace

● infrastruktura– svc.startd(1m), inetd(1m) – restarter

● /etc/svc/volatile/, /var/svc/log/– svc.configd(1m) – databáze informací

● /etc/svc/repository.db● nástroje– svcs(1) – zobrazení (svcs -x)– svcadm(1m) – administrace

enable, disable, restart, clear, mark, refresh, milestone– svccfg(1m),svcprop(1) – práce s databází– inetadm(1m),inetconv(1m)

● svc:/milestone/– none, single-user, multi-user, multi-

user-server, ..., all– boot -s, -m milestone=none,verbose

SMF

administrace

Stav služby

maintenance

degraded

disabled

uninitialized

offline

svcadm disablesvcadm enable

svcadm restartsvcadm refresh

svcadm clearsvcadm mark

SMF

administrace

online

Provázání služebSMF

XML manifest<?xml version="1.0"?><!DOCTYPE service_bundle SYSTEM "/usr/share/lib/xml/dtd/service_bundle.dtd.1">

<service_bundle type='manifest' name='osdevcon'>

<service name='site/mojesluzba' type='service' version='1'> <create_default_instance enabled='false'> <single_instance /> <dependency ...>...</dependency> <dependent ...>...</dependent> <exec_method ...>...</exec_method> <property_group ...>

...</property_group> <template>...</template> </service></service_bundle>

SMF

konfigurace

Více v kurzech



SMF

kurzy

DTrace

Vlastnosti Dynamic Tracing

● sondy– dynamické vložení přerušení do funkce

kernelu/programu● zajímavé pro produkční systémy● nulové náklady, pokud není sonda aktivní

– pro kernel i uživatelské programy, java, phyton, PHP, X, posgresql …

– „provider“ sond● ~ 70000 sond generických (funkce kernelu)

– fbt, pid*● ~ 2500 sond specifických

– syscall, fsinfo, sysinfo, vminfo, lockstat, sched, io, proc, (profile-*, tick-*) ...

● akce– výrazy jazyka DTrace (podobné awk(1))

● nástroj dtrace(1m)

dtrace

Implementacedtrace

libdtrace(3lib)

lockstat(1m)

dtrace(1m) intrstat(1m)

plockstat(1m)

sondy&akce (DOF) výsledky (DIF)

fbt(7d)

sdt(7d)

syscall(7d)

vmstat(7d)

dtrace(7d), logika a D-interpret

text/code

trap

USRSYS

implementace

Providerdtrace – vnitřní sondy DTrace lockstat - sondy pro zámky a zamykáníprofile - pravidelně spouštěné sondy (časovač)fbt - sondy na vstupu/výstupu všech funkcí kernelusyscall - sondy na vstupu/výstupu systémových volánísdt - “staticky definované sondy” explicitně

zakopilované v kódusysinfo - sondy statistik kernelu pro mpstat a sysinfovminfo - sondy statistik kernelu pro virtuální paměť proc - sondy vytváření a zánik procesů/LWPsched - sondy plánovače CPUio - sondy pro sledování diskových IOmib - SNMP MIB sondy systémového managementufpuinfo - sondy na sledování zpracování v pohyblivé

řádové čárcepid - sondy sledování funkcí a insrukcí v procesechplockstat- sondy pro zamykání a synchornozaci v

procesechfasttrap - přímé vložení sond

dtrace

sondy

Sonda a akce

● popis sondy– provider:module:function:name– možnost použití „*“ a prázdné definice– možnost aktivace více sond najednou– speciální „BEGIN“ a „END“

● úplný popis sondy a akceprovider:module:function:name /logický výraz podmínky akce/{ příkazy akce; … }

● použití– z příkazové řádky (oneliners)

● dtrace -n 'popis_akce popis_akce...'– dtrace skript (/usr/demo/dtrace)

● #!/usr/sbin/dtrace -s

dtrace

sondy

D-language

● nedestruktivní a destruktivní funkce● funkce

– tisk: trace(), printf(), stack(), printa() … – agregační: count(), quantize(), lquantize(), max(), avg(), min() … clear(), trunc()

– řídící: exit(), return()– pro programy: copyin(), copyinstr(), ustack()

● proměnné dtrace– probeprov, probemod, probefunc, probename– arg0, arg1, …, args[#]– execname, timestamp, walltimestamp … – pid, ppid, tid. uid, gid, cpu, cwd, errno … – $pid, $target, $1, $2 …– libovolná proměnná v kernelu

● uživatelsky definované proměnné– C-stadardní matematika a logika– X, this->X, self->X, poleX[indexy]– @agregaceX[indexy]=agregační_funkce(argumenty)

dtrace

akce

Více v kurzech

SA-327-S10 - Dtrace FacilitySA-400 - Solaris System Performance

ManagementSA-225-S10 - Solaris 10 Features for

Experienced Solaris System Administrators

dtrace

kurzy

Kontejner/zóna Solarisu

Principy oddělení běhu aplikací

● důvody– bezpečnostní oddělení– rozdělení nebo vyhrazení zdrojů– redundance a vysoká dostupnost– horizontální škálovatelnost

● možnosti dokonalého oddělení– oddělené systémy– dynamické hw rozdělení výkonných

počítačů (hardware partitioning)– virtuální (emulovaný) hardware (virtual

hardware monitors)– rozdělení na úrovni operačního systému

(OS virtualization)

kontejner

možnosti

Kontejner Solarisu

● kontejner– rozdělení na úrovni operačního systému

(zóny)● nezávislý běh instance operačního systému

od procesu init (sdílený kernel) ● izolace softwarových chyb● bezpečnostní oddělení (méně privilegií)

– řízení zdrojů ● podle procesorů (dynamic resource pools,

processor sets)● podle výkonu procesorů na nižší úrovni

(resource/workload manager, FSS scheduler (cpu-shares), projects)

● podle toků na IP úrovni (IP QoS)

kontejner

Zóna v Solarisukontejner

hardware systému

Solaris kernel

app

app

konfigurace

globálnízóna

app

app

solariszóna

RPC

IPCapp

app

brandzzóna

(S10U4 lx)

syscall emulátorsyscall

zóna

Zóna Solarisu

● konfigurace - zones(5)– zonecfg(1m)

● jméno● kořenový adresář zóny● souborové systémy● síťové rozhraní (S10U4 možnost plně oddělit) ● další zařízení● řízení zdrojů

● instalace, spuštění a vypnutí – zoneadm(1m)– stav zóny

● configured, incomplete, installed, ready, running, shutting_down, down

● zpřístupnění– zlogin(1), zonename(1)

kontejner

zóna

Konfigurace zónyzonecfg -z zone1

zonecfg:zone1> createzonecfg:zone1> set zonepath=/zone1zonecfg:zone1> set autoboot=truezonecfg:zone1> add netzonecfg:zone1:net> set address=192.168.1.100zonecfg:zone1:net> set physical=bge0zonecfg:zone1:net> endzonecfg:zone1 > add fszonecfg:zone1:fs> set dir=/usr/localzonecfg:zone1:fs> set special=/zone1/localzonecfg:zone1:fs> set type=lofszonecfg:zone1:fs> endzonecfg:zone1> add devicezonecfg:zone1:device> set match=/dev/ecpp0zonecfg:zone1:device> endzonecfg:zone1> verifyzonecfg:zone1> commit

zoneadm -z zone1 installzoneadm -z zone1 bootzlogin -C zone1

kontejner

zóna

Další vlastnosti zóny ● žádné změny v API aplikací● možnost připojení citlivých části souborového

systému jen pro čtení● omezení na zařízeních ● odebraná privilegia

– cpc_cpu, dtrace_kernel, dtrace_proc, dtrace_user, net_rawaccess, proc_clock_highres, proc_lock_memory, proc_priocntl, proc_zone, sys_config, sys_devices, sys_ipc_config, sys_linkdir, sys_net_config, sys_res_config, sys_suser_compat, sys_time ...

● upravené nástroje – ps(1), prstat(1m), truss(1), iostat(1m),

mpstat(1m), vmstat(1m), psrinfo(1m), sar(1)...● upravená prezentace z kernelu

– sysconf(3c), getloadavg(3c), kstat(3kstat), autofs, fd(4), mnttab(4), kill(2), SysV IPC, streams ...

● instalace aplikací– pkgmap(4), pkginfo(4), pkg*, patch*

kontejner

zóna

Řízení zdrojů CPU

● konfigurace - dynamic resource pool– pooladm(1m), poolcfg(1m),

poolbind(1m), poolstat(1m), poold(1m)– pbind(1m), psrinfo(1m), psradm(1m)

● konfigurace - FSS(7)– resource_controls(5)– zonecfg(1m)

● zones.cpu-shares– rctladm(1m)– prctl(1)– projadd(1m), projmod(1m), projdel(1m),

projects(1), project(4), newtask(1)● project.cpu-shares

kontejner

zdroje

Řízení zdrojů CPU

system 8 cpupool1 2-4 cpu pool2 2 cpu

zone3 1 share

zone1 10 shares

zone4 2 shares

zone5 1 share

zone1 20 shares

project13 shares

project22 share

project31 share

task2

proc4

proc3task1

proc2

proc1

kontejner

zdroje

Minimálně garantované CPUkontejner

zdroje

4cpu

10

20

1

2

3

cpu pool zone share project share

4 ∗ 201020

∗ 2123

= 89

Více v kurzech

SA-230-S10 - Solaris 10 ContainersES-431 - Solaris Resource Manager

AdministrationSA-225-S10 - Solaris 10 Features for

Experienced Solaris System Administrators


kontejner

kurzy

Zettabyte File System

Použití fdisk+SVM+UFS

● Unix File systém (UFS)– postaven na BSD FFS (McKusick, Joy ...)– svařování požadavků (extent-like perf.),

posix ACL, logging (žurnál změn metadat), uživatelské kvóty, zvětšování za běhu, zamykání celého FS, zálohování a obnova, snapshot (copy-on-write)

● Solaris Volume Manager (SVM)– RAID-0, RAID-1, RAID-5– slice-based, softpartition, hotspare, diskset,

hw serial, split-mirror● vytvoření a zpřístupnění souborového

systému RAID-1:format,format,metadb,metainit,metainit, metainit,metattach,newfs,vi,mkdir,mount

ZFS

dříve

Vlastnosti

● cíle– vysoká integrita dat

● end-to-end kontrolní součty● transakce

– kapacita (128bit)– jednoduchá administrace– storage pool– NFSv4/NT ACL– komprimace– snapshot, clone– vzdálená replikace– třídění IO požadavků– nezávislé na platformě (x86-SPARC)– online administrace– RAID-0, RAID-1, RAID-Z, RAID-Z2

ZFS

Porovnání architekturyZFS

volumemanager

filesystem

dmu

storagepool alloc.

nezávislý blokový přístupochrana pomocí

žurnálu

synchroní zápisúplná

resychronizace po výpadku

transakcevše-nebo-nic

ve všech bodech

zfs

Integrita datZFS

1 2

3 4

možnýsnapshot

mirror

12

3

aktuálníuberblock

Administrace● zpool(1m)

● práce s disky (vytvoření, rozšíření, výměna)● práce s diskovou skupinou (export/import)● stav a statistiky● scrub

● zfs(1m)● parametry (~20)● clone, snapshot● zálohování a replikace (send, receive)● sdílení (share, unshare, iscsi target (S10U4))● diskový volume

● web gui● /etc/zfs/zpool.cache ● vytvoření a zpřístupnění souborového

systému RAID-1:zpool create name mirror disk1 disk2

ZFS

administrace

Další využití

● využití vfstab– legacy mount

● zóny– delegování konfigurace zfs – dataset– legacy mount– lofs mount

● bootování● liveupgrade– vyvořit snapshot– vytvořit clone– upgrade do clone– reboot do clone

● ACL (chmod(1), ls(1))

ZFS

administrace

Příkazy# zpool create home mirror c5t40d0 c5t40d1# zpool scrub home# zfs create home/user# zfs create home/www# zfs create home/user/mail# zfs set compression=on home/user/mail# zfs set quota=10g home/user# zfs snapshot home/user@monday# zfs rollback home/user@monday# zfs clone home/user@monday home/home-new# zfs create -V 10gb home/volume1# zpool export home# zpool import home# zfs send home/user@monday | ssh host zfs receive pool/received/fs@monday

# zfs send -i monday home/user@tuesday | ssh host zfs receive pool/received/fs

ZFS

administrace

Více v kurzech

SA-229-S10 - Solaris 10 ZFS Administration


ZFS

kurzy

Vývoj a nové technologie v OpenSolarisu

Definice OpenSolaris komunity

● 06/2005 - postupné otevření zdrojových kódů Solarisu– ON (os+network), NWS (network storage),

JDS (gnome), admin/install, man, docs, i18n, Xorg ...

● 03/2007 - OpenSolaris Governing Board● otevřený komunitní vývoj (ARC)● licence CDDL (podobné licencím MPL, BSD)● 80k registrovaných, 50 komunit , 170 projektů

(50 skupin uživatelů)

OpenSolaris

Model vývoje a distribuceOpenSolaris

akceptace projektu (ARC)vývoj a kontrolní procesy

nové vlastnostiprojekty

opravy chyb

nové vlastnostiprojektyopravy chyb

hg repository akceptace Sunema kritéria kvality

nevadaOpenSolariszdrojový

kód

Solariszdrojový

kódkvalifi

kačn

í a

sest

avovací

pro

cesy

SolarisExpress/CE (~14d)SolarisExpress/DE (~3m)Belenix (x86)marTux (sparc)Nexenta (x86,Debian)Schillix (x86)Singanix

projekty

přenos zpět do Sol10u#

uzavřenýkód

komunita sun

Zajímavé projekty● ZFS – další rozšíření● XEN (=xVM) – paravirtualizace (hypercall) a

plná virtualizace● Network Auto-Magic (NWAM) – automatická

aktivace síťových profilů ● Visual Panels – lokální konfigurace přes

GUI/Gnome● ClearView – sjednocení ovládání sítě na úrovni

L2 (IPMP, GLD3, WiFi...)● CrossBow – virtualizace sítí● Duckwater – dynamický přepínač jmenných

služeb● Caiman – nový instaler● Tesla – řízení spotřeby

OpenSolaris

CZOSUG

● Czech OpenSolaris User Group– otevřená komunita a žádné členské

příspěvky – 21 večerních setkání o technologiích

OpenSolarisu i dalších enterprise produktech

– 3 celodenní BootCampy– prezentace na konferencích

(OpenWeekend, LinuxExpo)– nejen pro vývojáře– lokální projekty l18n http://cz.opensolaris.orghttp://www.opensolaris.czhttp://www.opensolaris.org/os/project/czosug

OpenSolaris

Internet● školení

– http://sk.sun.com/training– http://www.suned.sk– http://www.sun.com/training/catalog/courses/

● web kurz zdarma– http://www.sun.com/training/catalog/courses/WS-

245.xml● informace

– http://docs.sun.com– http://www.sun.com/bigadmin– http://www.sun.com/blueprints– http://sunsolve.sun.com– http://developers.sun.com

● konference– http://forum.sun.com– http://groups.yahoo.com/group/solarisx86/

● komunity– http://www.opensolaris.org/os/community/sysadmin/– http://www.opensolaris.cz

● mimo sun– http://www.sunhelp.org/ (+desítky dalších)

tato prezentace byla připravena s využitím komunitních materiálů z opensolaris.org

czech and slovak sun training day 2007 - solaris

Education

driver instalace sst

instalace kurzy

chown files file

override files

s10 solaris

diff uid files file

conf boot

key wanboothmac