programmation non-linéaire en variables mixtes et … · decision optimization programmation...

Decision Optimization

Programmation non-linéaire en

variables mixtes et applications

Pierre Bonami (et nombreux co-auteurs)IBM ILOG CPLEX etLIF, CNRS/Université Aix-Marseille

ROADEF 2014 – Bordeaux —26 févier 2014.1 c©2014 IBM corportation

"The mother of all deterministic optimization problems" [Lee, 2008]

min f (x)s.t. gi (x) ≤ 0 i = 1, . . . ,m

x ∈ X

xj ∈ Z j = 1, . . . , p

(PNLM)

X ⊆ Rn polyhèdre.

f and gi : X → R, i = 1, . . . ,m,continues et dérivables.

1

2

−1

−2

1 2−1−2

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

2 c©2014 IBM corportation

Sous-problèmes “bien” résolus

Programmation non-linéaire (PNL)

p = 0 : optimum local. + f et gi convexes ⇒ optimum global.

Programmation linéaire mixte (PLM)

f linéaire, m = 0, p > 0


Problèmes de complexité

Theorem ([Jeroslow, 1973])

Le problème de minimisation d’une fonction linéaire soumise à des

contraintes quadratiques en variables entières n’est pas calculable par

une fonction récursive.

Theorem ([De Loera et al., 2006])


contraintes polynomiales sur au plus 10 variables entières n’est pas

calculable par une fonction récursive.











Aucun algorithme ne peux résoudre (PNLM)...











Aucun algorithme ne peux résoudre (PNLM)...

même en petite dimension.


Modèle plus raisonnable

min f (x)s.t. gi (x) ≤ 0 i = 1, . . . ,m

x ∈ X

xj ∈ Z j = 1, . . . , plj ≤ xj ≤ uj , j = 1, . . . , p

(PNLM)

Pour être soluble, en général, lj , ujfinis.

1

2

−1

−2

1 2−1−2

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b

b


Deux classes principales de programmes

Programmes Convexes Mixtes

f est convexe.

gi sont des fonctions convexes ou décrivent des régions convexes :(contrainte conique:

∑

x2

j ≤ x20, x0 ≥ 0).

La relaxation continue est un problème d’optimisation convexe.

Programmes non-linéaires mixtes

Aucune hypothèse de convexité sur f ou gi .

Calculer l’optimum de la relaxation continue est NP-difficile engénéral.

Remarque: si lj et uj sont finis l’intégrité peut être vue comme unecontrainte sur une variable continue:(xj − lj)(xj − lj + 1)....(xj − uj) = 0.

Beaucoup de problèmes 0-1 (p = n, l = 0, u = 1) peuvent seréduire à des programmes linéaires mixtes.6 c©2014 IBM corportation

Applications de la programmation convexe mixte

Application Non-linéaire CombinatoirePortefeuille d’actions Risque, robustesse cardinalité, investisse-

ment minimum[Bienstock, 1996]Usine chimique Réaction chimiques Élements à installer[Duran and Grossmann, 1986]Agencement de blocs Contraintes spatiales Choix des blocs[Castillo et al., 2005]Réseaux congestion-nés

Le délai en fonction dutraffic

Chemins, flots

[Boorstyn and Frank, 1977, Ameur and Ouorou, 2006]Localisation avec ser-vices stochastiques

Demandes Modèle de localisation

[Elhedhli, 2006]TSP avec voisinages Voisinages (ellipses) TSP[Gentilini et al., 2013]


Applications de la programmation non-linéaire mixte

Application Non-linéaire CombinatoirePétrochimie Mélange, pooling Choix de processus[Haverly, 1978]Réseaux d’eau/gaz Écoulements, pres-

sionsTopologie du réseau

[Bragalli et al., 2011]Recharge de réacteurnucléaire

Réactions Carottes à remplacer

[Quist et al., 1999]Trajectoires d’avions Aérodynamique Waypoints, collisions

. . .[Cafieri and Durand, 2013, Soler et al., 2013]Contrôle optimal Equations différen-

tiellesContrôles discrets

[Sager, 2005, 2012]Beaucoup d’autres . . . . . .voir par exemple [Belotti et al., 2013]


Agenda

1 Le cas convexePrincipales approches algorithmiquesAperçu de résultats de calculSélection de techniques avancées

2 Un pas dans la non-convexité avec CPLEX 12.6

3 Conclusions


Programme convexe mixte

min cT x

s.t. gi (x) ≤ 0 i = 1, . . . ,mx ∈ X

xj ∈ Z j = 1, . . . , plj ≤ xj ≤ uj , j = 1, . . . , p

(PCM)

gi : X → R, i = 1, . . . ,m, convexes, différentiables.

Objectif linéaire. Si nécessaire, introduire α ∈ R et minα avecf (x) ≤ α une contrainte.


Principales approches algorithmiques pour (PCM)

x y

z

Propriété fondamentale: convexité de la relaxation continue.

1 Branch-and-bound Programation Non-Linéaire [Gupta andRavindran, 1985].

2 Décomposition par Outer Approximation [Duran and Grossmann,1986].

3 LP/NLP branch-and-cut [Quesada and Grossmann, 1992].


NLP B&B

Simple généralisation de l’algorithme pour laPLNE:

Résout un PNL à chaque nœud de l’arbre.


NLP B&B



Branche sur les variables fractionnaires.integerfeasible

fathomedbybound

infeasible


NLP B&B



Branche sur les variables fractionnaires.

Élague: irréalisables, bornes inf. et solutionsentières.

integerfeasible

fathomedbybound

infeasible


NLP B&B



Branche sur les variables fractionnaires.

Élague: irréalisables, bornes inf. et solutionsentières.

Principales difficultés d’adaptation

Démarrage à chaud des solveurs PNL.

Redévelopper techniques de PLM.

integerfeasible

fathomedbybound

infeasible


Outer Approximation [Duran and Grossmann, 1986]

min cT x

s.t.

gi (x) ≤ 0 i = 1, . . . ,m,

xj ∈ Z, j = 1, . . . , p.

Idée: Linéariser les contraintes en différents points et construire un PLMéquivalent.


Outer Approximation [Duran and Grossmann, 1986]

min cT x

s.t.

gi (x) ≤ 0 i = 1, . . . ,m,

xj ∈ Z, j = 1, . . . , p.

Idée: Linéariser les contraintes en différents points et construire un PLMéquivalent.

min cT x

s.t.

gi (xk) +∇gi (x

k)T (x − xk) ≤ 0 i = 1, . . . ,m, k = 1, . . . ,K

xj ∈ Z, j = 1, . . . , p.


Sous-problèmes

Étant donné x̂ ∈ Rp:

PNL fixé (PNLf(x̂))

min cT x

s.t.

gi (x) ≤ 0, i = 1, . . . ,m

x ∈ X ; (PNLf(x̂))

xj = x̂j , j = 1, . . . , p.

Si x̂ ∈ Zp donne une borne supérieure.

PNL fixé de faisabilitéPNLff(x̂)

minm∑

i=1

max{0, gi (x)}

s.t.

x ∈ X ,

xj = x̂j , j = 1, . . . , p


Sous-problèmes

Étant donné x̂ ∈ Rp:

PNL fixé (PNLf(x̂))

min cT x

s.t.

gi (x) ≤ 0, i = 1, . . . ,m

x ∈ X ; (PNLf(x̂))

xj = x̂j , j = 1, . . . , p.

Si x̂ ∈ Zp donne une borne supérieure.

PNL fixé de faisabilitéPNLff(x̂)

minm∑

i=1

max{0, gi (x)}

s.t.

x ∈ X ,

xj = x̂j , j = 1, . . . , p

Remarque: Si (PNLf(x̂)) n’est pas réalisable, algorithmes donnenttypiquement la solution de PNLff(x̂).Par abus, solutions de (PNLf(x̂)) indifféremment


Équivalent PLM de PCM

Pour chaque x̂k ∈ K = Proj1,...,p(X )∩Zp, soit xk une solution optimale

de (PNLf(x̂)).

Theorem ([Duran and Grossmann, 1986])

Si X 6= ∅, f et g sont convexes, différentiables et une qualification de

contraintes est satisfaite pour chaque xk , alors

min cT x

gi (xk) +∇gi (x

k)T (x − xk) ≤ 0 i = 1, . . . ,m, x̂k ∈ K ,

x ∈ X , xj ∈ Z, j = 1, . . . , p.

a la même valeur optimale que (PCM).


Décomposition OA

Génère le PLM équivalent par génération de contraintes

K: ensemble des points où sont prises les coupes de linéarisation.

À chaque itération: résoudre (OA(K)) puis (PNLf(x̂)) en utilisantla solution de (OA(K)).

min cT x

s.t.

gi (xk) +∇gi (x

k)T (x − xk) ≤ 0,i = 1, . . . ,m,

xk ∈ K, (OA(K))

x ∈ X , xj ∈ Z, j = 1, . . . , p.

x0 est la solution de la relaxation : min{cT x : x ∈ X , gi (x) ≤ 0}. Pourk = 1, . . . , |K|, x̂k est la solution de (OA(K)), xk la solution de(PNLf(x̂)).


Décomposition OA

Génère le PLM équivalent par génération de contraintes

K: ensemble des points où sont prises les coupes de linéarisation.

À chaque itération: résoudre (OA(K)) puis (PNLf(x̂)) en utilisantla solution de (OA(K)).

Convergence

À chaque itération:

(OA(K)) donne une borne inf,

Si réalisable, (PNLf(x̂)) donne une borne sup.

Le théorème garantie que les deux bornes convergent en un nombre finid’itérations.


LP/NLP B&B [Quesada and Grossmann, 1992]

OA peut être intégrée dans une recherche arborescente unique.

Commencer par résoudre le même PLM parbranch-and-bound.A chaque nœud de solution entière :

solutionentière





1 Résoudre (PNLf(x̂)), et actualiser leslinéarisations.

2 Résoudre la relaxation linéaire du nœudavec les nouvelles coupes.

3 Répéter tant que la solution du nœud estentière. solution

entière





1 Résoudre (PNLf(x̂)), et actualiser leslinéarisations.

2 Résoudre la relaxation linéaire du nœudavec les nouvelles coupes.

3 Répéter tant que la solution du nœud estentière.

Pas d’élagage des solutions entières

integerfeasi-ble


Solveur pour la programmation convexe mixte

Solver Reference Algorithm(s)Dicopt OAMINLP_BB [Leyffer, 1998] NLP B&BSBB [Bussieck and Drud, 2001] NLP B&Bα-ECP [Westerlund and Lundqvist, 2005] ECP (variante de OA)Bonmin [Bonami et al., 2008] NLP B&B, OA, LP/NLP B&BFilMINT [Abhishek et al., 2010] LP/NLP B&BKNITRO [Byrd et al., 2006] NLP B&B, LP/NLP B&BSCIP [Vigerske, 2012] LP/NLP


Comparaison des solveurs dans GAMS [Vigerske, 2013]

0

10

20

30

40

50

60

70

80

90

100

1 10 100 1000 10000

% o

f m

odel

sol

ved

time factor

alpha-ECPBonmin BB

Bonmin HybBonmin OA/CPLEX

Bonmin OA/CBCSBBSCIP



0

10

20

30

40

50

60

70

80

90

100

1 10 100 1000 10000

% o

f m

odel

sol

ved

time factor

alpha-ECPBonmin BB



Les 5 meilleurs algorithmes sont

basés sur OA.



0

10

20

30

40

50

60

70

80

90

100

1 10 100 1000 10000

% o

f m

odel

sol

ved

time factor

alpha-ECPBonmin BB




Remarques sur les résultats de Bonmin

La decomposition OA utilisant CPLEX semble un des 2 meilleurscodes.

C’est une boucle appelant CPLEX (PLM) et Ipopt (PNL)alternativement comme boites noires.S’améliore avec CPLEX (sans changer le code de Bonmin).

Le NLP/LP B&B de Bonmin (Hyb) est dans le peloton des bonssolveurs.

Utilise l’infrastructure de CBC (solveur LP, coupe, presolve,...).S’améliore plus lentement.

Le NLP B&B de Bonmin clairement derrière.Pas grand chose de CBC qui peut être réutilisé. Presque tout surmesure.En fait il y a une meilleure implémentation dans Bonmin qui devraitêtre équivalent à Hyb.


A quel point OA est mauvais?

Considérons le PCM:

min cT x

s.t.∑n

i=1

(

xi −1

2

)2≤ n−1

4

x ∈ Zn

(1)

(1) n’a pas de solution:

La boule est trop petite pourcontenir des points entiers.

Elle est juste suffisammentgrande pour toucher toutes lesarêtes de l’hypercube.

xy

z


Résolution de (1) par OA

Aucune contrainte de OA nepeut couper deux sommets del’hypercube.

Si une inégalité coupe deuxsommets elle coupe aussil’arête qui les lie.Contradiction: la boule aune intersection non videavec toutes les arêtes.

x y

z





La décomposition OA effectueau moins 2n itérations sur ceproblème (chaque itérationrésout un PLM).

x y

z






Un NLP/LP B&B énumèreraitau moins 2n nœuds.

x y

z






Un NLP/LP B&B énumèreraitau moins 2n nœuds.

x y

z

Note: NLP B&B énumèreaussi 2n solutions entières.


Techniques avancées pour PCM

Preprocessing/Modélisation:séparabilité [Hijazi et al., 14]formulations perspectives [Frangioni and Gentile, 2006, Günlük andLinderoth, 2008]propagation [Vigerske, 2012]

Relaxations aux nœuds/branchements:QP strong-branching [Bonami et al., 2013]QP divings [Mahajan et al., 2012]

Heuristiques:Feasibility Pumps [Bonami et al., 2009],Undercover [Berthold and Gleixner, 2013]

Coupes:Coupes disjonctives [Kılınc et al., 2011, Bonami, 2011],


PCM séparables

min cT x

s.t. gi (x) ≤ 0 i = 1, . . . ,mx ∈ X

xj ∈ Z j = 1, . . . , pl ≤ x ≤ u

(sPCM)

Pour i = 1, . . . ,m, gi : X → R sont convexes et séparables:

gi (x) =n

∑

j=1

gij(xj)

avec gij : [lj , uj ] → R convexe différentiable.


Formulation étendue

On introduit une variable yij pour chaque fonction élémentaire gij :

min cT x

s.t.n∑

j=1

yij ≤ 0 i = 1, . . . ,m,

gij(xj) ≤ yiji = 1, . . . ,m,j = 1, . . . , n,

x ∈ X ,xi ∈ Z i = 1, . . . , p,l ≤ x ≤ u.

(sPCM∗)


Application à (1) [Hijazi et al., 14]

Formulation étendue de (1)

min cT x

s.t.n

∑

i=1

yi ≤ (n − 1)/4

(xi − 0.5)2 ≤ yi i = 1, . . . , n

x ∈ Zn.

(2)

xy

z

Son approximation linéaire:

min cT x

s.t.n

∑

i=1

yi ≤ (n − 1)/4

2(

xki − 0.5)

(xi − xki ) +(

xki − 0.5)2

≤ yii = 1, . . . , nk = 1, . . . ,K

x ∈ Zn




min cT x

s.t.n

∑

i=1

yi ≤ (n − 1)/4

(xi − 0.5)2 ≤ yi i = 1, . . . , n

x ∈ Zn.

(2)Son approximation linéaire:

min cT x

s.t.n

∑

i=1

yi ≤ (n − 1)/4

2(

xki − 0.5)

(xi − xki ) +(

xki − 0.5)2

≤ yii = 1, . . . , nk = 1, . . . ,K

x ∈ Zn




min cT x

s.t.n

∑

i=1

yi ≤ (n − 1)/4

(xi − 0.5)2 ≤ yi i = 1, . . . , n

x ∈ Zn.

(2)Son approximation linéaire:

min cT x

s.t.n

∑

i=1

yi ≤ (n − 1)/4

2(

xki − 0.5)

(xi − xki ) +(

xki − 0.5)2

≤ yii = 1, . . . , nk = 1, . . . ,K

x ∈ Zn

2 points suffisent x ∈ {0, 1}n et 1 − x :

− xi + 0.25 ≤ yi i = 1, . . . , n

xi − 0.75+ ≤ yi i = 1, . . . , n


Illustration expérimentale

Dans les librairies de modèles tests pour PCM, sur > 100 instances,8 ne sont pas trivialement séparables.En construisant les formulations étendues d’un sous-ensemble de47 instances on obtient une accélération d’un facteur 3 du tempsde résolution par OA.

10

20

30

40

50

60

70

80

90

1 10 100

% o

f m

odel

sol

ved

time factor

SepaOriginal


Coupes pour PCM

Les coupes sont une composante essentielle des solveurs PLNE.

Bien sûr on peut toujours appliquer des coupes de PNLE sur unelinéarisation de PCM.

Comment générer des coupes qui exploitent la non-linéarité?

Cela donne-t-il de meilleures coupes?

Une réponse partielle: tant qu’on génère des coupes linéaires ellepeuvent aussi être déduites d’une linéarisation.

Dans les trois dernières années de très nombreux travaux endirection de coupes coniques mais pas encore de résultats vraimentgénéral avec une application frappante.


Relaxations Splits

Considérons C un convexe etM := C ∩ (Zp × R

n−p).

Soit k ≤ p, et π ∈ Z, et

C(k,π) := conv

(

C∩({x : xk ≤ π}∪

{x : xk ≥ π + 1})

)

.

(M ⊆ C(k,π) ⊆ C). x1

x2

x1 = 0 x1 = 1

C

M


Relaxations Splits


n−p).


C(k,π) := conv

(

C∩({x : xk ≤ π}∪

{x : xk ≥ π + 1})

)

.

(M ⊆ C(k,π) ⊆ C).

xk ≤ π xk ≥ π + 1


Relaxations Splits


n−p).


C(k,π) := conv

(

C∩({x : xk ≤ π}∪

{x : xk ≥ π + 1})

)

.

(M ⊆ C(k,π) ⊆ C).

xk ≤ π xk ≥ π + 1

C (k,π)


Relaxations Splits


n−p).


C(k,π) := conv

(

C∩({x : xk ≤ π}∪

{x : xk ≥ π + 1})

)

.

(M ⊆ C(k,π) ⊆ C).

Dans la suite on considère le cas où x̂ estle point à séparer, x̂k ∈]0, 1[ (k ≤ p), etπ = 0

C (k,π)

xαTx = β


Coupes disjonctive en PLM

Dans le cas où C est un polyèdre: {x : Ax = b, x ≥ 0}

PL de génération de coupe

x̂ ∈ C peut être séparé en résolvant:

minαT x̂ − β

s.t. :

α = uTA+ s − u0ek , α = vTA+ t + v0ek ,

β = uTb, β = vTb + v0,α ∈ R

n, β ∈ R, u, v ∈ Rm, s, t ∈ R

n+, u0, v0 ∈ R+

(CGLP)

Si l’optimum est < 0, αT x ≥ b est une inégalité valide coupant x̂ .


Généralisation à la PCM

But: Construire une relaxation linéaire pour laquelle une coupe peutêtre déduite en utilisant CGLP.

1 Résoudre un PNL qui dit si x̂est dans la relaxation split. Sioui, pas de coupe FIN.

2 Sinon, déduire x1, x0 tels quex̂ = λx1 + (1 − λ)x0.

3 Construire une relaxationlinéaire autour de ces 2 points.

4 Résoudre CGLP, qui donne unecoupe.

x

xk ≤ π xk ≥ π + 1








x

xk ≤ π xk ≥ π + 1

x1x0








x

xk ≤ π xk ≥ π + 1








x

xk ≤ π xk ≥ π + 1

Remarque

Approche par PNL [Bonami, 2011]. Approche voisine uniquement parPL [Kılınc et al., 2011].


Apperçu de résultats expérimentaux

[Kılınc et al., 2011], accélération d’un facteur 3 sur un ensembled’instances "difficiles" avec le NLP/LP B&B de Filimint.[Bonami, 2011], accélération de 24 % sur un ensemble d’instances"non-triviales" avec NLP B&B de Bonmin.Dans les deux cas, des instances non résolues sans coupes sontrésolues en quelques minutes.

Combinaison avec la séparabilité[Kılınç, 2011]

Des résultats encore meilleurs sont obtenus en combinant lesformulations étendues avec les coupes.

Original Extendedn root gap sol time root gap sol time

Batch 10 58.40 376.2 68.77 58.7Markowitz 10 0.00 > 10 800 98.07 1 262SLay 14 68.50 36 86.08 5.0uflquad 15 10.85 784 96.25 145


Agenda

1 Le cas convexe

2 Un pas dans la non-convexité avec CPLEX 12.6Programmes Quadratiques MixtesSpatial branch-and-boundExpériences de calculs

3 Conclusions


(MI)QP

min12xTQx + cT x

s.t.

Ax = b

xj ∈ Z j = 1, . . . , p

l ≤ x ≤ u

(MIQP)

(avec Q symétrique),


(MI)QP

min12xTQx + cT x

s.t.

Ax = b

xj ∈ Z j = 1, . . . , p

l ≤ x ≤ u

(MIQP)

(avec Q symétrique),

Historique de MIQP dans CPLEX

Classe p Q Algorithme V. (Année)QP Convexe 0 � 0 barrier 4.0 (1995)– – – simplexe QP 8.0 (2002)MIQP convexe > 0 � 0 B&B 8.0 (2002)QP non-convexe 0 6� 0 barrier (local) 12.3 (2011)– – – B&B spatial (global) 12.6 (2013)MIQP non-convexe > 0 6� 0 B&B spatial(global) 12.6 (2013)


Exemple

Soit G = (N,E ) un graphe et Q la matrice d’incidence de G . La valeuroptimale de :

min12xTQx

s.t.∑

xj = 1

x ≥ 0.

est 1

2

(

1 − 1

χ(G)

)

où χ(G ) est la taille de la plus grande clique de G

[Motzkin and Straus, 1965],

⇒ QP est NP-difficile.

Plus généralement les QP sur un simplex peuvent être résolus parun algorithme non-linéaire de clique maximale [Scozzari andTardella, 2008].


(MI)QP Global

Activé en mettant l’option solution target à 3 (ouCPX_SOLUTIONTARGET_OPTIMALGLOBAL).

Note: les versions précédentes pouvaient résoudre certaines classes(0-1 purs, convexes après presolve,...).

Complexité

NP-difficile si Q à au moins 1 valeur propre négative.

Vérifier qu’un QP non-convexe est non-borné est NP-complet.

B&B spatial

Établir une relaxation (convexe), facilement soluble.

Établir des règles de branchement sur les solutions de cetterelaxation.


Relaxations élémentaires: approximation d’un carré

La meilleure relaxation convexe d’un carré x21

x1

x21

x1 = l1 x1 = u1

{y ≤ x21}




x1 = l1 x1 = u1

approximation sécante




x2

1 ≤ y+ii := (l1 + u1)x1 − l1u1


Relaxations élémentaires: : formules de McCormick

La meilleure relaxation convexe du produit x1x2 [McCormick, 1976]

x1

x2

x1x2




x1x2 ≥ y−12

:= max

{

u2x1 + u1x2 − u1u2

l2x1 + l1x2 − l1l2

}

x1x2 ≤ y+12

:= min

{

u2x1 + l1x2 − l1u2

l2x1 + u1x2 − u1l2

}

x1

x2

x1x2




x1x2 ≥ y−12

:= max

{

u2x1 + u1x2 − u1u2

l2x1 + l1x2 − l1l2

}

x1x2 ≤ y+12

:= min

{

u2x1 + l1x2 − l1u2

l2x1 + u1x2 − u1l2

}

x1

x2

x1x2

En fonction du signe de qij , on a seulement besoin de y+ ou y−.

Pour simplifier, on suppose qu’on met toutes les inégalités dans lasuite.


Reformulation et relaxation Q-space

Soit Q = P + Q̃ avec P la matrice diagonale � 0 des qii > 0.

min12xTPx +

12xT Q̃x + cT x

s.t.

Ax = b

xj ∈ Z j = 1, . . . , p

l ≤ x ≤ u

(MIQP)




Ajouter une variable yij = xixj pour chaque q̃ij 6= 0 de Q̃.

min12xTPx +

12〈Q̃,Y 〉+ cT x

s.t.

Ax = b

xj ∈ Z j = 1, . . . , p

Y = xxT

l ≤ x ≤ u

(MIQP)

( 〈Q,Y 〉 =∑

i ,j qijyij )




Ajouter une variable yij = xixj pour chaque q̃ij 6= 0 de Q̃.

Relâcher yij = xixj avec McCormik et les sécantes.

min12xTPx +

12〈Q̃,Y 〉+ cT x

s.t.

Ax = b

xj ∈ Z j = 1, . . . , p

y−ij ≤ yij ≤ y+ij

yii ≤ y+ii

l ≤ x ≤ u

(q-MIQP)


Reformulation et relaxation EV-space

Factoriser Q = LTDL. Soient z = Lx et zTDz = xTQx et réaliser lesmême étape (mais plus simples)....

min12zTDz + cT x

s.t.

Ax = b, Lx = z

xj ∈ Z j = 1, . . . , p

l ≤ x ≤ u

(MIQP)




Sit D = D+ − D− avec D± des matrices diagonales �.

min12(zTD+z − zTD−z) + cT x

s.t.

Ax = b, Lx = z

xj ∈ Z j = 1, . . . , p

l ≤ x ≤ u

(MIQP)





Ajouter des variables yii ≤ z2 pour chaque élément non-nul de D−.

min12zTD+z −

n∑

i=1

dii

2yii + cT x

s.t.

Ax = b, Lx = z

xj ∈ Z j = 1, . . . , p

yii ≤ z2

i

l ≤ x ≤ u

(MIQP)





Ajouter des variables yii ≤ z2 pour chaque élément non-nul de D−.

Déduire des bornes finies lz , uz pour z et relâcher yii ≤ z2

i enutilisant les sécantes.

min12zTD+z −

n∑

i=1

dii

2yii + cT x

s.t.

Ax = b, Lx = z

xj ∈ Z j = 1, . . . , p

yii ≤ y+ii

l ≤ x ≤ u, lz ≤ z ≤ uz

(ev-MIQP)


Notes sur les deux relaxations

Les étapes sont quasiment les mêmes.

En général, pas comparables.

Si Q est diagonale les deux relaxations sont identiques.

Si Q � 0, EV-space est meilleure: préserve convexité.Q-space donne des approximation étonnamment bonnes [Luedtkeet al., 2012]: si Q à 0 comme diagonale, pour le QP:min{xTQx : 0 ≤ x ≤ 1}.

Si Q ≥ 0 l’approximation est dans un facteur 2.Si Q 6≥ 0 l’approximation est dans un facteur au moinsproportionnel au nombres de non-nuls dans Q (pas serré).

Beaucoup de façons de mieux décomposer Q par ex. [Billionnetet al., 2012, Saxena et al., 2009].

Stratégie dans CPLEX

Utiliser EV-space si le problème à l’air presque convexe.


Branchements

Soit (x , y) la solution de la relaxation. Supposons que xj ∈ Z,j = 1, . . . , p.Si pour tout i , j , y ij = x ix j , alors (x , y) est une solution duproblème, FIN.Sinon, (x , y) n’est pas une solution, on doit brancher.Choisir un tel indice i et une valeur θ entre li+ui

2et x i .

Brancher en changeant une borne de xi à θ et en mettant à jourtoutes les approximations sécantes et de McCormick utilisant cetteborne.

x1

x2

x1x2


Branchements


2et x i .



Branchements


2et x i .


xi = θ

x1 = θ


Autres ingrédients

Relaxations résolution par un simplexe QP.

Point intérieurs indéfini pour améliorer l’incombant.

Renforcement de bornes basés sur les KKT.

Linéarisation complète des termes quadratique impliquant unevariable 0 − 1.Détection heuristique des problèmes non-bornés:

ne marche pas toujours: RELAXATION_UNBOUNDED

Multi-threadé.


Expériences de calculs

390 modèles de diverses origines

Librairie interne de QP 0-1 non-convexes avec 3 variantes :originel, 50% relaché, 100 % relaché.

Globallib [GAMS]

[minlp.org], Box-QP[Burer and Vandenbussche, 2009], . . .

CUTEr [Gould et al., 2003] avec objectifs inversés.

Expériences

Pas vraiment d’autre solveur visant MIQP non-convexe.

Comparaison avec SCIP 3.0.1 [Vigerske, 2012] sur 1 thread.

Comparaison de CPLEX utilisant 1 et 4 threads.

Limite de temps de 3 heures.


Comparaison avec SCIP sur différents types de modèles

100

101

102

all ≥1 ≥10 ≥102

avec hors délais

<1 1:10 10:102

102:10

310

3:104

sans hors délais

Pure 0-1. Hors délais: SCIP 5.

0-1 mixtes. Hors délais: CPLEX 2 , SCIP 2.

Continus et entiers généraux. Hors délais: CPLEX 1, SCIP 29.


CPLEX multi-thread

0

0.2

0.4

0.6

0.8

1.0

all ≥1 ≥10 ≥102

Avec hors délais

<1 1:10 10:102

102:10

310

3:104

Sans hors délais

4 modèles hors délais avec 1 résolus avec 4.


Conclusions

PNLM est toujours très difficile et pas bien résolu.Dans les trois dernières années:

SCIP[Vigerske, 2012]MINOTAUR[Leyffer et al., 2012]GLOMIQO/ANTIGONE [Misener and Floudas, 2013]

(chacun apporte des améliorations fantastiques sur l’état del’art).

Les principaux vendeurs commerciaux essaient aussi d’offrir denouvelles capacités en PNLM.Pour faire de bons solveurs on a besoin de bons ensembles detests:

www.minlp.org: dépot publique de modèles.Je prends tous les (MI)QP qu’on m’envoie (résolus ounon).


www.minlp.org

Traitement des problèmes non-bornés

On essaie de borner toutes les variables par propagation.

Si ce n’est pas suffisant on le fait par PL..Si il reste une direction non-bornée r , on considère son coût rTQr :

Si rTQr < 0: le problème est non-borné (ou irréalisable),Si rTQr ≥ 0: la relaxation est non-bornée mais on ne peut pasconclure sur le statut du problème. CPLEX retourneRELAXATION_UNBOUNDED.

(Très simple de construire des exemples où on ne peut pasconclure).

[Hu et al., 2012]

Proposent un système KKT qui détecte correctement les problèmesnon-bornés.

Utilisent une décomposition de Benders combinatoire pour lerésoudre.


References I

K. Abhishek, S. Leyffer, and J. T. Linderoth. FilMINT: Anouter-approximation-based solver for convex mixed-integer nonlinearprograms. INFORMS Journal on Computing, 2010. To appear, DOI:10.1287/ijoc.1090.0373.

W. B. Ameur and A. Ouorou. Mathematical models of the delayconstrained routing problem. Algorithmic Operations Research, 1(2):94–103, 2006.

P. Belotti, C. Kirches, S. Leyffer, J. Linderoth, J. Luedtke, andA. Mahajan. Mixed-integer nonlinear optimization. Acta Numerica,22:1–131, 5 2013. ISSN 1474-0508.

T. Berthold and A. Gleixner. Undercover: a primal minlp heuristicexploring a largest sub-mip. Mathematical Programming, pages 1–32,2013. doi: 10.1007/s10107-013-0635-2.


References II

D. Bienstock. Computational study of a family of mixed-integerquadratic programming problems. Mathematical Programming, 74:121–140, 1996.

A. Billionnet, S. Elloumi, and A. Lambert. Extending the qcr method togeneral mixed-integer programs. Mathematical Programming, 131(1-2):381–401, 2012. doi: 10.1007/s10107-010-0381-7.

P. Bonami. Lift-and-project cuts for mixed integer convex programs. InIPCO, pages 52–64, 2011.

P. Bonami, L. T. Biegler, A. R. Conn, G. Cornuéjols, I. E. Grossmann,C. D. Laird, J. Lee, A. Lodi, F. Margot, N. Sawaya, and A. Wächter.An algorithmic framework for convex mixed integer nonlinearprograms. Discrete Optimization, 5(2):186–204, 2008.

P. Bonami, G. Cornuejols, A. Lodi, and F. Margot. A feasibility pumpfor mixed integer nonlinear programs. Mathematical Programming A,119:331–352, 2009.


References III

P. Bonami, J. Lee, S. Leyffer, and A. Wächter. On branching rules forconvex mixed-integer nonlinear optimization. ACM JEA, 5, 2013.

R. Boorstyn and H. Frank. Large-scale network topological optimization.IEEE Transactions on Communications, 25:29–47, 1977.

C. Bragalli, C. D’Ambrosio, J. Lee, A. Lodi, and P. Toth. On theoptimal design of water distribution networks: a practical minlpapproach. Optimization and Engineering, pages 1–28, 2011.

S. Burer and D. Vandenbussche. Globally solving box-constrainednonconvex quadratic programs with semidefinite-based finitebranch-and-bound. Comput Optim Appl, 43:181–195, 2009.

M. R. Bussieck and A. Drud. Sbb: A new solver for mixed integernonlinear programming. Talk, OR 2001, Section "ContinuousOptimization", 2001.


References IV

R. H. Byrd, J. Nocedal, and R. A. Waltz. KNITRO: An integratedpackage for nonlinear optimization. In Large Scale Nonlinear

Optimization, 35–59, 2006, pages 35–59. Springer Verlag, 2006.

S. Cafieri and N. Durand. Aircraft deconfliction with speed regulation:new models from mixed-integer optimization. Journal of Global

Optimization, pages 1–17, 2013. ISSN 0925-5001.

I. Castillo, J. Westerlund, S. Emet, and T. Westerlund. Optimization ofblock layout deisgn problems with unequal areas: A comparison ofMILP and MINLP optimization methods. Computers and Chemical

Engineering, 30:54–69, 2005.

J. A. De Loera, R. Hemmecke, M. Köppe, and R. Weismantel. Integerpolynomial optimization in fixed dimension. Mathematics of

Operations Research, 31(1):147–153, 2006.


References V

M. A. Duran and I. Grossmann. An outer-approximation algorithm for aclass of mixed-integer nonlinear programs. Mathematical

Programming, 36:307–339, 1986.

S. Elhedhli. Service System Design with Immobile Servers, StochasticDemand, and Congestion. Manufacturing & Service Operations

Management, 8(1):92–97, 2006. doi: 10.1287/msom.1050.0094.URLhttp://msom.journal.informs.org/cgi/content/abstract/8/1/92.

A. Frangioni and C. Gentile. Perspective cuts for a class of convex 0-1mixed integer programs. Mathematical Programming, 106:225–236,2006.

GAMS. Global library. URLhttp://www.gamsworld.org/global/globallib.htm.


http://msom.journal.informs.org/cgi/content/abstract/8/1/92

http://www.gamsworld.org/global/globallib.htm

References VI

I. Gentilini, F. Margot, and K. Shimada. The travelling salesmanproblem with neighborhoods: Minlp solution. Optimization Methods

and Software, 28(2):364–378, 2013.

N. I. M. Gould, D. Orban, and P. L. Toint. Cuter and sifdec: Aconstrained and unconstrained testing environment, revisited. ACM

Trans. Math. Softw., 29(4):373–394, Dec. 2003. doi:10.1145/962437.962439.

O. Günlük and J. Linderoth. Perspective relaxation of mixed integernonlinear programs with indicator variables. In IPCO 2008: The

Thirteenth Conference on Integer Programming and Combinatorial

Optimization. Springer, 2008.

O. K. Gupta and A. Ravindran. Branch and bound experiments inconvex nonlinear integer programming. Management Science, 31:1533–1546, 1985.


References VII

C. A. Haverly. Studies of the behavior of the recursion for the poolingproblem. SIGMAP Bulletin, 25:19–28, 1978.

H. Hijazi, P. Bonami, and A. Ouorou. An outer-inner approximation forseparable mixed-integer nonlinear programs. INFORMS Journal on

Computing, 26(1):null, 14. doi: 10.1287/ijoc.1120.0545.

J. Hu, J. E. Mitchell, and J.-S. Pang. An lpcc approach to nonconvexquadratic programs. Math. Program., 133(1-2):243–277, 2012.

R. C. Jeroslow. There cannot be any algorithm for integer programmingwith quadratic constraints. Operations Research, 21(1):221–224,1973.

M. Kılınc, J. Linderoth, and J. Luedtke. Effective separation ofdisjunctive cuts for convex mixed integer nonlinear programs.Technical Report 1681, 2011.


References VIII

M. R. Kılınç. Disjunctive Cutting Planes ann Algorithms for Convex

Mixed Integer Nonlinear Programming. PhD thesis, University ofWisconsin-Madison, 2011.

J. Lee. How we participate in open source agreements, 2008. URLhttp://ibm.co/1nPMkAM.

S. Leyffer. Integrating SQP and branch-and-bound for mixed integernonlinear programming. Technical report, University of Dundee, 1998.

S. Leyffer, J. Linderoth, J. Luedtke, A. Mahajan, and T. Munson.Minotaur, 2012. URL http://wiki.mcs.anl.gov/minotaur.

J. Luedtke, M. Namazifar, and J. Linderoth. Some results on thestrength of relaxations of multilinear functions. Math. Program., 136(2):325–351, 2012.


http://ibm.co/1nPMkAM

http://wiki.mcs.anl.gov/minotaur

References IX

A. Mahajan, S. Leyffer, and C. Kirches. Solving mixed-integer nonlinearprograms by qp-diving. Technical Report ANL/MCS-P2071-0312,Mathematics and Computer Science Division, Argonne NationalLaboratory, 2012.

G. P. McCormick. Computability of global solutions to factorablenonconvex programs: Part I—Convex underestimating problems.Mathematical Programming, 10:147–175, 1976.

R. Misener and C. A. Floudas. GloMIQO: Global Mixed-IntegerQuadratic Optimizer. J. Glob. Optim., 57:3–30, 2013.

T. S. Motzkin and E. G. Straus. Maxima for graphs and a new proof ofa theorem of turán. Canadian Journal of Mathematics, 17:533–540,1965.

I. Quesada and I. E. Grossmann. An LP/NLP based branch–and–boundalgorithm for convex MINLP optimization problems. Computers and

Chemical Engineering, 16:937–947, 1992.


References X

A. J. Quist, R. van Gemeert, J. E. Hoogenboom, T. Ílles, C. Roos, andT. Terlaky. Application of nonlinear optimization to reactor core fuelreloading. Annals of Nuclear Energy, 26:423–448, 1999.

S. Sager. Numerical methods for mixed–integer optimal control

problems. Der andere Verlag, Tönning, Lübeck, Marburg, 2005.ISBN 3-89959-416-9.

S. Sager. A benchmark library of mixed-integer optimal controlproblems. In J. Lee and S. Leyffer, editors, Mixed Integer Nonlinear

Programming, pages 631–670. Springer, 2012.

A. Saxena, P. Bonami, and J. Lee. Convex relaxations of non-convexmixed integer quadratically constrained programs: Projectedformulations. Mathematical Programming, Series A, 130, 2009.

A. Scozzari and F. Tardella. A clique algorithm for standard quadraticprogramming. Discrete Applied Mathematics, 156(13):2439–2448,2008.


References XI

M. Soler, P. Bonami, A. Olivares, and E. Staffetti. Multiphasemixed-integer optimal control approach to aircraft trajectoryoptimization. Journal of Guidance, Control, and Dynamics, 36(5):1267–1277, 2013.

S. Vigerske. Decomposition in multistage stochastic programming and a

constraint integer programming approach to mixed-integer nonlinear

programming. PhD thesis, 2012.

S. Vigerske. Gams minlp benchmarks, 2013. URLhttp://bit.ly/1ftcys8.

T. Westerlund and K. Lundqvist. Alpha-ECP, version 5.101. aninteractive minlp-solver based on the extended cutting plane method.In Updated version of Report 01-178-A, Process Design Laboratory,

Abo Akademi Univeristy, 2005.


http://bit.ly/1ftcys8

programmation non-linéaire en variables mixtes et … · decision optimization programmation...

Documents