L’attività di ricerca dell’unità operativa di Modena nell’ambito del progetto, ha riguardato lo sviluppo e la costruzione di software che hanno come nucleo computazionale i metodi di ottimizzazione in problemi di apprendimento automatico e di controllo ottimo, l'analisi e lo sviluppo di metodi numerici per la risoluzione di classi di sistemi di equazioni non lineari e metodi di approssimazione numerica di problemi differenziali in biologia computazionale.
Questa attività è riassunta da oltre una trentina di lavori su riviste nazionali e internazionali e rapporti tecnici, dallo sviluppo di codici per problemi di ottimizzazione in apprendimento statistico e in controllo ottimo (nella sezione “prodotti della ricerca eseguita” sono riportate in elenco alcune tra le pubblicazioni) ed anche da comunicazioni presentate a convegni nazionali ed internazionali (in fondo a questa sezione di descrizione della ricerca si riporta un elenco delle conferenze a cui componenti dell'unità di ricerca hanno partecipato sui temi del progetto).
Per ciò che concerne problemi di apprendimento statistico, in particolare in problemi di classificazione e di regressione, è stato introdotto un software parallelo, oltre ad un aggiornamento della versione seriale precedentemente proposta, per macchine a vettori di supporto (SVM) lineari e non lineari [Z, SZZ1, SZZ2, SZ, PZZ].
Il software implementa, su architetture di calcolo parallele, una procedura iterativa di decomposizione che include recenti sviluppi teorici dei metodi tipo-gradiente proiettato usati per la risoluzione dei sottoproblemi di ottimizzazione quadratica che intervengono ad ogni iterazione; inoltre sono state introdotte nuove procedure parallele per l’aggiornamento del gradiente e per la selezione dell’insieme attivo. La versione del software resa disponibile nel luglio 2006 [SZZ1] ha consentito di sfruttare architetture parallele per addestrare SVM su insiemi costituiti da milioni di esempi, superando i limiti dei tradizionali software seriali.
Il software prodotto è disponibile al sito web sotto licenza GNU (General Public License) http://www.dm.unife.it/gpdt/ (per il codice parallelo, sono stati registrati nel database oltre 50 utenti, 4 soggetti commerciali, due pacchetti software per i quali è stato richiesto di usare il codice PGPDT come core del sistema (uno dei quali è http://www2.fml.tuebingen.mpg.de/raetsch/projects/shogun); nel solo mese di agosto 2006, dopo l’uscita del lavoro [SZZ1], sono stati registrati oltre 370 accessi al sito, la quasi totalità dall’estero).
Sempre nell’ambito dei problemi di apprendimento di dimensioni molto grandi, si è iniziato lo studio di nuovi algoritmi, chiamati “algoritmi a cascata”, che si basano su particolari strategie di suddivisione dell’insieme di addestramento e si prestano ad essere combinati con la tecnica di decomposizione utilizzata dal metodo PGPDT.
Inoltre, sono state analizzate anche metodologie di apprendimento derivanti da recenti risultati sulla riformulazione dei problemi di apprendimento statistico come problemi inversi.
Gli algoritmi di apprendimento automatico sviluppati sono stati utilizzati dall’unità operativa di Modena in varie applicazioni reali in ambito Biochimico (problemi di classificazione automatica dei siti di interazioni di proteine) e nell’ambito delle Neuroscienze (problemi di regressione non lineare nell’interpretazione dell’attività del cervello). In questo contesto si inserisce l’organizzazione della Seconda Scuola Internazionale di Computational Cell Biology “Computational methods in multiscale processes for protein interactions”, Modena, 4-6 settembre 2006 http://www.dm.unife.it/SCCB2006/, e l’attività per la Scuola di Dottorato di Ricerca dell’Università di Modena e Reggio Emilia in modellistica, simulazione computazionale e caratterizzazione multiscala per le scienze dei materiali e della vita.
Nell’ambito della risoluzione numerica di problemi di controllo ottimo mediante la programmazione matematica [BR, BRT, BGR1, BGR2], sono stati sviluppati diversi risolutori interni per il metodo iterativo di Newton del punto interno; si riconoscono tra questi, il metodo dei moltiplicatori e due versioni distinte dei gradienti coniugati precondizionati. Alcuni tra questi risolutori hanno come nucleo computazionale la risoluzione del “sistema aumentato” mediante una fattorizzazione tipo-Cholesky. A questo proposito, è stata introdotta una routine BLKFCLT (disponibile al sito web: http://www.dm.unife.it/blkfclt/ ) per la risoluzione di sistemi sparsi senza struttura, di grandi dimensioni, simmetrici, indefiniti, che si basa su una variante della routine LIPSOL di Ng-Peyton.
Questa routine introdotta risulta molto efficiente e contribuisce a rendere l’approccio di Newton del punto interno estremamente competitivo con il software di ottimizzazione non lineare esistente specialmente per problemi di controllo ottimo di tipo ellittico con equazione differenziale debolmente non lineare. In questi casi vengono risolti problemi di ottimizzazione nonlineare, sparsi con circa un milione e mezzo di variabili primali e duali. Il codice del metodo di Newton del punto interno sviluppato in linguaggio C++ con interfaccia AMPL che utilizza la routine BLKFCLT è disponibile al sito web http://www.dm.unife.it/~bonettini/ip_pcg.htm
Inoltre, al sito web http://www.dm.unife.it/~bonettini/ip_pcg/controllo.htm è disponibile un test-set di problemi di controllo ottimo di tipo ellittico e di tipo parabolico con vincoli sia sullo stato che sul controllo descritti mediante modelli AMPL.
Un altro aspetto dell’attività dell’unità operativa di Modena riguarda l’analisi e lo sviluppo di metodi per sistemi di equazioni non lineari.
Per sistemi di equazioni non lineari semismooth [BT, RT] è stato introdotto un metodo di Newton inesatto non monotono che risulta particolarmente interessante quando il risolutore interno è un metodo iterativo. La risoluzione numerica di disequazioni variazionali di grandi dimensioni può essere ottenuta da una generalizzazione di un metodo di Newton inesatto applicato a sistemi non lineari semismooth; è stato introdotto un precondizionatore, variante della fattorizzazione LU incompleta, per il metodo iterativo che calcola la soluzione approssimata ad ogni passo del metodo di Newton inesatto.
Per sistemi di equazioni non lineari alle differenze finite [G1, G2] sono state analizzate due classi di problemi: nel primo caso, dove il sistema è debolmente non lineare e la parte non lineare soddisfa una proprietà di invarianza affine, sono forniti risultati di convergenza per il metodo di Newton e per il metodo di Newton-iterativo e, in particolare il metodo della Media Aritmetica è stato valutato numericamente su questa classe di problemi come risolutore iterativo interno. Nel secondo caso per una classe di sistemi non lineari, come quelli provenienti dalla discretizzazione di equazioni non lineari di diffusione-convezione con condizioni di Neumann al contorno, sono stati introdotti e ne è stata sviluppata una teoria della convergenza, un metodo della Media Aritmetica non lineare e un metodo della Media Aritmetica del punto fisso.
Un aspetto rilevante nella ricerca dell’unità di Modena riguarda alcune problematiche di biologia computazionale, come la modellizzazione di reti di regolazione genica. In questo ambito si inserisce l’organizzazione della Prima Scuola Internazionale di Computational Cell Biology “The role of stochasticity in the modelling and simulation of biological processes”, Urbino, 7-9 novembre 2005 http://www.dm.unife.it/SCCB2005/ . Negli studi a tale riguardo [C1, C2, C3, C4] sono stati sviluppati metodi adatti all'approssimazione numerica della soluzione di equazioni differenziali stocastiche con ritardo e, nel caso deterministico, si è inoltre sviluppato un software per la ricerca dei punti di switch di stabilità per equazioni differenziali con ritardo, discreto o distribuito, aventi equazioni caratteristiche con coefficienti, sia dipendenti che indipendenti dal ritardo.
Elenco delle comunicazioni presentate a conferenze:
1) Zanghirati G. (con T. Serafini, L. Zanni): On gradient projection-based decomposition techniques for training SVMs on parallel architectures, PASCAL Workshop, Thurnau (Germania), 16-18 marzo, 2005.
2) Zanghirati G. (con T. Serafini, L. Zanni): Numerical Topics on SVMs Classification, workshop ASTAA Project Meeting 2005, Genova , 9-10 maggio, 2005.
3) Zanghirati G. (con T. Serafini, L. Zanni): Decomposition techniques and gradient projection methods in training Support Vector Machines, SIAM Conference on Optimization 2005, Stoccolma, Svezia, 15-19 maggio, 2005.
4) Carletti M.: Numerical simulation of a stochastic model for bacteriophage infection with time delays, SciCADE05 International Conference, Nagoya (Giappone), 23-27 maggio 2005.
5) Zanghirati G. (con T. Serafini, L. Zanni): Some Improvements to a Parallel Decomposition Technique for Training Support Vector Machines, EURO PVM MPI 2005, 12th European Parallel Virtual Machine and Message Passing Interface Conference, Sorrento, 18-21 settembre, 2005.
6) Zanghirati G. (con E. Galligani, V. Ruggiero): Splitting methods for nonlinear diffusion filtering, 3rd IASC World Conference on Computational Statistics and Data Analysis, Limassol (Cipro), 28-31 ottobre, 2005.
7) Zanghirati G. (con T. Serafini, L. Zanni): Gradient Projection-Type Quadratic Solvers in Parallel Decomposition Techniques for Support Vector Machines, 3rd IASC World Conference on Computational Statistics and Data Analysis, Limassol (Cipro), 28-31 ottobre, 2005.
8) Zanghirati G.: On gradient projection-based and other techniques for SVMs training, Dipartimento di Matematica, CAU, 13 gennaio 2006 (durante il periodo di professore visitatore presso il China Agricultural University, Pechino (Cina) dal prof. Nai-Yang Deng, 11-18 gennaio 2006).
9) Bonettini S.,:On the solution of indefinite systems arising in nonlinear optimization, Conferenza Nazionale SIMAI 2006, Baia Samuele, 25 Maggio 2006.
10) Tinti F.: A preconditioner for solving large scale variational inequality problems, Conferenza Nazionale SIMAI 2006, Baia Samuele, 25 Maggio 2006.
11) Carletti M.:Stochastic delay differential equations in biomathematical modelling, Workshop on Innovative Methods for Evolutionary Problems with Memory, Capri, 19-21 giugno 2006.
12) Zanghirati G.(con L. Zanni): Some properties of gradient-based methods with application to machine learning, EuroXXI - 21st European Conference on Operational Research, Reykjavik, Islanda, 2-5 luglio, 2006.
13) Zanni L. (con G. Zanghirati): Large-scale Support Vector Machines: Decomposition and Cascade Approaches, EuroXXI - 21st European Conference on Operational Research, Reykjavik, Islanda, 2-5 luglio, 2006.

Pubblicazioni su riviste internazionali:
[BR] S. Bonettini, V. Ruggiero: Some iterative methods for the solution of a symmetric indefinite KKT systems, accettato su Comput. Optim. Appl., 2006.
[BRT] S. Bonettini, V. Ruggiero, F. Tinti: On the solution of indefinite systems arising in nonlinear optimization, sottomesso 2006.
[BT] S. Bonettini, F. Tinti: A nonmonotone semismooth inexact Newton method, Optim. Meth. Software, in stampa 2006.
[RT] V. Ruggiero, F. Tinti: A preconditioner for solving large scale variational inequality problems by a semismooth inexact approach, accettato su Intern. J. Computer Math., 2006.
[BGR1] S. Bonettini, E. Galligani, V. Ruggiero: An inexact Newton method combined with Hestenes multipliers' scheme for the solution of Karush-Kuhn-Tucker systems, Appl. Math. Comput., 168 (2005), 651-676.
[BGR2] S. Bonettini, E. Galligani, V. Ruggiero: Inner solvers for interior point methods for large scale nonlinear programming, accettato su Comput. Optim. Appl., 2006.
[C1] M. Carletti: Numerical solution of stochastic differential problems in the biosciences, J. Comput. Appl. Math., 185 (2006), 422-440.
[C2] M. Carletti: Numerical simulation of a Campbell-like stochastic delay model for bacteriophage infection, IMA J. Math. Appl. Medicine Biology, 23 (2006), 297-310.
[C3] M. Carletti, E. Beretta: Numerical detection of instability regions for delay moldels with delay-dependent parameters, J. Comput. Appl. Math., in stampa 2006.
[C4] T. Tian, K. Burrage, P.M. Burrage, M. Carletti: Stochastic delay differential equations for genetic regulatory networks, J. Comput. Appl. Math., in stampa 2006.
[FF1] L. Fatone, D. Funaro, G.J. Yoon: A convergence analysis for the superconsistent Chebyshev method, Appl. Numer. Math., in stampa, 2006.
[FF2] L. Fatone, D. Funaro, R. Giova: Finite-difference schemes for transport-dominated equations using special collocation nodes, Numer. Meth Partial Diff. Eqns, 21 (2005), 649-671.
[G1] E. Galligani: The Arithmetic Mean method for solving systems of nonlinear equations in finite differences, Appl. Math. Comput., 181 (2006), 579-597.
[G2] E. Galligani: On solving a special class of weakly nonlinear finite difference systems, sottomesso 2005.
[Z] L. Zanni, An improved gradient projection-based decomposition technique for support vector machines, Comput. Management Science, 3 (2006), 131-145.
[SZZ1] L. Zanni, T. Serafini, G. Zanghirati: Parallel software for training large scale support vector machines on multiprocessor systems, J. Machine Learning Res., 7 (2006), 1467-1492.
[SZZ2] T. Serafini, G. Zanghirati, L. Zanni: Gradient projection methods for quadratic programs and applications in training support vector machines, Optim. Meth. Software, 20 (2005), 353-378.
[SZ] T. Serafini, L. Zanni: On the working set selection in gradient projection-based decomposition techniques for support vector machines, Optim. Meth. Software, 20 (2005), 583-596.
[PZZ] M. Prato, L. Zanni, G. Zanghirati: On recent machine learning algorithms for brain activity interpretation, sottomesso 2006.
Software sviluppato:
T. Serafini, L. Zanni, G. Zanghirati:
1) Parallel GPDT, Parallel gradient projection-based decomposition technique, scalar and parallel training of support vector machines. http://www.dm.unife.it/gpdt/
S. Bonettini, V. Ruggiero:
2) BLKFCLT, Regularized Cholesky-like factorization for sparse symmetric matrices. http://www.dm.unife.it/blkfclt/
3) IP-PCG, An interior point code for nonlinear constrained optimization. http://www.dm.unife.it/~bonettini/ip_pcg.htm
4) A collection of optimal control problems. http://www.dm.unife.it/~bonettini/ip_pcg/controllo.htm
Organizzazione scuole internazionali:
1) M. Carletti, G. Zanghirati, First School on Computational Cell Biology, Urbino, 7-9 novembre 2005, http://www.dm.unife.it/SCCB2005/
2) M. Carletti, M. Prato, G. Zanghirati, Second School on Computational Cell Biology, Modena, 4-6 settembre 2006, http://www.dm.unife.it/SCCB2006/