Annuncio del rilascio del software di forward search versione 2.0

["Marco Riani" <mriani@ipruniv.cce.unipr.it>]

Sono lieto di annunciare che è possibile scaricare on line la nuova
versione del software di forward search per Splus versione 6.x (per il
riferimento metodologico si veda Atkinson and Riani, 2000; Robust
Diagnostic Regression Analysis, Springer Verlag, New York). 
Il nuovo software può essere utilizzato dal prompt dei comandi di SPLUS
oppure attraverso un'interfaccia grafica personalizzata (GUI). La
Graphical User Interface è dotata di un sistema di help grafico
ipertestuale identico a quello utilizzato dalla Insightful. 
Il nuovo software permette di applicare la metodologia robusta ed
efficiente della forward search ai modelli di regressione lineare, alle
trasformazioni della variabile dipendente e ai modelli lineari
generalizzati. Nel caso dei GLM, il nuovo software estende i link
tradizionali supportati da Splus. Ad esempio, nel caso della regressione
Gamma, è possibile effettuare le trasformazioni di Box-Cox oppure, nel
caso di variabile risposta dicotomica, consente di utilizzare il link
arcseno.

Per testare la bontà del link è stato implementato, nel contesto della
forward search, il cosiddetto “goodness of link test” (Atkinson and
Riani, 2000; Springer Verlag, p. 200). Infine, per valutare la stabilità
nelle stime dei parametri è stata implementata l'estensione della
distanza di Cook ai modelli lineari generalizzati. Uno degli output
principali del programma è costituito da una serie di grafici forward,
semplici da interpretare e nello stesso tempo potenti nel rivelare la
vera struttura dei dati.
Tutti gli esempi di corredo al libro Atkinson and Riani (2000) sono
immediatamente disponibili all’interno del software facendo click su una
semplice casella di controllo. Una volta selezionato il data set, nelle
caselle di testo “Variabile dipendente”, “Variabili indipendenti” e
“Peso” della GUI, appaiono in automatico le variabili che sono state
utilizzate nei modelli suggeriti nel libro. A questo punto, per avviare
la forward search è necessario fare click con il mouse sul pulsante
“Applica”.

La libreria “forward” è stata scritta da Marco Riani (Univ. di Parma) e
Kjell Konis (Insightful Corporation) ed è scaricabile da Internet da uno
dei seguenti indirizzi web (sezione software e datasets): 


http://stat.econ.unipr.it/riani/ar 
http://www.riani.it/ar

Naturalmente, se avete quesiti oppure se trovate dei bug nel programma
non esitate a contattarmi (mriani@unipr.it) oppure a contattare Kjell
Konis (kkonis@insightful.com).


Di seguito, allego il file principale di help (tradotto in formato txt)
contenente una breve descrizione della forward search.

L'occasione mi è gradita per porgere a tutti gli auguri di buon Natale e
felice anno nuovo.


Marco Riani

The Forward Search

DESCRIPTION: 
The forward search is a powerful general method for detecting
unidentified subsets of the data and for determining their effect on
fitted models. These subsets may be clusters of distinct observations or
there may be one or several outliers. Alternatively, all the data may
agree with the fitted model. The plots produced by the forward search
make it possible to distinguish these situations and to identify any
influential observations. The method has been implemented for
regression, Box and Cox power transformations and for generalized linear
models. 

The search starts by fitting a small robustly chosen set of
observations, intended to exclude outliers. The subset is then increased
in size, one observation at a time and the behaviour of parameter
estimates, residuals and diagnostic measures monitored by plotting
against subset size. Such plots are called forward plots. 
REGRESSION: 
The number of observations is n and the number of parameters to be
estimated is p. The search starts by fitting the regression model to
subsets of p observations. The default is to take all of the subsets if
there are less than 3000, and to find 3000 non-singular random samples
otherwise. For each subset the median of the squared residuals is
calculated. The subset of p observations yielding the minimum median of
squared residuals provides the initial subset for the forward search. 

During the search the parameters are estimated by least squares applied
to subsets of m observations as m goes from p to n. When m observations
are used in fitting, the subset yields parameter estimates from which we
calculate residuals for all observations. We square these n residuals
and order them, taking the observations corresponding to the m+1
smallest as the new subset for the next step in the forward search.
Usually this process augments the subset by one observation, but
sometimes two or more observations enter as one or more leave, an
indication of the presence of a cluster of outliers. Due to the form of
the search, outliers, if any, tend to enter as m approaches n. Forward
plots of parameter estimates and residuals are typically stable until
the outliers enter the subset. 

TRANSFORMATIONS: 
Regression models are often improved by a power transformation of the
response. In the Box and Cox parametric family, a value of one
corresponds to no transformation, zero to the log transformation and
minus one to the reciprocal. The value of the transformation parameter
is tested using an approximately normal score test, which is related to
the likelihood ratio test of Box and Cox. 

The fan plot provides a forward plot of the score statistic for five
values of the transformation parameter between one and minus one.
However, transformation of the data alters the order in which
observations enter the forward search. The plot therefore presents the
results of five separate searches, one for each value of the
transformation parameter. 

GENERALIZED LINEAR MODELS: 
The forward search for generalized linear models is similar to that for
regression, except that the squared least squares residuals used in the
search are replaced by squared deviance residuals, that is individual
components of the deviance. Forward plots of deviance residuals and of
parameter estimates are again helpful in determining agreement between
the fitted model and the data. 

The link function in these models is tested by a goodness of link test
using a constructed variable. There are two stages in the calculation.
In the first, the generalized linear model is fitted and the linear
predictor estimated for each observation. The constructed variable is
the square of the linear predictor. The approximately normal score
statistic is the test for the inclusion of this constructed variable in
the model. Significance indicates that the link function is
unsatisfactory. 

REFERENCES: 
Atkinson, A. C. and Riani, M. "Robust Diagnostic Regression Analysis",
Springer Verlag, New York (2000). 

SEE ALSO: 
fwdglm , fwdlm , fwdsco .

|===============================================================|
Marco Riani, PhD 
Dipartimento di Economia
Sezione di Statistica 
Via J. Kennedy 6                          
43100 PARMA                             
ITALY                                           
PHONE: +39 0521 902478                                      
FAX:   +39 0521 902375                                       
e-mail: mriani@unipr.it
http://stat.econ.unipr.it/riani
http://www.riani.it
|===============================================================|