Re: [autismo-biologia] Pubblicazioni scientifiche, meccanismo della "revisione tra pari" ("peer review") e biomarcatori.
Grazie della stima Inviato da Outlook per Android<https://aka.ms/AAb9ysg> ________________________________ From: Francesco Domenico Capizzi <[email protected]> Sent: Friday, November 22, 2024 3:46:14 PM To: [email protected] <[email protected]>; Marina Marini <[email protected]> Subject: R: [autismo-biologia] Pubblicazioni scientifiche, meccanismo della "revisione tra pari" ("peer review") e biomarcatori. Pubblicato su www.smips.org<http://www.smips.org> un caro saluto f Prof. Francesco Domenico Capizzi [cid:[email protected]] S.M.I.PS Organizzazione di Volontariato Attività: 949950 Iscritta al Registro Unico Nazionale Terzo Settore RUNTS con n. 464693 in data 12/07/2022 Codice fiscale: 91436240377, Sede legale: Agorà, via Carlo Jussi 102, 40068 San Lazzaro di Savena-Bologna, tel. 051467925-3385356943 www.smips.org<http://www.smips.org> https://www.facebook.com/groups/960878214738454 ISCRIZIONE E PARTECIPAZIONE LIBERE E GRATUITE Da: autismo-biologia <[email protected]> Per conto di Marina Marini via autismo-biologia Inviato: venerdì 22 novembre 2024 01:31 A: [email protected] Oggetto: [autismo-biologia] Pubblicazioni scientifiche, meccanismo della “revisione tra pari” (“peer review”) e biomarcatori. Un recente articolo, pubblicato sulla prestigiosa rivista Scientific Reports, del gruppo Nature, https://www.nature.com/articles/s41598-024-77603-3 mi dà lo spunto per qualche sintetica riflessione sulle pubblicazioni scientifiche e sul sistema con cui queste vengono selezionate per la pubblicazione. Le “pubblicazioni scientifiche” si distinguono dalle pubblicazioni divulgative, dai post sui social media, dalle inserzioni a pagamento e dalle brochure pubblicate a proprie spese in quanto dovrebbero riportare risultati di ricerche sperimentali, teoriche o bibliografiche effettuate secondo il “metodo scientifico”. Invito il lettore a cercare autonomamente la definizione e le informazioni sul metodo scientifico (ad esempio, https://it.wikipedia.org/wiki/Metodo_scientifico), ma approfitto dell’occasione per cercare di chiarire un equivoco, di cui ho constatato la diffusione all’epoca dell’epidemia di COVID, quando molte persone si scandalizzavano perché le autorità scientifiche presentavano al pubblico delle notizie scientifiche che dopo poche settimane venivano contraddette. Molti protestavano che gli scienziati non comunicavano “verità scientifiche”, ma opinioni, per cui tutti si sentivano intitolati a presentare a loro volta opinioni personali sull’origine dell’epidemia, sull’andamento del contagio, ecc. C’era, ovviamente, un fraintendimento di base, in quanto, in effetti, le ricerche effettuate seguendo il metodo scientifico non portano a verità assolute che resteranno scolpite nel marmo, bensì a conclusioni temporanee, quelle che possono essere formulate in base alle conoscenze raggiunte fino a quel momento (ma possono essere riviste alla luce di successivi dati, ragionamenti ed esperimenti). A differenza delle verità dogmatiche, infatti, le verità scientifiche sono falsificabili in quanto controllabili (https://www.teche.rai.it/1989/04/karl-popper-falsificazionismo-metodo-scient...). Le pubblicazioni scientifiche sono quindi quelle che consentono l‘avanzamento delle conoscenze e, di conseguenza, la carriera di un ricercatore è giustamente fondata sul numero e sulla qualità delle sue pubblicazioni. Su questa base inconfutabile si è però venuto a formare un complesso sistema di convenzioni che tende a classificare i ricercatori sulla base di criteri bibliometrici, che tengono conto del numero delle pubblicazioni, del prestigio delle riviste accademiche che le accolgono e dal numero di citazioni che le pubblicazioni ricevono. Questi criteri sono ovviamente dei criteri imperfetti, ma cercano di ovviare, con dei numeretti di facile gestione, alle difficoltà che si presenterebbero se si valutasse la produzione scientifica leggendo in effetti queste pubblicazioni e soppesandone l’impatto nell’ambito del settore (specialistico) del ricercatore stesso. Un’impresa che pochi si sentirebbero di compiere (e solo per lo stretto ambito delle proprie competenze). Questi criteri bibliometrici sono poi quelli che vengono valutati al momento di stilare delle graduatorie per dei posti di ruolo o per l’assegnazione di finanziamenti per progetti di ricerca. Ne consegue che il ricercatore si trova immerso in una gara frenetica che è stata denominata “publish or perish” (pubblica o perisci). Da qui la moltiplicazione del numero delle pubblicazioni, la moltiplicazione delle riviste accademiche, la gara tra riviste ad avere il massimo prestigio e il numero massimo di citazioni (che comporta la possibilità di esigere abbonamenti più costosi o di chiedere a chi pubblica un contributo economico più elevato). Mentre questo crea delle ulteriori distorsioni, in quanto in pochi possono permettersi di pagare le spese editoriali, si pone anche il problema per le riviste di assicurarsi pubblicazioni di qualità. E, se vogliono mantenersi al livello di vere riviste accademiche, di come fare ad assicurare la qualità scientifica degli articoli pubblicati. Anche prima che iniziasse la folle corsa del publish or perish, era stato inventato il sistema della “revisione tra pari“. Ossia, l’articolo spedito dal ricercatore (o dal gruppo di ricercatori) viene inviato a dei revisori (generalmente anonimi) esperti in quel determinato campo, scienziati come gli autori dell’articolo e, quindi “pari”. I revisori (detti “referees”) hanno il compito di valutare la qualità e la scientificità dell’articolo, che, a sua volta, è suddiviso in sezioni ben codificate: l’Introduzione definisce il problema scientifico che si desidera affrontare, esaminando lo stato dell’arte, e spiega come si è voluto studiarlo in quel dato lavoro; i Materiali e Metodi descrivono le procedure sperimentali in modo che possano essere replicate da chiunque desideri verificare la correttezza dei metodi e la ripetibilità dei risultati; i Risultati riportano e descrivono i dati ottenuti; la Discussione fa il punto delle conoscenze mettendo in evidenza come lo stato dell’arte si sia modificato sulla base del lavoro descritto nell’articolo. I referee (in genere almeno due) riferiscono all’Editor (ossia al responsabile editoriale), indipendentemente l’uno dall’altro, il loro giudizio qualitativo sull’articolo e formulano dei suggerimenti (accettare l’articolo come è, chiedere agli autori di compiere delle modifiche più o meno gravose, oppure non accettarlo perché gravato da difetti non rimediabili, come ad esempio plagiarismo, errori concettuali, mancanza di controlli, cattiva conduzione degli esperimenti, ecc.). L’Editor, sulla base di tali valutazioni, giunge così ad una conclusione. Più la rivista tende all’eccellenza, più sarà selettiva. È chiaro che questo meccanismo è dispendioso in termini di tempo e si presta a una notevole dose di soggettività. Tuttavia, finora non ne è stato trovato uno migliore. Si è introdotto qualche miglioramento, ad esempio i revisori possono essere compensati dalle riviste con un po’ di sconto sul costo della pubblicazione nel caso che a loro volta inviino alla rivista un loro articolo. Ma il problema del notevole impegno che si chiede a un revisore scrupoloso (e che contrasta con i suoi compiti di autore visto il publish or perish), unito all’enorme aumento degli articoli inviati alle riviste, rende il problema insolubile. Ecco quindi revisioni affrettate, che accettano articoli che mancano dei più importanti requisiti qualitativi, senza contare revisioni scritte da ricercatori che non conoscono bene l’inglese e che quindi spesso non hanno ben capito quello che hanno letto o che non sanno esprimere i loro giudizi in maniera comprensibile. E articoli scorretti, scritti in cattivo inglese e, peggio, che riportano dati fasulli. Quando qualche studioso scopre che i dati pubblicati da un collega cozzano con i propri o con quelli pubblicati da un terzo, il sistema editoriale sottopone a verifica l’articolo sospetto e questa procedura può porta alla “retrazione” dell’articolo, un procedimento infamante per l’autore, almeno in linea di principio. Purtroppo il tasso di retrazioni è più che triplicato dal 2014 al 2022, passando dal 3,5 all’11,2%. In breve, questo dimostra in maniera eclatante la crisi dell’editoria scientifica e la difficoltà del lavoro di referaggio. Che dire allora a chi legge gli articoli scientifici per cercarvi una guida alla comprensione di un patologia e, possibilmente, una buona notizia? Il lavoro svolto da persone come la dottoressa Daniela Mariani Cerati è assolutamente impagabile. Queste rare persone, dotate di competenza e spirito di servizio, passano in rassegna le centinaia di pubblicazioni che vertono sull’argomento che sta loro a cuore e, dove trovano qualcosa di potenzialmente interessante, lo discutono con qualche esperto e lo rendono intellegibile a chi segue il blog pur non essendo uno specialista. E così mi sono trovata a commentare per Daniela un articolo pubblicato su una rivista di tutto rispetto. Avendovi trovato dei gravi difetti, ho deciso di commentarlo in questo modo un po’ prolisso, per chiarire ai “non addetti ai lavori” i meccanismi che portano a una pubblicazione (e accennare anche ai limiti del sistema). Commento a “Altered expression of Csnk1a1p in Autism Spectrum Disorder in Iranian population: case-control study”, ossia “Espressione alterata di Csnk1a1p nel disturbo dello spettro autistico nella popolazione iraniana: studio caso-controllo”. Questo è un articolo che, a mio parere, avrebbe dovuto essere emendato prima della pubblicazione. Lo posso affermare in quanto co-autore di articoli che trattano di molecole come Csnk1a1p e di articoli sui potenziali marcatori dell'autismo, ma anche come referee per riviste accademiche. Penso che questo mio commento possa essere utile a chi legge i commenti del sito autismo-biologia perché l'articolo è un ottimo esempio di come il meccanismo della peer-review stia "perdendo dei colpi", cosa particolarmente grave per le riviste prestigiose. Csnk1a1p è un lncRNA, ossia appartiene alla categoria di particolari RNA che non codificano per proteine, ma partecipano alla regolazione epigenetica, in quanto interferiscono in modi diversi con la trascrizione e/o la traduzione dei geni codificanti. Sono RNA disomogenei per caratteristiche, dimensioni e modalità di azione (quando nota), oltre che per livello e sede di espressione. Sono stati studiati molto nei tumori, e solo di recente si è iniziato a studiarli in altri campi. Questo articolo è interessante soprattutto perché è uno dei primi a cercare di comprendere un ruolo di alcuni lncRNA nelle patologie del neurosviluppo. Se fossi stata interpellata come referee avrei 1) richiesto i dati non aggregati dei singoli soggetti, in quanto non si capisce se anche alcuni soggetti sani hanno valori di CSNK1A1P bassi quanto i soggetti con ASD. Parrebbe di sì, visto che la curva ROC non è così buona come affermato dai commenti degli autori. 2) avrei richiesto per ciascun portatore di ASD età, sesso, diagnosi (presenza di mutazioni accertate, livello di gravità, ecc.), soprattutto in considerazione del fatto che numerosi lncRNA hanno espressione diversa in funzione dell'età; 3) avrei chiesto se i soggetti portatori di infiammazione erano stati esclusi dall'arruolamento; 4) non avrei accettato l'affermazione “I livelli di espressione di Csnk1a1p potrebbero distinguere efficacemente i pazienti dai soggetti di controllo sani, indicando la sua potenziale utilità come biomarcatore dell'autismo”. 5) avrei fatto inserire un caveat sul fatto che il campione non è molto ampio: 21 soggetti con ASD e 25 soggetti neurotipici (sbagliato chiamarli "normali!"). Deve essere chiaro che, per suggerire che un tratto evidenziato sia un biomarcatore è necessario che la sua presenza o i suoi valori lo caratterizzino sia nei confronti dei soggetti privi di quella patologia sia nei confronti dei soggetti con patologie simili o con simili sintomi (per consentire una diagnosi differenziale). Marina Marini Università di Bologna
Grazie per questo chiarissimo commento. Vera Stoppioni
Il giorno 22 nov 2024, alle ore 17:05, Marina Marini via autismo-biologia <[email protected]> ha scritto:
Grazie della stima
Inviato da Outlook per Android <https://aka.ms/AAb9ysg> From: Francesco Domenico Capizzi <[email protected] <mailto:[email protected]>> Sent: Friday, November 22, 2024 3:46:14 PM To: [email protected] <mailto:[email protected]> <[email protected] <mailto:[email protected]>>; Marina Marini <[email protected] <mailto:[email protected]>> Subject: R: [autismo-biologia] Pubblicazioni scientifiche, meccanismo della "revisione tra pari" ("peer review") e biomarcatori.
Pubblicato su www.smips.org <http://www.smips.org/> un caro saluto f
Prof. Francesco Domenico Capizzi <image001.png> S.M.I.PS Organizzazione di Volontariato Attività: 949950 Iscritta al Registro Unico Nazionale Terzo Settore RUNTS con n. 464693 in data 12/07/2022 Codice fiscale: 91436240377, Sede legale: Agorà, via Carlo Jussi 102, 40068 San Lazzaro di Savena-Bologna, tel. 051467925-3385356943 www.smips.org <http://www.smips.org/> https://www.facebook.com/groups/960878214738454 <https://www.facebook.com/groups/960878214738454> ISCRIZIONE E PARTECIPAZIONE LIBERE E GRATUITE
Da: autismo-biologia <[email protected]> Per conto di Marina Marini via autismo-biologia Inviato: venerdì 22 novembre 2024 01:31 A: [email protected] Oggetto: [autismo-biologia] Pubblicazioni scientifiche, meccanismo della “revisione tra pari” (“peer review”) e biomarcatori.
Un recente articolo, pubblicato sulla prestigiosa rivista Scientific Reports, del gruppo Nature, https://www.nature.com/articles/s41598-024-77603-3 <https://www.nature.com/articles/s41598-024-77603-3> mi dà lo spunto per qualche sintetica riflessione sulle pubblicazioni scientifiche e sul sistema con cui queste vengono selezionate per la pubblicazione. Le “pubblicazioni scientifiche” si distinguono dalle pubblicazioni divulgative, dai post sui social media, dalle inserzioni a pagamento e dalle brochure pubblicate a proprie spese in quanto dovrebbero riportare risultati di ricerche sperimentali, teoriche o bibliografiche effettuate secondo il “metodo scientifico”. Invito il lettore a cercare autonomamente la definizione e le informazioni sul metodo scientifico (ad esempio, https://it.wikipedia.org/wiki/Metodo_scientifico <https://it.wikipedia.org/wiki/Metodo_scientifico>), ma approfitto dell’occasione per cercare di chiarire un equivoco, di cui ho constatato la diffusione all’epoca dell’epidemia di COVID, quando molte persone si scandalizzavano perché le autorità scientifiche presentavano al pubblico delle notizie scientifiche che dopo poche settimane venivano contraddette. Molti protestavano che gli scienziati non comunicavano “verità scientifiche”, ma opinioni, per cui tutti si sentivano intitolati a presentare a loro volta opinioni personali sull’origine dell’epidemia, sull’andamento del contagio, ecc. C’era, ovviamente, un fraintendimento di base, in quanto, in effetti, le ricerche effettuate seguendo il metodo scientifico non portano a verità assolute che resteranno scolpite nel marmo, bensì a conclusioni temporanee, quelle che possono essere formulate in base alle conoscenze raggiunte fino a quel momento (ma possono essere riviste alla luce di successivi dati, ragionamenti ed esperimenti). A differenza delle verità dogmatiche, infatti, le verità scientifiche sono falsificabili in quanto controllabili (https://www.teche.rai.it/1989/04/karl-popper-falsificazionismo-metodo-scient... <https://www.teche.rai.it/1989/04/karl-popper-falsificazionismo-metodo-scientifico/>). Le pubblicazioni scientifiche sono quindi quelle che consentono l‘avanzamento delle conoscenze e, di conseguenza, la carriera di un ricercatore è giustamente fondata sul numero e sulla qualità delle sue pubblicazioni. Su questa base inconfutabile si è però venuto a formare un complesso sistema di convenzioni che tende a classificare i ricercatori sulla base di criteri bibliometrici, che tengono conto del numero delle pubblicazioni, del prestigio delle riviste accademiche che le accolgono e dal numero di citazioni che le pubblicazioni ricevono. Questi criteri sono ovviamente dei criteri imperfetti, ma cercano di ovviare, con dei numeretti di facile gestione, alle difficoltà che si presenterebbero se si valutasse la produzione scientifica leggendo in effetti queste pubblicazioni e soppesandone l’impatto nell’ambito del settore (specialistico) del ricercatore stesso. Un’impresa che pochi si sentirebbero di compiere (e solo per lo stretto ambito delle proprie competenze). Questi criteri bibliometrici sono poi quelli che vengono valutati al momento di stilare delle graduatorie per dei posti di ruolo o per l’assegnazione di finanziamenti per progetti di ricerca. Ne consegue che il ricercatore si trova immerso in una gara frenetica che è stata denominata “publish or perish” (pubblica o perisci). Da qui la moltiplicazione del numero delle pubblicazioni, la moltiplicazione delle riviste accademiche, la gara tra riviste ad avere il massimo prestigio e il numero massimo di citazioni (che comporta la possibilità di esigere abbonamenti più costosi o di chiedere a chi pubblica un contributo economico più elevato). Mentre questo crea delle ulteriori distorsioni, in quanto in pochi possono permettersi di pagare le spese editoriali, si pone anche il problema per le riviste di assicurarsi pubblicazioni di qualità. E, se vogliono mantenersi al livello di vere riviste accademiche, di come fare ad assicurare la qualità scientifica degli articoli pubblicati. Anche prima che iniziasse la folle corsa del publish or perish, era stato inventato il sistema della “revisione tra pari“. Ossia, l’articolo spedito dal ricercatore (o dal gruppo di ricercatori) viene inviato a dei revisori (generalmente anonimi) esperti in quel determinato campo, scienziati come gli autori dell’articolo e, quindi “pari”. I revisori (detti “referees”) hanno il compito di valutare la qualità e la scientificità dell’articolo, che, a sua volta, è suddiviso in sezioni ben codificate: l’Introduzione definisce il problema scientifico che si desidera affrontare, esaminando lo stato dell’arte, e spiega come si è voluto studiarlo in quel dato lavoro; i Materiali e Metodi descrivono le procedure sperimentali in modo che possano essere replicate da chiunque desideri verificare la correttezza dei metodi e la ripetibilità dei risultati; i Risultati riportano e descrivono i dati ottenuti; la Discussione fa il punto delle conoscenze mettendo in evidenza come lo stato dell’arte si sia modificato sulla base del lavoro descritto nell’articolo. I referee (in genere almeno due) riferiscono all’Editor (ossia al responsabile editoriale), indipendentemente l’uno dall’altro, il loro giudizio qualitativo sull’articolo e formulano dei suggerimenti (accettare l’articolo come è, chiedere agli autori di compiere delle modifiche più o meno gravose, oppure non accettarlo perché gravato da difetti non rimediabili, come ad esempio plagiarismo, errori concettuali, mancanza di controlli, cattiva conduzione degli esperimenti, ecc.). L’Editor, sulla base di tali valutazioni, giunge così ad una conclusione. Più la rivista tende all’eccellenza, più sarà selettiva. È chiaro che questo meccanismo è dispendioso in termini di tempo e si presta a una notevole dose di soggettività. Tuttavia, finora non ne è stato trovato uno migliore. Si è introdotto qualche miglioramento, ad esempio i revisori possono essere compensati dalle riviste con un po’ di sconto sul costo della pubblicazione nel caso che a loro volta inviino alla rivista un loro articolo. Ma il problema del notevole impegno che si chiede a un revisore scrupoloso (e che contrasta con i suoi compiti di autore visto il publish or perish), unito all’enorme aumento degli articoli inviati alle riviste, rende il problema insolubile. Ecco quindi revisioni affrettate, che accettano articoli che mancano dei più importanti requisiti qualitativi, senza contare revisioni scritte da ricercatori che non conoscono bene l’inglese e che quindi spesso non hanno ben capito quello che hanno letto o che non sanno esprimere i loro giudizi in maniera comprensibile. E articoli scorretti, scritti in cattivo inglese e, peggio, che riportano dati fasulli. Quando qualche studioso scopre che i dati pubblicati da un collega cozzano con i propri o con quelli pubblicati da un terzo, il sistema editoriale sottopone a verifica l’articolo sospetto e questa procedura può porta alla “retrazione” dell’articolo, un procedimento infamante per l’autore, almeno in linea di principio. Purtroppo il tasso di retrazioni è più che triplicato dal 2014 al 2022, passando dal 3,5 all’11,2%. In breve, questo dimostra in maniera eclatante la crisi dell’editoria scientifica e la difficoltà del lavoro di referaggio. Che dire allora a chi legge gli articoli scientifici per cercarvi una guida alla comprensione di un patologia e, possibilmente, una buona notizia? Il lavoro svolto da persone come la dottoressa Daniela Mariani Cerati è assolutamente impagabile. Queste rare persone, dotate di competenza e spirito di servizio, passano in rassegna le centinaia di pubblicazioni che vertono sull’argomento che sta loro a cuore e, dove trovano qualcosa di potenzialmente interessante, lo discutono con qualche esperto e lo rendono intellegibile a chi segue il blog pur non essendo uno specialista. E così mi sono trovata a commentare per Daniela un articolo pubblicato su una rivista di tutto rispetto. Avendovi trovato dei gravi difetti, ho deciso di commentarlo in questo modo un po’ prolisso, per chiarire ai “non addetti ai lavori” i meccanismi che portano a una pubblicazione (e accennare anche ai limiti del sistema). Commento a “Altered expression of Csnk1a1p in Autism Spectrum Disorder in Iranian population: case-control study”, ossia “Espressione alterata di Csnk1a1p nel disturbo dello spettro autistico nella popolazione iraniana: studio caso-controllo”. Questo è un articolo che, a mio parere, avrebbe dovuto essere emendato prima della pubblicazione. Lo posso affermare in quanto co-autore di articoli che trattano di molecole come Csnk1a1p e di articoli sui potenziali marcatori dell'autismo, ma anche come referee per riviste accademiche. Penso che questo mio commento possa essere utile a chi legge i commenti del sito autismo-biologia perché l'articolo è un ottimo esempio di come il meccanismo della peer-review stia "perdendo dei colpi", cosa particolarmente grave per le riviste prestigiose. Csnk1a1p è un lncRNA, ossia appartiene alla categoria di particolari RNA che non codificano per proteine, ma partecipano alla regolazione epigenetica, in quanto interferiscono in modi diversi con la trascrizione e/o la traduzione dei geni codificanti. Sono RNA disomogenei per caratteristiche, dimensioni e modalità di azione (quando nota), oltre che per livello e sede di espressione. Sono stati studiati molto nei tumori, e solo di recente si è iniziato a studiarli in altri campi. Questo articolo è interessante soprattutto perché è uno dei primi a cercare di comprendere un ruolo di alcuni lncRNA nelle patologie del neurosviluppo. Se fossi stata interpellata come referee avrei 1) richiesto i dati non aggregati dei singoli soggetti, in quanto non si capisce se anche alcuni soggetti sani hanno valori di CSNK1A1P bassi quanto i soggetti con ASD. Parrebbe di sì, visto che la curva ROC non è così buona come affermato dai commenti degli autori. 2) avrei richiesto per ciascun portatore di ASD età, sesso, diagnosi (presenza di mutazioni accertate, livello di gravità, ecc.), soprattutto in considerazione del fatto che numerosi lncRNA hanno espressione diversa in funzione dell'età; 3) avrei chiesto se i soggetti portatori di infiammazione erano stati esclusi dall'arruolamento; 4) non avrei accettato l'affermazione “I livelli di espressione di Csnk1a1p potrebbero distinguere efficacemente i pazienti dai soggetti di controllo sani, indicando la sua potenziale utilità come biomarcatore dell'autismo”. 5) avrei fatto inserire un caveat sul fatto che il campione non è molto ampio: 21 soggetti con ASD e 25 soggetti neurotipici (sbagliato chiamarli "normali!"). Deve essere chiaro che, per suggerire che un tratto evidenziato sia un biomarcatore è necessario che la sua presenza o i suoi valori lo caratterizzino sia nei confronti dei soggetti privi di quella patologia sia nei confronti dei soggetti con patologie simili o con simili sintomi (per consentire una diagnosi differenziale). Marina Marini Università di Bologna
_______________________________________________ Lista di discussione autismo-biologia [email protected] Autismo-biologia e' una lista di discussione promossa dall' A.P.R.I., Associazione Cimadori per la ricerca italiana sulla sindrome di Down, l'autismo e il danno cerebrale. www.apriautismo.it
Per cancellarsi inviare un messaggio a: [email protected]
participants (2)
-
Marina Marini -
VERA STOPPIONI