Les bookmarks de Clem
2353 shaares
3 results
tagged
publication
Une expérience de peer review à suivre. Apparemment ils font des émules en computational statistics, où une expérience du même type va être tentée...
Intéressant. Je résume. Un écologue reviewant un papier devra:
1. Be Honest about What You Know and What You Don’t
2. Old Doesn’t Mean Bad (putain celui là on l'aura entendu! "cette méthode n'est plus utilisée, aujourd'hui ya mieux!")
3. New Doesn’t Mean Good (Daniel Chessel avait souligné dans son HDR les points 2 et 3 comme réaction fréquente de la part des biologistes face aux nouvelles méthodes).
4. Understand Assumptions (Suggesting unnecessarily complicated methodology makes things harder for the authors, the editors, for you as the reviewer (...), and finally, (...) the readers.)
5. Match the Method to the Assumptions
6. There is Rarely a Single Correct Method
7. p-values are not the Work of the Devil
8. Beware of Uninformed Pronunciamentos* (le comportement qui consiste à dire qu'une méthode ou une pratique -- e.g. calculer des P-values, s'intéresser à l'autocorrélation spatiale, etc. -- est toujours mauvaise, quel que soit le contexte).
9. Recommend a Statistician Look at the Paper (i.e. indiquer son incompétence en stats, et demander un autre reviewer sur ce thème, à relier au point 1).
10. Read up on the Statistical Methods
1. Be Honest about What You Know and What You Don’t
2. Old Doesn’t Mean Bad (putain celui là on l'aura entendu! "cette méthode n'est plus utilisée, aujourd'hui ya mieux!")
3. New Doesn’t Mean Good (Daniel Chessel avait souligné dans son HDR les points 2 et 3 comme réaction fréquente de la part des biologistes face aux nouvelles méthodes).
4. Understand Assumptions (Suggesting unnecessarily complicated methodology makes things harder for the authors, the editors, for you as the reviewer (...), and finally, (...) the readers.)
5. Match the Method to the Assumptions
6. There is Rarely a Single Correct Method
7. p-values are not the Work of the Devil
8. Beware of Uninformed Pronunciamentos* (le comportement qui consiste à dire qu'une méthode ou une pratique -- e.g. calculer des P-values, s'intéresser à l'autocorrélation spatiale, etc. -- est toujours mauvaise, quel que soit le contexte).
9. Recommend a Statistician Look at the Paper (i.e. indiquer son incompétence en stats, et demander un autre reviewer sur ce thème, à relier au point 1).
10. Read up on the Statistical Methods
Rédaction Médicale et Scientifique: Les mégarevues auraient remplacé le peer-review par le peer-view
Plos one dans le colimateur. Je suis pas complètement d'accord avec le gars.
C'est vrai que 70% de taux d'acceptation, ça fait beaucoup, mais ça s'explique: la politique de la revue, c'est de ne pas juger de l'intérêt scientifique d'un article. Seule la qualité scientifique compte. Si l'approche scientifique est correcte, on ne rejettera pas un article qui démontre que le ciel est bleu.
Pour quelqu'un comme moi, c'est important: scientifiquement, ça n'apporte rien de savoir que la densité de blaireau était entre 2 et 8 fois plus importante en Pays d'Auge que dans le Bessin entre 2000 et 2005. Pourtant, on a bien utilisé une approche scientifique pour arriver à cette estimation. Par contre, on a essayé de soumettre un article décrivant cette approche et ces résultats à Ecography, et l'article n'est pas parti aux référés; argument: "vous ne tirez aucune conclusion sur le processus biologique à l'origine des variations de densité", ce qui est vrai. L'article n'a aucun intérêt sur le plan science fondamentale. Pourtant, il a une importance sociale essentielle: on a besoin de ces éléments pour prendre des décisions en matière de gestion de la faune. On m'objectera -- à juste titre -- que ce n'est pas parce qu'un travail a une importance sociale qu'il a sa place dans une revue scientifique. C'est vrai, mais: (i) le travail mené pour cette estimation est un travail scientifique (cf. plus bas pour l'adresse de l'article, que le lecteur se fasse une opinion), (ii) c'est parce qu'il est scientifique qu'il est considéré pour prendre des décisions de gestion. Et donc, parce que l'approche utilisée pour obtenir cette estimation est une approche scientifique, ces éléments ont leur place dans une revue scientifique (en outre, je sors peut-être un peu du débat, mais comme ces résultats sont utilisés pour prendre des décisions de gestion, la validation par les pairs de la démarche utilisée pour l'estimation -- au cœur du processus de publication scientifique -- est précisément ce qui permet de calmer le jeu quand les conflits sociaux éclatent entre différentes parties, lesquelles n'hésitent pas à taxer les auteurs de "collusion avec l'ennemi" autrement: on est toujours suspect de fraude dans ce type de discussion lorsque les résultats ne vont pas dans le sens espéré!).
Et c'est là que Plos one est intéressant: on l'a soumis chez eux, on a eu une review de qualité (c'est là que je ne suis pas d'accord avec le "peer-viewed": les référés n'étaient pas plus complaisants que dans une autre revue -- et perso, en tant que référé, je ne fais pas du plus mauvais travail pour plos one que pour une autre revue. Simplement, je ne juge pas le fond), qui a permis de bien améliorer l'article, et celui-ci est maintenant dispo sur Plos one (http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0121689). Et hormis Plos One, quelle revue acceptera ce type de résultats qui n'apporte rien d'un point de vue théorie écologique ou recommandation de gestion?
Il y avait eu un débat intéressant sur Plos One dans les commentaires d'un article de Dynamic Ecology (https://dynamicecology.wordpress.com/2013/01/11/is-using-detection-probabilities-a-case-of-statistical-machismo/): Eric Larson notait "I view one service of that journal as being a good outlet for response or rebuttal papers that are (hopefully) technically sound, but may not get a fair review at specialist or society journals owing to entrenched interests or cultural drift within particular fields". En réponse à ce commentaire, Jeremy Fox résumait bien cette opinion que je fais mienne au sujet de Plos One: "They publish a lot of very boring stuff. But they also publish some very interesting, provocative stuff that likely had a rough ride at selective journals for being too unconventional."
Donc, pour répondre aux questions posées:
1. Comment la communauté des reviewers peut répondre aux méga-revues ?
De la même façon qu'aux micro-reviews: ils peuvent refuser si le nombre de demandes est trop important. Là, je ne vois pas où est le pb, si je reçois 30 demandes de review de chez plos one, je vais pas toutes les accepter! Les reviewers ne sont pas bêtes, ils savent très bien résister à la pression (trop bien d'ailleurs, les éditeurs de revues le savent mieux que personne, vue la difficulté qu'ils ont à trouver des reviewers!); les reviewers cherchent en général à diversifier leur expertise.
2. Comment les scientifiques managent et lisent ces pages publiées qui augmentent ?
En ce qui me concerne, de la même façon que je lis ce blog: par mon aggrégateur de flux qui m'indique quand un article sort sur un sujet qui m'intéresse. Et plos one n'est pas 1/10 aussi productif que les serveurs de preprint type arxiv (pour infos: une 40aine d'articles archivés par jour)!
3. Des auteurs sont tentés par ces revues, mais pour quel impact de leur recherche ? Est-ce que leurs articles sont remarqués ?
En ce qui me concerne, j'ai déjà décrit plus haut ce qui me poussait à publier dans plos one. Et aujourd'hui, la diffusion d'un article se fait aussi par d'autres moyens (messages sur les listes, réseaux sociaux -- researchgate, etc.). Et voir plus haut les commentaires de Dynamic Ecology.
4. Est-ce que l'objectif de faire de la bonne science pour les financeurs doit être dilué par la course aux 'metrics' ?
Non. Quel rapport avec Plos One?
5. Est-ce que la communauté scientifique, déjà surchargée, pourra maintenir de hauts standards dans ces conditions ?
J'ai pas mal d'articles de plos one dans ma base biblio, et je ne lis pas plus de conneries dans plos one que dans les autres revues (ce qu'un commentaire de ce blog note également, à juste titre -- et je suis d'accord avec lui: développons les serveurs de pre-print avec commentaires associés! quand on voit tout ce que les matheux en retirent, je ne comprends pas cette réticence des autres domaines!).
6. Comment l'explosion des citations, voire des auto-citations, va mettre en péril les indicateurs existants ?
Ça, perso, je m'en fous, perso je suis pas jugé sur mon H index, ni sur l'impact factor des journaux où je publie XD.
C'est vrai que 70% de taux d'acceptation, ça fait beaucoup, mais ça s'explique: la politique de la revue, c'est de ne pas juger de l'intérêt scientifique d'un article. Seule la qualité scientifique compte. Si l'approche scientifique est correcte, on ne rejettera pas un article qui démontre que le ciel est bleu.
Pour quelqu'un comme moi, c'est important: scientifiquement, ça n'apporte rien de savoir que la densité de blaireau était entre 2 et 8 fois plus importante en Pays d'Auge que dans le Bessin entre 2000 et 2005. Pourtant, on a bien utilisé une approche scientifique pour arriver à cette estimation. Par contre, on a essayé de soumettre un article décrivant cette approche et ces résultats à Ecography, et l'article n'est pas parti aux référés; argument: "vous ne tirez aucune conclusion sur le processus biologique à l'origine des variations de densité", ce qui est vrai. L'article n'a aucun intérêt sur le plan science fondamentale. Pourtant, il a une importance sociale essentielle: on a besoin de ces éléments pour prendre des décisions en matière de gestion de la faune. On m'objectera -- à juste titre -- que ce n'est pas parce qu'un travail a une importance sociale qu'il a sa place dans une revue scientifique. C'est vrai, mais: (i) le travail mené pour cette estimation est un travail scientifique (cf. plus bas pour l'adresse de l'article, que le lecteur se fasse une opinion), (ii) c'est parce qu'il est scientifique qu'il est considéré pour prendre des décisions de gestion. Et donc, parce que l'approche utilisée pour obtenir cette estimation est une approche scientifique, ces éléments ont leur place dans une revue scientifique (en outre, je sors peut-être un peu du débat, mais comme ces résultats sont utilisés pour prendre des décisions de gestion, la validation par les pairs de la démarche utilisée pour l'estimation -- au cœur du processus de publication scientifique -- est précisément ce qui permet de calmer le jeu quand les conflits sociaux éclatent entre différentes parties, lesquelles n'hésitent pas à taxer les auteurs de "collusion avec l'ennemi" autrement: on est toujours suspect de fraude dans ce type de discussion lorsque les résultats ne vont pas dans le sens espéré!).
Et c'est là que Plos one est intéressant: on l'a soumis chez eux, on a eu une review de qualité (c'est là que je ne suis pas d'accord avec le "peer-viewed": les référés n'étaient pas plus complaisants que dans une autre revue -- et perso, en tant que référé, je ne fais pas du plus mauvais travail pour plos one que pour une autre revue. Simplement, je ne juge pas le fond), qui a permis de bien améliorer l'article, et celui-ci est maintenant dispo sur Plos one (http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0121689). Et hormis Plos One, quelle revue acceptera ce type de résultats qui n'apporte rien d'un point de vue théorie écologique ou recommandation de gestion?
Il y avait eu un débat intéressant sur Plos One dans les commentaires d'un article de Dynamic Ecology (https://dynamicecology.wordpress.com/2013/01/11/is-using-detection-probabilities-a-case-of-statistical-machismo/): Eric Larson notait "I view one service of that journal as being a good outlet for response or rebuttal papers that are (hopefully) technically sound, but may not get a fair review at specialist or society journals owing to entrenched interests or cultural drift within particular fields". En réponse à ce commentaire, Jeremy Fox résumait bien cette opinion que je fais mienne au sujet de Plos One: "They publish a lot of very boring stuff. But they also publish some very interesting, provocative stuff that likely had a rough ride at selective journals for being too unconventional."
Donc, pour répondre aux questions posées:
1. Comment la communauté des reviewers peut répondre aux méga-revues ?
De la même façon qu'aux micro-reviews: ils peuvent refuser si le nombre de demandes est trop important. Là, je ne vois pas où est le pb, si je reçois 30 demandes de review de chez plos one, je vais pas toutes les accepter! Les reviewers ne sont pas bêtes, ils savent très bien résister à la pression (trop bien d'ailleurs, les éditeurs de revues le savent mieux que personne, vue la difficulté qu'ils ont à trouver des reviewers!); les reviewers cherchent en général à diversifier leur expertise.
2. Comment les scientifiques managent et lisent ces pages publiées qui augmentent ?
En ce qui me concerne, de la même façon que je lis ce blog: par mon aggrégateur de flux qui m'indique quand un article sort sur un sujet qui m'intéresse. Et plos one n'est pas 1/10 aussi productif que les serveurs de preprint type arxiv (pour infos: une 40aine d'articles archivés par jour)!
3. Des auteurs sont tentés par ces revues, mais pour quel impact de leur recherche ? Est-ce que leurs articles sont remarqués ?
En ce qui me concerne, j'ai déjà décrit plus haut ce qui me poussait à publier dans plos one. Et aujourd'hui, la diffusion d'un article se fait aussi par d'autres moyens (messages sur les listes, réseaux sociaux -- researchgate, etc.). Et voir plus haut les commentaires de Dynamic Ecology.
4. Est-ce que l'objectif de faire de la bonne science pour les financeurs doit être dilué par la course aux 'metrics' ?
Non. Quel rapport avec Plos One?
5. Est-ce que la communauté scientifique, déjà surchargée, pourra maintenir de hauts standards dans ces conditions ?
J'ai pas mal d'articles de plos one dans ma base biblio, et je ne lis pas plus de conneries dans plos one que dans les autres revues (ce qu'un commentaire de ce blog note également, à juste titre -- et je suis d'accord avec lui: développons les serveurs de pre-print avec commentaires associés! quand on voit tout ce que les matheux en retirent, je ne comprends pas cette réticence des autres domaines!).
6. Comment l'explosion des citations, voire des auto-citations, va mettre en péril les indicateurs existants ?
Ça, perso, je m'en fous, perso je suis pas jugé sur mon H index, ni sur l'impact factor des journaux où je publie XD.