Les bookmarks de Clem
2396 shaares
449 results
tagged
stats
Suite à une révision d'article dans laquelle les référés nous avaient demandé de discuter de cette question, j'ai un peu creusé la littérature. Bon au final, on va citer deux papiers, mais comme je voudrais pas perdre le travail fait, je stocke un résumé de tout ça -- genre mini-revue de la littérature -- ici.
De nombreux auteurs ont montré l'importance que pouvait avoir la présence de faux positifs dans les études d'occupancy (erreurs d'identification). Royle et Link (2006), Fitzpatrick et al. (2009), McClintock et al. (2010 JWM), Miller et al. (2012) montrent tous l'importance de ce type d'erreur dans des études expérimentales. Ces différents auteurs montrent que même une petite quantité d'erreur d'identification peut conduire à des biais considérables dans les estimations d'occupancy. Et si Fitzpatrick et al. (2009) recommandent de mettre l'accent sur la formation des observateurs pour réduire ce nombre d'erreurs, McClintock et al. (2010 JWM) sont plus pessimistes. En effet, ils montrent que même des observateurs super-entraînés sont sujets aux erreurs d'identification, et de façon non négligeable. Mettre l'accent sur la formation des observateurs ne suffit pas, il faut intégrer cette erreur dans le modèle d'estimation.
Royle et Link (2006) ont proposé une approche d'estimation de la probabilité de présence intégrant à la fois probabilité de détection et probabilité d'erreur d'identification. Cette approche, bien que correcte en théorie, a été fortement critiquée par McClintock et al. (2010, Ecology), qui indiquent que il existe des symétries dans la vraisemblance de Royle et Link qui peuvent difficilement être résolues (confusion entre les différentes probabilités), et les hypothèses posées (i.e. supposer que la probabilité de faux positif est inférieure à la probabilité de vrai positif) seront parfois erronées (dans le cas d'une espèce absente d'une zone, mais considérée comme présente). En outre, ces auters indiquent que l'approche de Royle et Link ne permet pas de distinguer l'hétérogénéité de la détectabilité, de la présence de misclassification. Autrement dit, si le modèle décrit parfaitement la situation, pas de soucis, mais la robustesse du bouzin laisse à désirer, et dès que la réalité s'écarte un tant soit peu du modèle, les estimations deviennent délirantes. Or, on n'aura jamais le modèle parfait...
La conclusion de McClintock et al. (2010, Ecology) est "to our knowledge, an occupancy modeling framework incorporating both fals positive errors and heterogeneity has yet to be formally developed". Une solution arrive en 2011, avec l'article de Miller et al. L'approche propose de combiner des données collectées avec différentes approches, ou des données de différents statuts. Par exemple, on a des observations visuelles de piafs sans risque (supposé) d'erreur d'identification, et des observations auditives avec un risque d'erreur plus grand. Ou alors, on a des observations de type "une grenouille isolée qui chante", et "un concert de grenouille de la même espèce qui chante". Le risque d'erreur d'identification est alors supposé plus faible dans le cas du "concert". Combiner ces différentes approches de collectes des données dans une approche de modélisation permet une estimation plus précise des probabilités de faux positifs. Miller et al. illustrent leur approche avec un mélange de deux types de données, dont un supposé "parfait" (sans erreur d'identification), mais indiquent -- sans l'illustrer malheureusement -- qu'il n'est pas forcément nécessaire de disposer d'une approche "parfaite" parmi les approches considérées.
L'approche de Miller et al. (2011) est donc extrêmement récente, et n'a pour le moment été appliquée que sur les grenouilles et dans étude sur le loup (voir revue de Bailey et al. 2014). Elle repose sur des hypothèses qu'il faudra quand même tester. Ainsi, l'idée que l'erreur d'identification est plus faible quand un observateur écoute un concert de grenouille que quand il n'en écoute qu'une seule est fausse, ce qui est démontré par Miller et al. (2012). Bref, la seule solution disponible aujourd'hui a été assez peu testée pour le moment. Cela dit, j'en aime bien le principe.
* Fitzpatrick, M. C.; Preisser, E. L.; Ellison, A. M. & Elkinton, J. S. 2009. Observer bias and the detection of low-density populations Ecological Applications, 19, 1673-1679.
* McClintock, B. T.; Bailey, L. L.; Pollock, K. H. & Simons, T. R. 2010. Unmodeled observation error induces bias when inferring patterns and dynamics of species occurrence via aural detections Ecology, 91, 2446-2454.
* McClintock, B. T.; Bailey, L. L.; Pollock, K. H. & Simons, T. R. 2010. Experimental investigation of observation error in anuran call surveys The Journal of Wildlife Management, 74, 1882-1893.
* Miller, D. A.; Nichols, J. D.; McClintock, B. T.; Grant, E. H. C.; Bailey, L. L. & Weir, L. A. 2011. Improving occupancy estimation when two types of observational error occur: non-detection and species misidentification Ecology, 92, 1422-1428.
* Miller, D. A.; Weir, L. A.; McClintock, B. T.; Grant, E. H. C.; Bailey, L. L. & Simons, T. R. 2012. Experimental investigation of false positive errors in auditory species occurrence surveys Ecological Applications, 22, 1665-1674.
* Royle, J. A. & Link, W. A. 2006. Generalized site occupancy models allowing for false positive and false negative errors. Ecology, 87, 835-841.
De nombreux auteurs ont montré l'importance que pouvait avoir la présence de faux positifs dans les études d'occupancy (erreurs d'identification). Royle et Link (2006), Fitzpatrick et al. (2009), McClintock et al. (2010 JWM), Miller et al. (2012) montrent tous l'importance de ce type d'erreur dans des études expérimentales. Ces différents auteurs montrent que même une petite quantité d'erreur d'identification peut conduire à des biais considérables dans les estimations d'occupancy. Et si Fitzpatrick et al. (2009) recommandent de mettre l'accent sur la formation des observateurs pour réduire ce nombre d'erreurs, McClintock et al. (2010 JWM) sont plus pessimistes. En effet, ils montrent que même des observateurs super-entraînés sont sujets aux erreurs d'identification, et de façon non négligeable. Mettre l'accent sur la formation des observateurs ne suffit pas, il faut intégrer cette erreur dans le modèle d'estimation.
Royle et Link (2006) ont proposé une approche d'estimation de la probabilité de présence intégrant à la fois probabilité de détection et probabilité d'erreur d'identification. Cette approche, bien que correcte en théorie, a été fortement critiquée par McClintock et al. (2010, Ecology), qui indiquent que il existe des symétries dans la vraisemblance de Royle et Link qui peuvent difficilement être résolues (confusion entre les différentes probabilités), et les hypothèses posées (i.e. supposer que la probabilité de faux positif est inférieure à la probabilité de vrai positif) seront parfois erronées (dans le cas d'une espèce absente d'une zone, mais considérée comme présente). En outre, ces auters indiquent que l'approche de Royle et Link ne permet pas de distinguer l'hétérogénéité de la détectabilité, de la présence de misclassification. Autrement dit, si le modèle décrit parfaitement la situation, pas de soucis, mais la robustesse du bouzin laisse à désirer, et dès que la réalité s'écarte un tant soit peu du modèle, les estimations deviennent délirantes. Or, on n'aura jamais le modèle parfait...
La conclusion de McClintock et al. (2010, Ecology) est "to our knowledge, an occupancy modeling framework incorporating both fals positive errors and heterogeneity has yet to be formally developed". Une solution arrive en 2011, avec l'article de Miller et al. L'approche propose de combiner des données collectées avec différentes approches, ou des données de différents statuts. Par exemple, on a des observations visuelles de piafs sans risque (supposé) d'erreur d'identification, et des observations auditives avec un risque d'erreur plus grand. Ou alors, on a des observations de type "une grenouille isolée qui chante", et "un concert de grenouille de la même espèce qui chante". Le risque d'erreur d'identification est alors supposé plus faible dans le cas du "concert". Combiner ces différentes approches de collectes des données dans une approche de modélisation permet une estimation plus précise des probabilités de faux positifs. Miller et al. illustrent leur approche avec un mélange de deux types de données, dont un supposé "parfait" (sans erreur d'identification), mais indiquent -- sans l'illustrer malheureusement -- qu'il n'est pas forcément nécessaire de disposer d'une approche "parfaite" parmi les approches considérées.
L'approche de Miller et al. (2011) est donc extrêmement récente, et n'a pour le moment été appliquée que sur les grenouilles et dans étude sur le loup (voir revue de Bailey et al. 2014). Elle repose sur des hypothèses qu'il faudra quand même tester. Ainsi, l'idée que l'erreur d'identification est plus faible quand un observateur écoute un concert de grenouille que quand il n'en écoute qu'une seule est fausse, ce qui est démontré par Miller et al. (2012). Bref, la seule solution disponible aujourd'hui a été assez peu testée pour le moment. Cela dit, j'en aime bien le principe.
* Fitzpatrick, M. C.; Preisser, E. L.; Ellison, A. M. & Elkinton, J. S. 2009. Observer bias and the detection of low-density populations Ecological Applications, 19, 1673-1679.
* McClintock, B. T.; Bailey, L. L.; Pollock, K. H. & Simons, T. R. 2010. Unmodeled observation error induces bias when inferring patterns and dynamics of species occurrence via aural detections Ecology, 91, 2446-2454.
* McClintock, B. T.; Bailey, L. L.; Pollock, K. H. & Simons, T. R. 2010. Experimental investigation of observation error in anuran call surveys The Journal of Wildlife Management, 74, 1882-1893.
* Miller, D. A.; Nichols, J. D.; McClintock, B. T.; Grant, E. H. C.; Bailey, L. L. & Weir, L. A. 2011. Improving occupancy estimation when two types of observational error occur: non-detection and species misidentification Ecology, 92, 1422-1428.
* Miller, D. A.; Weir, L. A.; McClintock, B. T.; Grant, E. H. C.; Bailey, L. L. & Simons, T. R. 2012. Experimental investigation of false positive errors in auditory species occurrence surveys Ecological Applications, 22, 1665-1674.
* Royle, J. A. & Link, W. A. 2006. Generalized site occupancy models allowing for false positive and false negative errors. Ecology, 87, 835-841.
Dans la veine des articles sur le sujet en ce moment, celui-ci m'a l'air incontournable! Ya la crème des auteurs incontournables sur le sujet. À récupérer et à lire absolument.
Intéressant...
Petite mise au point par Christian Robert:
(1) Lele et al. ne sont pas les inventeurs du data cloning. L'approche date du début des années 90 et des versions plus efficaces basées sur le recuit simulé ont été développées;
(2) Il y a de fortes chances que le data cloning termine sa course sur le mauvais mode de la vraisemblance en cas de vraisemblance multimodale
(3) lorsque la vraisemblance est multimodale, le choix d'un mode plutôt qu'un autre pour faire l'inférence n'est pas évident, et comme l'indique Christian Robert: In which sense is the MLE more objective than a Bayes estimate, then?
(4) et concernant la critique principale, à savoir l'influence de la prior sur les résultats: "the impact of a prior on some aspects of the posterior distribution can be tested by re-running a Bayesian analysis with different priors, including empirical Bayes versions or, why not?!, data cloning, in order to understand where and why huge discrepancies occur. This is part of model building, in the end."
Le point 4 me paraît au final frappé au coin du bon sens. Je sais que le bayésien pose des problèmes philosophiques à certaines personnes, mais il ne faut pas jeter le bébé avec l'eau du bain. Certes, on peut faire du modèle hiérarchique sans faire de bayésien. Mais ce n'est pas moins subjectif.
(1) Lele et al. ne sont pas les inventeurs du data cloning. L'approche date du début des années 90 et des versions plus efficaces basées sur le recuit simulé ont été développées;
(2) Il y a de fortes chances que le data cloning termine sa course sur le mauvais mode de la vraisemblance en cas de vraisemblance multimodale
(3) lorsque la vraisemblance est multimodale, le choix d'un mode plutôt qu'un autre pour faire l'inférence n'est pas évident, et comme l'indique Christian Robert: In which sense is the MLE more objective than a Bayes estimate, then?
(4) et concernant la critique principale, à savoir l'influence de la prior sur les résultats: "the impact of a prior on some aspects of the posterior distribution can be tested by re-running a Bayesian analysis with different priors, including empirical Bayes versions or, why not?!, data cloning, in order to understand where and why huge discrepancies occur. This is part of model building, in the end."
Le point 4 me paraît au final frappé au coin du bon sens. Je sais que le bayésien pose des problèmes philosophiques à certaines personnes, mais il ne faut pas jeter le bébé avec l'eau du bain. Certes, on peut faire du modèle hiérarchique sans faire de bayésien. Mais ce n'est pas moins subjectif.
À lire.
Tiens? une réponse de Christian Robert à l'article de Subhash Lele critiquant l'utilisation des priors non-informatif. Bon. Faudra vraiment que je lise l'article et la réponse, le débat a l'air intéressant! La conclusion de Christian Robert:
I find it rather surprising that a paper can be dedicated to the comparison of two arbitrary prior distributions on two fairly simplistic models towards the global conclusion that “non-informative priors neither ‘let the data speak’ nor do they correspond (even roughly) to likelihood analysis.”
I find it rather surprising that a paper can be dedicated to the comparison of two arbitrary prior distributions on two fairly simplistic models towards the global conclusion that “non-informative priors neither ‘let the data speak’ nor do they correspond (even roughly) to likelihood analysis.”
Via Mathieu. Ça à l'air bien intéressant!
diverses ressources maths intéressantes. Je stocke ici les titres des docs stockés chez John D. Cook.
Probability and statistics:
How to test a random number generator
Predictive probabilities for normal outcomes
One-arm binary predictive probability
Relating two definitions of expectation
Illustrating the error in the delta method
Relating the error function erf and Φ
Inverse gamma distribution
Negative binomial distribution
Upper and lower bounds for the normal distribution function
Canonical example of Bayes’ theorem in detail
Functions of regular variation
Student-t as a mixture of normals
Other math:
Chebyshev polynomials
Richard Stanley’s twelvefold way (combinatorics)
Hypergeometric functions
Outline of Laplace transforms
Navier-Stokes equations
Picking the step size for numerical ODEs
Orthogonal polynomials
Multi-index notation
The pqr theorem for seminorms
Probability and statistics:
How to test a random number generator
Predictive probabilities for normal outcomes
One-arm binary predictive probability
Relating two definitions of expectation
Illustrating the error in the delta method
Relating the error function erf and Φ
Inverse gamma distribution
Negative binomial distribution
Upper and lower bounds for the normal distribution function
Canonical example of Bayes’ theorem in detail
Functions of regular variation
Student-t as a mixture of normals
Other math:
Chebyshev polynomials
Richard Stanley’s twelvefold way (combinatorics)
Hypergeometric functions
Outline of Laplace transforms
Navier-Stokes equations
Picking the step size for numerical ODEs
Orthogonal polynomials
Multi-index notation
The pqr theorem for seminorms
pas mal de refs intéressantes
Tiens, c'est intéressant. Je n'ai lu que le résumé, mais ils développent un algorithme d'optimisation combinatoire qui montre qu'il est préférable d'embaucher un petit nombre de gens très compétents pour collecter la donnée, plutôt qu'un grand nombre de gens moyens. Ça a des implications rigolottes.
Une nouvelle charge en bonne et due forme contre le bayésien en écologie.
Ben décidément, ya des publis intéressantes qui sortent aujourd'hui! En résumé, selon les auteurs, 5 éléments clés à développer:
1. Pensée créative au sujet de la donnée: être capable de modifier la forme de la donnée. Ce que j'appellerais des compétences à établir la donnée.
2. Capacité à gérer des données de différentes tailles (concepts de bases de données, et concepts informatiques associés)
3. Compétences dans un langage de programmation stat (R, python, julia)
4. Apprendre à manipuler des gros jeux de données bien merdiques, pour lesquels il n'y a aucun but ou méthode stat spécifique
5. Un éthos concernant la reproductibilité.
L'article tourne autour de R, de markdown, et du package dplyr qui est décrit dans le détail (faut vraiment que je me mette à dplyr).
Pas mal de discussion autour de la notion de data management, et sur l'importance de maîtriser le SQL.
1. Pensée créative au sujet de la donnée: être capable de modifier la forme de la donnée. Ce que j'appellerais des compétences à établir la donnée.
2. Capacité à gérer des données de différentes tailles (concepts de bases de données, et concepts informatiques associés)
3. Compétences dans un langage de programmation stat (R, python, julia)
4. Apprendre à manipuler des gros jeux de données bien merdiques, pour lesquels il n'y a aucun but ou méthode stat spécifique
5. Un éthos concernant la reproductibilité.
L'article tourne autour de R, de markdown, et du package dplyr qui est décrit dans le détail (faut vraiment que je me mette à dplyr).
Pas mal de discussion autour de la notion de data management, et sur l'importance de maîtriser le SQL.
Idem, à récupérer et à lire
a l'air intéressant. À récupérer et à lire
La VACHE!
29 équipes de data analyst -- 61 analystes appartenant à 13 pays, travaillant dans des domaines divers incluant la psychologie, la statistique, l'économie, sociologie, liguistique, management, avec ou sans PhD, de différents grades -- analysent le même jeu de données pour identifier si les arbitres tendent à plus donner du carton rouge aux noirs. Il y a une variabilité monstre dans les résultats. Pour une question aussi simple, les odds ratio varient de 0.89 à 2.93!!! l'effet varie d'un facteur 1 à 3!!!
Les méthodes varient de la régression logistique fréquentiste ou bayésienne, binomiale ou multinomiale, ZIP, Poisson multilevel, modèles mixtes logistiques ou Poisson, hiérarchiques, régression Poisson,
Dans le résumé: "Crowdsourcing data analysis highlights the contingency of results on choices of analytic strategy, and increases identification of bias and error in data and analysis. Crowdsourcing analytics represents a new way of doing science; a data set is made publicly available and scientists at first analyze separately and then work together to reach a conclusion while making subjectivity and ambiguity transparent".
C'est bluffant comme étude.
Via le blog d'Andrew Gelman (http://andrewgelman.com/2015/01/27/crowdsourcing-data-analysis-soccer-referees-give-red-cards-dark-skin-toned-players/)
29 équipes de data analyst -- 61 analystes appartenant à 13 pays, travaillant dans des domaines divers incluant la psychologie, la statistique, l'économie, sociologie, liguistique, management, avec ou sans PhD, de différents grades -- analysent le même jeu de données pour identifier si les arbitres tendent à plus donner du carton rouge aux noirs. Il y a une variabilité monstre dans les résultats. Pour une question aussi simple, les odds ratio varient de 0.89 à 2.93!!! l'effet varie d'un facteur 1 à 3!!!
Les méthodes varient de la régression logistique fréquentiste ou bayésienne, binomiale ou multinomiale, ZIP, Poisson multilevel, modèles mixtes logistiques ou Poisson, hiérarchiques, régression Poisson,
Dans le résumé: "Crowdsourcing data analysis highlights the contingency of results on choices of analytic strategy, and increases identification of bias and error in data and analysis. Crowdsourcing analytics represents a new way of doing science; a data set is made publicly available and scientists at first analyze separately and then work together to reach a conclusion while making subjectivity and ambiguity transparent".
C'est bluffant comme étude.
Via le blog d'Andrew Gelman (http://andrewgelman.com/2015/01/27/crowdsourcing-data-analysis-soccer-referees-give-red-cards-dark-skin-toned-players/)
Pas mal de programmes R illustrant l'implémentation MCMC pour différents modèles
Quelques conseils pour ceux qui veulent se lancer dans la consultation statistique indépendante. En substance:
* Tout lâcher et se consacrer à ça exclusivement
* Les choses bougent lentement. Même si on a une piste dès le premier jour, il peut se passer des mois avant qu'elle ne se concrétise
* Plus le client est gros, et plus les choses avancent lentement. Le paiement des factures inclus.
* Avoir du pognon, beaucoup de pognon de côté au début.
* Tout lâcher et se consacrer à ça exclusivement
* Les choses bougent lentement. Même si on a une piste dès le premier jour, il peut se passer des mois avant qu'elle ne se concrétise
* Plus le client est gros, et plus les choses avancent lentement. Le paiement des factures inclus.
* Avoir du pognon, beaucoup de pognon de côté au début.
À lire quand j'aurai lu la première partie
Un gars qui râle contre l'arrivée de la "data science" dans le milieu des affaires. Et contre cet effet de mode.
Autant je peux comprendre l'agacement des gars qui voient passer un effet de mode par an, autant je suis d'accord avec lui -- de façon générale -- sur sa liste de points. autant certains de ses arguments sont fallacieux, comme
"if there were a particular activity devoted to studying data, then there might be some virtue in the term “data science.” And indeed there is such an activity, and it already has a name: it is a branch of mathematics called statistics. It doesn’t need a name upgrade, or if it does, we should call it Statistics 2.0."
Certes, la statistique est une branche des mathématiques, mais pas l'analyse de données!!!
Autant je peux comprendre l'agacement des gars qui voient passer un effet de mode par an, autant je suis d'accord avec lui -- de façon générale -- sur sa liste de points. autant certains de ses arguments sont fallacieux, comme
"if there were a particular activity devoted to studying data, then there might be some virtue in the term “data science.” And indeed there is such an activity, and it already has a name: it is a branch of mathematics called statistics. It doesn’t need a name upgrade, or if it does, we should call it Statistics 2.0."
Certes, la statistique est une branche des mathématiques, mais pas l'analyse de données!!!