Les bookmarks de Clem
2396 shaares
Ça m'intéresse beaucoup!
"There are costs for multimodel inferences, including the coding, computing, and summarization time on each model. When cost is included, a reasonable strategy may often be iterating on a single model."
A lire...
Edit: Ok, le take-home message est compris dans le titre. Globalement, les auteurs font un tour des différentes utilisations possibles des modèles, pour indiquer que l'inférence multimodèle n'est pas toujours le meilleur choix. Ils attaquent sans citer explicitement la vision de Burnham et Anderson (2002) qui attaquent eux-même la vision qu'il existe des modèles vrais. Pas explicitement, et comme disait je sais plus qui, le silence est ici assourdissant. Par exemple, ils vont attaquer l'idée que l'itération sur un modèle est du data dredging sans citer B&A alors que ce sont eux qui ont introduit cette vision en écologie. L'attaque se fait sur plusieurs fronts:
===
Les "vrais" modèles:
Ver Hoef et Boveng soulignent qu'il y a des situations dans lesquelles les vrais modèles existent: (i) le design based [les pontes de la théorie de l'échantillonnage désapprouveraient: ce n'est pas un modèle], (ii) la distribution binomiale déduite de l'approche de de Finetti (la loi binomiale est déduite de l'échangeabilité des évènements, mais du coup, certains désapprouveraient l'idée que du coup, la loi binomiale est ici un modèle, précisément parce que sa description de la situation est exacte), (iii) les approches expérimentales (version expérimentation de (i), même remarque), (iv) l'aggrégation de processus naturels étudiés à une échelle plus large (i.e. lorsque l'on travaille sur un taux de survie, on travaille sur une quantité objectivement mesurable sur une population -- que cette quantité ait un sens à l'échelle individuelle est une autre question). Citation intéressante: "For example, carried out to the limit, the only true model is one where the position uand velocity of every particle in the universe is known, and all of the rules that govern particle interactions are known. Only then could we truly predict everything that will happen. Operationally, at least, nature is not studied in that way. (...) Going back to the population model, details in nature are gained by making survival a function of predator abundance, climate variables, competition, disease, etc., but each of those variables is an average of other processes. As we disaggregate and allow details of nature to emerge, the certainty on the correct model decreases. Here, models are used to capture average characteristics, generally in the expectation or mean structure of the model, and the remaining details are absorbed in random error".
===
Les fonctions de perte:
On construit un modèle pour atteindre un objectif. Un modèle sera plus ou moins bon en fonction de l'objectif. Ils donnent un exemple et notent "Leaving model selection to a data-driven method that is attempting to get close to some unspecified true model, or using model-averaging, would have been a poor choice in their study; the best model was chosen based on the objective." Le choix du "meilleur modèle", donc la définition de "meilleur" peut se faire par la définition d'une fonction de perte. Le *risque d'estimation* [en fréquentiste] est alors défini comme l'intégrale sur tous les jeux de données possibles de cette fonction de perte multipliée par la vraisemblance de ces données (donc, espérance de la perte). L'AIC est une estimation du risque d'estimation en s'appuyant sur la perte log(f(y)/g(y|theta)), avec f(y) la réalité, et g(y|theta) le modèle.
Quand la fonction de perte change, l'estimateur optimal aussi. AIC, TIC, BIC, etc. sont tous de mesures correspondant à différentes fonctions de pertes; dans ce contexte d'une modélisation basée sur les objectifs: "some loss functions may meet objectives better than others". À noter aussi: les matheux parlent souvent du risque d'estimation dans ce contexte, je comprends mieux pourquoi maintenant.
===
Le cœur de l'article:
Les auteurs commencent par souligner l'importance des "model diagnostics" (examen des résidus, etc.). Que l'on fasse du single model ou du multimodel, on doit passer par là. C'est cet examen qui permet de valider ou invalider un modèle. Les auteurs soulignent que l'inférence multimodèle ne peut pas permettre de faire du diagnostic pour tous les modèles, on le fera uniquement pour le modèle sélectionné... Et si l'on se rend compte qu'il y a des soucis, il faudra de toutes façons le modifier. Dans la discussion "The analyst should consider the importance of model diagnostics for discovering new features in the data in comparison to maintaining global inference probabilities".
Il y a des coûts à l'inférence multimodèle: on doit restreindre le nombre de modèles. On est limité par le temps d'ajustement des modèles qui peut être long (en particulier lorsque le modèle est ajusté par MCMC). "We maintain that iterating on a single model is a viable alternative to multimodel inference."
Pb: souvent taxé de "data dredging". Mais les auteurs soulignent: "At some level, all inference is conditional". On se place dans le cas de figure: une fois qu'on arrive au modèle final, une fois qu'on a fini de le construire, on le définit comme la réalité, et c'est conditionnellement qu'on va faire nos inférences. La dernière phrase avant la discussion:
"The whole issue of conditional knowledge underlies much confusion about statistical inference. The key to getting beyond confirmatory modeling is to condition on the chosen model. After exploring the data and developing a model, all of the inference is conditional on that model".
Question centrale posée en discussion: "Is the investigor willing to live with probabilities that are conditional on a single model?".
La conclusion: "We argue that iterative improvements of a single model form a viable and straightforward alternative to multimodel inference. (...) The ultimate goal is to prvide better insight and predictions, and to broaden the scope of inference. Using model-checking and iterating on a single model takes less time to find flaws in the current model, to discover the reasons for lack of fit, and then to modify the model or adopt a new one. Multimodel inference takes longer to fit all models, may impede model evaluation, and makes discovery of new patterns more difficult."
Bon papier.
"There are costs for multimodel inferences, including the coding, computing, and summarization time on each model. When cost is included, a reasonable strategy may often be iterating on a single model."
A lire...
Edit: Ok, le take-home message est compris dans le titre. Globalement, les auteurs font un tour des différentes utilisations possibles des modèles, pour indiquer que l'inférence multimodèle n'est pas toujours le meilleur choix. Ils attaquent sans citer explicitement la vision de Burnham et Anderson (2002) qui attaquent eux-même la vision qu'il existe des modèles vrais. Pas explicitement, et comme disait je sais plus qui, le silence est ici assourdissant. Par exemple, ils vont attaquer l'idée que l'itération sur un modèle est du data dredging sans citer B&A alors que ce sont eux qui ont introduit cette vision en écologie. L'attaque se fait sur plusieurs fronts:
===
Les "vrais" modèles:
Ver Hoef et Boveng soulignent qu'il y a des situations dans lesquelles les vrais modèles existent: (i) le design based [les pontes de la théorie de l'échantillonnage désapprouveraient: ce n'est pas un modèle], (ii) la distribution binomiale déduite de l'approche de de Finetti (la loi binomiale est déduite de l'échangeabilité des évènements, mais du coup, certains désapprouveraient l'idée que du coup, la loi binomiale est ici un modèle, précisément parce que sa description de la situation est exacte), (iii) les approches expérimentales (version expérimentation de (i), même remarque), (iv) l'aggrégation de processus naturels étudiés à une échelle plus large (i.e. lorsque l'on travaille sur un taux de survie, on travaille sur une quantité objectivement mesurable sur une population -- que cette quantité ait un sens à l'échelle individuelle est une autre question). Citation intéressante: "For example, carried out to the limit, the only true model is one where the position uand velocity of every particle in the universe is known, and all of the rules that govern particle interactions are known. Only then could we truly predict everything that will happen. Operationally, at least, nature is not studied in that way. (...) Going back to the population model, details in nature are gained by making survival a function of predator abundance, climate variables, competition, disease, etc., but each of those variables is an average of other processes. As we disaggregate and allow details of nature to emerge, the certainty on the correct model decreases. Here, models are used to capture average characteristics, generally in the expectation or mean structure of the model, and the remaining details are absorbed in random error".
===
Les fonctions de perte:
On construit un modèle pour atteindre un objectif. Un modèle sera plus ou moins bon en fonction de l'objectif. Ils donnent un exemple et notent "Leaving model selection to a data-driven method that is attempting to get close to some unspecified true model, or using model-averaging, would have been a poor choice in their study; the best model was chosen based on the objective." Le choix du "meilleur modèle", donc la définition de "meilleur" peut se faire par la définition d'une fonction de perte. Le *risque d'estimation* [en fréquentiste] est alors défini comme l'intégrale sur tous les jeux de données possibles de cette fonction de perte multipliée par la vraisemblance de ces données (donc, espérance de la perte). L'AIC est une estimation du risque d'estimation en s'appuyant sur la perte log(f(y)/g(y|theta)), avec f(y) la réalité, et g(y|theta) le modèle.
Quand la fonction de perte change, l'estimateur optimal aussi. AIC, TIC, BIC, etc. sont tous de mesures correspondant à différentes fonctions de pertes; dans ce contexte d'une modélisation basée sur les objectifs: "some loss functions may meet objectives better than others". À noter aussi: les matheux parlent souvent du risque d'estimation dans ce contexte, je comprends mieux pourquoi maintenant.
===
Le cœur de l'article:
Les auteurs commencent par souligner l'importance des "model diagnostics" (examen des résidus, etc.). Que l'on fasse du single model ou du multimodel, on doit passer par là. C'est cet examen qui permet de valider ou invalider un modèle. Les auteurs soulignent que l'inférence multimodèle ne peut pas permettre de faire du diagnostic pour tous les modèles, on le fera uniquement pour le modèle sélectionné... Et si l'on se rend compte qu'il y a des soucis, il faudra de toutes façons le modifier. Dans la discussion "The analyst should consider the importance of model diagnostics for discovering new features in the data in comparison to maintaining global inference probabilities".
Il y a des coûts à l'inférence multimodèle: on doit restreindre le nombre de modèles. On est limité par le temps d'ajustement des modèles qui peut être long (en particulier lorsque le modèle est ajusté par MCMC). "We maintain that iterating on a single model is a viable alternative to multimodel inference."
Pb: souvent taxé de "data dredging". Mais les auteurs soulignent: "At some level, all inference is conditional". On se place dans le cas de figure: une fois qu'on arrive au modèle final, une fois qu'on a fini de le construire, on le définit comme la réalité, et c'est conditionnellement qu'on va faire nos inférences. La dernière phrase avant la discussion:
"The whole issue of conditional knowledge underlies much confusion about statistical inference. The key to getting beyond confirmatory modeling is to condition on the chosen model. After exploring the data and developing a model, all of the inference is conditional on that model".
Question centrale posée en discussion: "Is the investigor willing to live with probabilities that are conditional on a single model?".
La conclusion: "We argue that iterative improvements of a single model form a viable and straightforward alternative to multimodel inference. (...) The ultimate goal is to prvide better insight and predictions, and to broaden the scope of inference. Using model-checking and iterating on a single model takes less time to find flaws in the current model, to discover the reasons for lack of fit, and then to modify the model or adopt a new one. Multimodel inference takes longer to fit all models, may impede model evaluation, and makes discovery of new patterns more difficult."
Bon papier.
Les MOOC, cours massifs en différentes matières disponibles en lignes, avec cours, exos, etc. se développent de plus en plus.
On vit vraiment une époque formidable, où tout le monde peut se former à tous les sujets à condition d'y investir suffisamment de temps...
Faudra que je regarde ce que ça donne en stats...
On vit vraiment une époque formidable, où tout le monde peut se former à tous les sujets à condition d'y investir suffisamment de temps...
Faudra que je regarde ce que ça donne en stats...
Exploration de séquence sous R. M'a l'air pas mal...
Sur l'effet Dunning Kruger que j'ai déja évoqué précédemment précédemment.
Ah tiens, je connaissais pas: xmpp permet de faire du chat, un genre de msn libre.
Yen a des zoulis, j'ai pas tout compris, par exemple
while :;do printf "\e[%d;%dH\e[48;5;%dm \e[0m" $(($RANDOM%$LINES)) $(($RANDOM%$COLUMNS)) $(($RANDOM%216 )); done
while :;do printf "\e[%d;%dH\e[48;5;%dm \e[0m" $(($RANDOM%$LINES)) $(($RANDOM%$COLUMNS)) $(($RANDOM%216 )); done
Très intéressant. En vrac "Nobody seems to know exactly what 'data science' is, let alone its almost synonym 'big data'".
"It's now so easy to manipulate vast quantities of data that you don't need to employ a separate statistician, database guy and programmer. You hire someone who can code and do statistics too. This is the data scientist. (...) "
"It's now time for data science as a profession to take stock and ask itself 'what is the core skill set?'. Or further than this, 'is data science a new statistical speciality or even a nascent field in its own right?'."
"It's now so easy to manipulate vast quantities of data that you don't need to employ a separate statistician, database guy and programmer. You hire someone who can code and do statistics too. This is the data scientist. (...) "
"It's now time for data science as a profession to take stock and ask itself 'what is the core skill set?'. Or further than this, 'is data science a new statistical speciality or even a nascent field in its own right?'."
Plus d'ébola au libéria!
Intéressant: l'impact factor correspond au nombre moyen de fois qu'un article d'une revue publié dans les deux années précédentes est cité. C'est une moyenne, et comme on est sur une distribution asymétrique, c'est nase. L'auteur indique déjà que la médiane serait plus intéressante. Exemple de Acta Crystallographica Section A: le journal est passé d'un IF de 2 à un IF de 49 à cause d'un unique papier.
Il fait une étude de Monte Carlo qui compare un papier tiré au sort d'une revue et un papier tiré au sort d'une autre revue et compare le nombre de citations, afin de savoir quelle revue est meilleure. Il représente la distribution des différences. Et là, c'est vraiment surprenant, les différences ne sont pas énormes. Et même entre canards très différents: on voit des différences nettes entre Nature (IF approx. 40) et Journal of Cell Biology (IF approx. 2), significatives, ça se voit clairement, mais curieusement ces différences ne sont pas aussi énormes que le suggère la différence d'IF! Quand on compare la différence moyenne de citation d'un papier tiré au sort dans JCB et dans Nature, le pic est quand même à 0!!! Après, c'est vrai que le nombre d'articles très cités est plus important dans Nature...
Et en s'appuyant sur des comparaisons de moyennes non-paramétriques, il démontre que si l'on cherche à s'appuyer sur l'IF pour comparer des revues, on peut comparer des revues en arrondissant au 5 (ou 10) le plus proche. Ainsi, ecology (approx. 5) est meilleur que European Journal of Wildlife research (approx 1), mais après, ça ne sert à rien de comparer un journal à 1.2 et à 1.5.
Très intéressant...
Il fait une étude de Monte Carlo qui compare un papier tiré au sort d'une revue et un papier tiré au sort d'une autre revue et compare le nombre de citations, afin de savoir quelle revue est meilleure. Il représente la distribution des différences. Et là, c'est vraiment surprenant, les différences ne sont pas énormes. Et même entre canards très différents: on voit des différences nettes entre Nature (IF approx. 40) et Journal of Cell Biology (IF approx. 2), significatives, ça se voit clairement, mais curieusement ces différences ne sont pas aussi énormes que le suggère la différence d'IF! Quand on compare la différence moyenne de citation d'un papier tiré au sort dans JCB et dans Nature, le pic est quand même à 0!!! Après, c'est vrai que le nombre d'articles très cités est plus important dans Nature...
Et en s'appuyant sur des comparaisons de moyennes non-paramétriques, il démontre que si l'on cherche à s'appuyer sur l'IF pour comparer des revues, on peut comparer des revues en arrondissant au 5 (ou 10) le plus proche. Ainsi, ecology (approx. 5) est meilleur que European Journal of Wildlife research (approx 1), mais après, ça ne sert à rien de comparer un journal à 1.2 et à 1.5.
Très intéressant...
Sur le big data: on est vraiment sur des pbs d'informaticiens dans ce cas. Le problème de ces histoires de "data scientists", c'est que chacun y met un peu ce qu'il veut. Pour certains, il s'agit de stats exploratoires (originellement, le terme vient d'un papier de Cleveland quand même). Pour d'autre, c'est l'évolution logique de l'approche informaticienne de l'analyse de données, celle qui passe outre les questions statistiques. Là, on est dans le dernier cas. Alors? ben la question n'est pas simple, la tendance "data science and big data" existe indéniablement, comme le dit très bien le gars.
Une appli shiny pour voir l'évolution des téléchargements de packages grâce aux cranlogs de Rstudio
J'avais remarqué que Elsevier avait des pratiques douteuses dans ce genre. Depuis qu'on a sorti un papier sur l'efficacité de la vaccination contre la peste porcine dans Journal of Theoretical biology, je suis spammé comme jamais. Le nombre de sollicitations de participation à des soi-disantes conf (ressemblant plus à des opérations de pub qu'autre chose), et de spams en tout genre que je reçois, c'est hallucinant...
Marrant
Un article TRÈS intéressant sur l'interface science/politique. En résumé, le gouvt anglais veut connaître l'efficacité du prélèvement de blaireaux sur le contrôle de la tuberculose bovine. Il finance alors une étude, façon étude monstrueuse, avec randomisation, étude en double aveugle, le machin a l'air bien ficelé (j'ai pas lu l'étude -- à lire donc -- sigh...). Et là, surprise, l'étude conclut que le prélèvement de blaireaux est souvent inefficace, peut être efficace dans des conditions d'application irréaliste (genre erradication ultra rapide et ultra efficace de l'espèce à court terme), et sinon peut même *aggraver* la situation. Et là, les gestionnaires sont dans la merde: ils vivent tous avec l'idée que le prélèvement est LA solution, et voilà-t-y-pas qu'on leur dit que non. Et même qu'on leur dit que ça peut être pire.
Et pire, on ne leur dit pas pourquoi, et ça c'est pire que tout. On ne va pas changer notre façon de faire sans savoir quelle est la cause de ce résultat. J'aime bien la classique réaction des chefs "It depends whether you want to base your policy on a sound veterinary opinion, or just on statistics". Bougerai pas. Le gouvernement, dans la merde, cherche un second avis en 2007. Le rapport, écrit à la va vite d'après un éditorial de Nature, et truffé d'erreurs d'après l'auteur de l'article de blog, rassure le gouvt: ne changez rien, ils se sont plantés. Ce rapport est cité par Nature comme exemple typique du cas où un gouvernement ne tient aucun compte de l'avis scientifique après l'avoir demandé (l'éditorial de Nature sur le sujet est passionnant.).
Et avec les années, les études ultérieures donnent raison à cette première étude. On se rend compte que par le prélèvement, on favorise la dispersion des bestioles malades, d'où agravation. Mais les habitudes ont la vie dure, et les responsables ne changent pas la stratégie: prélèvement accru de blaireaux en cas de TB. On continue à débattre, les deux parties continuent à se taper dessus, les politiques n'ont pas vraiment envie de voir les choses évoluer... La conclusion: Since the ISG [le groupe en charge de cette étude] was disbanded in 2007, other advisory groups have come and gone. Over time the contribution of independent scientists has declined, with greater inputs from vets and farming representatives. Two further culls went ahead in 2013, but when an independent panel deemed them ineffective and possibly inhumane, it was not reappointed. The 2014 culls had no independent oversight, and subsequent claims of success are based on extremely shaky data. Outside government, views have become entrenched and cherry picking evidence has become a cottage industry for both sides of the debate.
Bon, cet article ne donne qu'un seul côté du débat, j'aimerais bien en savoir plus... À suivre.
Et pire, on ne leur dit pas pourquoi, et ça c'est pire que tout. On ne va pas changer notre façon de faire sans savoir quelle est la cause de ce résultat. J'aime bien la classique réaction des chefs "It depends whether you want to base your policy on a sound veterinary opinion, or just on statistics". Bougerai pas. Le gouvernement, dans la merde, cherche un second avis en 2007. Le rapport, écrit à la va vite d'après un éditorial de Nature, et truffé d'erreurs d'après l'auteur de l'article de blog, rassure le gouvt: ne changez rien, ils se sont plantés. Ce rapport est cité par Nature comme exemple typique du cas où un gouvernement ne tient aucun compte de l'avis scientifique après l'avoir demandé (l'éditorial de Nature sur le sujet est passionnant.).
Et avec les années, les études ultérieures donnent raison à cette première étude. On se rend compte que par le prélèvement, on favorise la dispersion des bestioles malades, d'où agravation. Mais les habitudes ont la vie dure, et les responsables ne changent pas la stratégie: prélèvement accru de blaireaux en cas de TB. On continue à débattre, les deux parties continuent à se taper dessus, les politiques n'ont pas vraiment envie de voir les choses évoluer... La conclusion: Since the ISG [le groupe en charge de cette étude] was disbanded in 2007, other advisory groups have come and gone. Over time the contribution of independent scientists has declined, with greater inputs from vets and farming representatives. Two further culls went ahead in 2013, but when an independent panel deemed them ineffective and possibly inhumane, it was not reappointed. The 2014 culls had no independent oversight, and subsequent claims of success are based on extremely shaky data. Outside government, views have become entrenched and cherry picking evidence has become a cottage industry for both sides of the debate.
Bon, cet article ne donne qu'un seul côté du débat, j'aimerais bien en savoir plus... À suivre.
Intéressant: on peut trouver des références sur une séquence d'entiers ici. Très complet.
L'autorité de certification libre pour la délivrance de certificats SSL.
Dans cette idée du https généralisé imposé par mozilla et google...
Dans cette idée du https généralisé imposé par mozilla et google...
Idem, m'a l'air intéressant
A lire
Profitons bien des derniers instants des navigateurs mozilla based avant de passer à autre chose. Mozilla est en train de se tirer une balle dans le pied...
Collabra: une revue à suivre de près.