Les bookmarks de Clem
2390 shaares
449 results
tagged
stats
Sur le big data: on est vraiment sur des pbs d'informaticiens dans ce cas. Le problème de ces histoires de "data scientists", c'est que chacun y met un peu ce qu'il veut. Pour certains, il s'agit de stats exploratoires (originellement, le terme vient d'un papier de Cleveland quand même). Pour d'autre, c'est l'évolution logique de l'approche informaticienne de l'analyse de données, celle qui passe outre les questions statistiques. Là, on est dans le dernier cas. Alors? ben la question n'est pas simple, la tendance "data science and big data" existe indéniablement, comme le dit très bien le gars.
Une appli shiny pour voir l'évolution des téléchargements de packages grâce aux cranlogs de Rstudio
Via Mathieu. Et ya pire: j'ai déjà eu l'occasion d'ajuster une régression linéaire qui donnait d'aussi bons résultats qu'une régression logistique (tant que les valeurs prédites restent entre 0.2 et 0.8, ce qui était le cas dans mon étude). La première étant plus intéressante pour un usage sur le terrain (allez expliquer au technicien qu'il faut qu'il calcule l'inverse logit d'une combinaison linéaire).
Après, à relativiser aussi: en termes prédictifs, on n'a pas tant de différences que ça. En termes explicatifs, le choix est important: les coefficients ne s'interprètent pas de la même façon dans les deux cas (et ça m'étonnerait que les tests que l'on peut faire derrière donnent les mêmes résultats, ceux-ci ne s'appuyant pas sur les mêmes hypothèses).
Après, à relativiser aussi: en termes prédictifs, on n'a pas tant de différences que ça. En termes explicatifs, le choix est important: les coefficients ne s'interprètent pas de la même façon dans les deux cas (et ça m'étonnerait que les tests que l'on peut faire derrière donnent les mêmes résultats, ceux-ci ne s'appuyant pas sur les mêmes hypothèses).
J'aime bien: "My best analogy is that they are trying to use a bathroom scale to weigh a feather—and the feather is resting loosely in the pouch of a kangaroo that is vigorously jumping up and down."
Je me la garde sous le coude.
Je me la garde sous le coude.
Ça c'est un titre d'article. Bon, faut que je lise le papier.
Ah? à trouver et à lire. L'idée d'interfacer SIG et R pour ce type de calcul me paraît effectivement une idée à suivre.
À voir...
À voir...
Sur les highest posterior density intervals. À récupérer et à lire.
Doing Bayesian Data Analysis: Why to use highest density intervals instead of equal tailed intervals
Tiens je n'y avais jamais pensé, mais il existe plusieurs façons de définir des intervalles crédibles en bayésien. L'approche la plus courante consiste à définir l'intervalle comme défini par les quantiles (alpha/2, et 1-alpha/2) de la posterior. Mais elle a des inconvénients, comme illustré ici.
Une meilleure approche consiste à rechercher la valeur k telle que l'intégrale de P(x|theta) sur les valeurs de x telles que P(x|theta)>k = 1-alpha. Alors, l'intervalle crédible "highest posterior density intervals" consiste à l'ensemble des x tels que P(x|theta)>k. L'avantage de cette approche est qu'elle renvoie les intervalles les plus petits. En outre, elle contient le mode de la distribution, ce qui n'est pas forcément le cas de la méthode par les quantiles (qui elle incluera nécessairement la médiane). Voir p. 38 du Gelman et al.
Edit: pas si évident que ce soit la meilleure approche. Dans certains cas, en gestion de la faune par exemple, le fait de disposer d'IC basés sur des quantiles pourrait être jugé comme plus juste par les différentes parties. Comme les distributions à postériori sur les effectifs dans des sites sont souvent asymétriques, utiliser des HPD consisterait à systématiquement inclure 0 dans l'estimation, et du coup à diminuer la borne supérieure de l'intervalle. Autrement dit, on concevrait certes l'intervalle le plus court possible tel que la probabilité de trouver la vraie valeur soit de 95%, mais on aurait 0% de chances d'avoir une vraie valeur inférieure à la borne inférieure de l'IC, et tout le risque serait situé du côté des fortes valeurs. Quand on a deux parties qui se tapent dessus concernant les effectifs, une telle décision peut être vue comme un parti pris en faveur de ceux qui pensent qu'il n'y en a pas assez. À garder en tête quand même dans ce choix.
Une meilleure approche consiste à rechercher la valeur k telle que l'intégrale de P(x|theta) sur les valeurs de x telles que P(x|theta)>k = 1-alpha. Alors, l'intervalle crédible "highest posterior density intervals" consiste à l'ensemble des x tels que P(x|theta)>k. L'avantage de cette approche est qu'elle renvoie les intervalles les plus petits. En outre, elle contient le mode de la distribution, ce qui n'est pas forcément le cas de la méthode par les quantiles (qui elle incluera nécessairement la médiane). Voir p. 38 du Gelman et al.
Edit: pas si évident que ce soit la meilleure approche. Dans certains cas, en gestion de la faune par exemple, le fait de disposer d'IC basés sur des quantiles pourrait être jugé comme plus juste par les différentes parties. Comme les distributions à postériori sur les effectifs dans des sites sont souvent asymétriques, utiliser des HPD consisterait à systématiquement inclure 0 dans l'estimation, et du coup à diminuer la borne supérieure de l'intervalle. Autrement dit, on concevrait certes l'intervalle le plus court possible tel que la probabilité de trouver la vraie valeur soit de 95%, mais on aurait 0% de chances d'avoir une vraie valeur inférieure à la borne inférieure de l'IC, et tout le risque serait situé du côté des fortes valeurs. Quand on a deux parties qui se tapent dessus concernant les effectifs, une telle décision peut être vue comme un parti pris en faveur de ceux qui pensent qu'il n'y en a pas assez. À garder en tête quand même dans ce choix.
Marrant
Doit pas être inintéressant non plus.
Cleveland avait soulevé le problème dans son bouquin de 1993: il illustrait le cas d'une étude où les auteurs étaient passés à côté des structures importantes dans leurs données, et montrait qu'avec des graphes simples à comprendre, on identifiait facilement ces structures. J'avais stocké le passage:
Sometimes, when vizualisation thoroughly reveals the structure of a set of data, there is a tendency to underrate the power of the method for the application. Little effort is expended in seeing the structure once the right visualization method is used, so we are mislead into thinking nothing exciting has occurred. (...)
The rubber data might be such a case. The intensive visualization showed a linearity in hardness, a nonlinearity in tensile strenght, an interaction between hardness and tensile strength, and three aberrant observations in a corner of the factor measurement region. It might be thought that anyone analyzing these data would uncover these properties. This is not the case. In the original treatment, the analysts got it wrong. They operated within a paradigm of numerical methods and probabilistic inference for data analysis, and not intensive visualization. They missed the nonlinearity. They missed the interaction. They missed the outliers. In other words, they missed most of the structure of the data.
Sometimes, when vizualisation thoroughly reveals the structure of a set of data, there is a tendency to underrate the power of the method for the application. Little effort is expended in seeing the structure once the right visualization method is used, so we are mislead into thinking nothing exciting has occurred. (...)
The rubber data might be such a case. The intensive visualization showed a linearity in hardness, a nonlinearity in tensile strenght, an interaction between hardness and tensile strength, and three aberrant observations in a corner of the factor measurement region. It might be thought that anyone analyzing these data would uncover these properties. This is not the case. In the original treatment, the analysts got it wrong. They operated within a paradigm of numerical methods and probabilistic inference for data analysis, and not intensive visualization. They missed the nonlinearity. They missed the interaction. They missed the outliers. In other words, they missed most of the structure of the data.
TRÈS intéressant.
...Et la critique du bouquin, plutôt positive.
Un livre intéressant
Elle a raison... rien de nouveau sous le soleil.
À récupérer et à lire
TRÈS intéressant! Plein de stratégies, le plus souvent très simples, pour accélérer du code R
Très intéressant!
À suivre de près.
À suivre de près.
Intéressant. En résumé: "my point is that standard errors, statistical significance, confidence intervals, and hypotheses tests are far from useless. In many settings they can give us a clue that our measurements are too noisy to learn much from. That’s a good thing to know. A key part of science is to learn what we don’t know.
Hey, kids: Embrace variation and accept uncertainty."
Hey, kids: Embrace variation and accept uncertainty."
Ben décidément, il y a bcp de choses qui sortent aujourd'hui!
à lire
à lire