priors sur les coefficients d'une régression linéaire: N(0, 2.5*sigma_y/sigma_x)

Régression linéaire en bayésien avec prior conjuguée. Je vais en avoir besoin

Super présentation pour mieux comprendre l'implémentation des modèles hiérarchiques avec rstanarm

En théorie, la colinéarité n'est pas un pb majeur en bayésien. En théorie. Cette colinéarité veut simplement dire que les données ne peuvent pas réussir à bien séparer les effets des deux variables. Mais normalement, la posterior devrait refléter cette difficulté à séparer les deux. En outre, définir une prior informative permet de résoudre ce pb (c'est la prior qui prend le relais des données.

Et j'aime bien le commentaire de GEC. En théorie, c'est pas un pb, mais:

In practice, though, this can be a big deal in terms of the speed/efficiency of sampling. Gibbs samplers will have a hard time traveling along the “ridge” in the likelihood space that is at an angle relative to the correlated parameters. Even gradient-based methods like HMC (or population methods that approximate gradients) can do better but will often experience a slowdown or have high autocorrelation as they attempt to explore the ridge.

Chaîne intéressante. À suivre.

Encore un SMBC marrant

Un article de blog intéressant: comment transformer un fréquentiste en bayésien en 8 étapes. Quels sont les must-read?

Apparemment, dans certains domaines, c'est une pratique courante de remplacer les prédicteurs par un "median split" (i.e. séparation faible/fort) avant de faire une régression linéaire. Gelman indique qu'il est beaucoup plus efficace de trichotomiser la variable (ya un lien vers une publi): on découpe la variable en trois catégories, que l'on va coder -1,0,1 et on ajuste une régression linéaire dessus. Ça fait l'hypothèse d'une relation linéaire entre l'explicative et la réponse.
Intéressant sur le principe, mais je vois pas bien l'intérêt de couper la variable en pratique (je veux dire, si on a déjà décidé de la forme de cette relation...). Et à lire les commentaires, je suis visiblement pas le seul...

Enfin bon, l'idée d'une trichotomie a l'air rigolotte quand même

Faudrait creuser ça... Je me le garde sous le coude.

Une discussion intéressante autour des critiques de l'ABC. À suivre