Les bookmarks de Clem
2385 shaares
pas mal de refs intéressantes
Bon à savoir: pour vider le swap sous ubuntu:
sudo swapoff -a
sudo swapon -a
sudo swapoff -a
sudo swapon -a
Tiens, c'est intéressant. Je n'ai lu que le résumé, mais ils développent un algorithme d'optimisation combinatoire qui montre qu'il est préférable d'embaucher un petit nombre de gens très compétents pour collecter la donnée, plutôt qu'un grand nombre de gens moyens. Ça a des implications rigolottes.
Gros abruti que je suis, je viens de comprendre comment contrôler la résolution d'un png sous R. IL FAUT CHANGER LES UNITÉS PAR DÉFAUT dans la fonction png.
Exemple, pour avoir un graphe en résolution 300 ppi:
dev.copy(png, filename="Datasets3.png", height=3, width=7, units="in", res=300)
On définit la hauteur et largeur en pouces (ou cm, c'est selon les recommandations de la revue), mais SURTOUT faut pas laisser pixels, sinon, le résultat est épouvantable (ça va modifier l'apparence du graphe).
Putain, ça fait 15 ans que je fais du R et je comprends ça que maintenant...
À pleurer...
Exemple, pour avoir un graphe en résolution 300 ppi:
dev.copy(png, filename="Datasets3.png", height=3, width=7, units="in", res=300)
On définit la hauteur et largeur en pouces (ou cm, c'est selon les recommandations de la revue), mais SURTOUT faut pas laisser pixels, sinon, le résultat est épouvantable (ça va modifier l'apparence du graphe).
Putain, ça fait 15 ans que je fais du R et je comprends ça que maintenant...
À pleurer...
Tester la sécurité d'un mot de passe: il calcule en combien de temps un mot de passe peut être cracké.
Une nouvelle charge en bonne et due forme contre le bayésien en écologie.
Ben décidément, ya des publis intéressantes qui sortent aujourd'hui! En résumé, selon les auteurs, 5 éléments clés à développer:
1. Pensée créative au sujet de la donnée: être capable de modifier la forme de la donnée. Ce que j'appellerais des compétences à établir la donnée.
2. Capacité à gérer des données de différentes tailles (concepts de bases de données, et concepts informatiques associés)
3. Compétences dans un langage de programmation stat (R, python, julia)
4. Apprendre à manipuler des gros jeux de données bien merdiques, pour lesquels il n'y a aucun but ou méthode stat spécifique
5. Un éthos concernant la reproductibilité.
L'article tourne autour de R, de markdown, et du package dplyr qui est décrit dans le détail (faut vraiment que je me mette à dplyr).
Pas mal de discussion autour de la notion de data management, et sur l'importance de maîtriser le SQL.
1. Pensée créative au sujet de la donnée: être capable de modifier la forme de la donnée. Ce que j'appellerais des compétences à établir la donnée.
2. Capacité à gérer des données de différentes tailles (concepts de bases de données, et concepts informatiques associés)
3. Compétences dans un langage de programmation stat (R, python, julia)
4. Apprendre à manipuler des gros jeux de données bien merdiques, pour lesquels il n'y a aucun but ou méthode stat spécifique
5. Un éthos concernant la reproductibilité.
L'article tourne autour de R, de markdown, et du package dplyr qui est décrit dans le détail (faut vraiment que je me mette à dplyr).
Pas mal de discussion autour de la notion de data management, et sur l'importance de maîtriser le SQL.
Idem, à récupérer et à lire
a l'air intéressant. À récupérer et à lire
Intéressant: suite au tuto mis en ligne sur imgur pour récupérer un compte admin sur n'importe quel ordi, le hollandais volant explique que linux a le même genre de vulnérabilité.
Moralité: si l'on veut assurer la sécurité, il faut empêcher l'accès physique à la machine.
Moralité: si l'on veut assurer la sécurité, il faut empêcher l'accès physique à la machine.
J'ai acheté un livre avec DRM une fois. J'ai passé trois jours à essayer de le faire sauter, étant incapable de le lire sous linux. J'ai pu les faire sauter en utilisant un logiciel prévu pour windows (dans une machine virtuelle donc). Depuis, je n'achète plus de livres avec DRM.
J'attends simplement que les éditeurs arrêtent d'être cons (surtout que ça va être les premiers à gueuler ouaaaais on nous pirate, que fait la police!), et qu'ils se mettent à suivre le même chemin que les vendeurs de mp3. C'est pas gagné passque si ya bien un milieu réfractaire au changement, c'est bien celui-là!
J'attends simplement que les éditeurs arrêtent d'être cons (surtout que ça va être les premiers à gueuler ouaaaais on nous pirate, que fait la police!), et qu'ils se mettent à suivre le même chemin que les vendeurs de mp3. C'est pas gagné passque si ya bien un milieu réfractaire au changement, c'est bien celui-là!
Intéressant. Une étude sur près de 400 groupes de recherche. Plus le groupe est gros, et plus le nombre de publis est important. Le PI contribue 5 fois plus que les autres membres du groupes. Un post-doc est trois fois plus productif qu'un thésard. Le PI est le facteur déterminant qui va jouer sur les impact factors des revues et sur le nombre de citations du groupe.
Bon, m'a l'air assez descriptif comme étude, gaffe aux inférences hasardeuses (et aux facteurs confondants). Mais c'est quand même intéressant.
Bon, m'a l'air assez descriptif comme étude, gaffe aux inférences hasardeuses (et aux facteurs confondants). Mais c'est quand même intéressant.
Réponse intéressante: comment créer un système ext4 sur une carte SD sans gparted (parce que gparted, sur un périph usb ou sd, ça marche pas' enfin pas top).
Joli: une carte du monde où la surface de chaque pays représente celle de sa population. On pourrait presque dire carte du monde à densité constante.
Marrant, la france change pas vraiment...
Marrant, la france change pas vraiment...
Ben putain, c'est super impressionnant: la 1.5 milliards de pixels de résolution pour la photo la plus fine jamais prise de la galaxie d'andromède.
Le zoom poussé à fond, on réalise vraiment le nombre d'étoiles présentes dans la galaxie...
Bluffant
Le zoom poussé à fond, on réalise vraiment le nombre d'étoiles présentes dans la galaxie...
Bluffant
Je stocke ça ici une fois pour toutes. Les opérations de base pour pas passer des plombes à réinstaller ubuntu:
# installer les repositories de qgis
# Ajouter dans /etc/apt/sources.list
## deb http://qgis.org/debian xenial main
## deb-src http://qgis.org/debian xenial main
sudo apt-get update
Aller télécharger et installer la dernière version de firefox dans le home (dossier nommé firefox)
Installer tous les packages requis
sudo apt-get install emacs emacs-goodies-el openbox openbox-dev obconf obmenu zenity finger gimp zathura zathura-* ess latex-beamer texlive aspell aspell-fr org-mode org-mode-doc thunderbird liferea terminator default-jre build-essential r-base-dev postgresql postgis pgadmin3 sqlite sqlitebrowser grass grass-dev chromium-browser qgis python-qgis python-qgis-common qgis-plugin-grass conky hamster-applet conky thunar feh xscreensaver xcompmgr fortunes fortunes-fr imagemagick pdftk auctex mutt ispell w3m w3m-el lynx sendemail rar wine impressive mplayer gdb valgrind audacity filezilla virtualbox calibre libdvdnav4 libdvdread4 p7zip-full gimp-data gimp-data-extras unetbootin lm-sensors jags zram-config jags auto-complete-el tcl8.4 tk8.4 tcl8.4-dev tk8.4-dev texinfo gnome-icon-theme-full usb-creator-gtk gparted jags cpufrequtils indicator-cpufreq vlc pdfshuffler texlive-latex-extra texlive-lang-french unrar clamav* clamtk flashplugin-installer inkscape gdebi pepperflashplugin-nonfree git-core gitg mdbtools-gmdb odbc-postgresql fbreader curl zsh
Virer les paquets inutiles
sudo apt-get remove unity-lens-shopping account-plugin-aim account-plugin-facebook account-plugin-flickr account-plugin-google account-plugin-jabber account-plugin-twitter account-plugin-windows-live account-plugin-yahoo
Mettre à jour la distribution
sudo apt-get upgrade
sudo apt-get dist-upgrade
sudo freshclam ## dernières définitions antivirus
Terminator doit fonctionner
sudo link /usr/bin/terminator /usr/bin/terminator_desktop
Copier tous les fichiers du disque de sauvegarde vers le home (utiliser le programme de sauvegarde en inversant les répertoires de destination et de source)
Ajouter les fortunes:
cd ~/fortune
strfile -s perso
sudo cp perso.dat perso /usr/share/games/fortunes/
Installer R depuis les sources avec mon programme de compilation auto.
Modifier le /etc/fstab pour permettre de monter automatiquement la carte SD au démarrage
## pour identifier le label de disque:
ls /dev/disk/by-label -lah
## Pour redéfinir le label de la carte sd
sudo e2label /dev/mmcblk0 "labeldelacarte"
## on recherche la ligne à coller dans le fstab en recherchant la carte sd après l'avoir montée dans:
cat /etc/mtab
## ajouter la ligne dans /etc/fstab:
## LABEL=labeldelacarte /adresse/ou/monter/les/docs/persos ext4 rw 0 0
Config de GIT
git config --global user.name "Clement Calenge"
git config --global user.email "clement.calenge@gmail.com"
git config --global color.ui true
git config --global color.status auto
git config --global color.branch auto
git config --global core.editor emacsclient
Bloquer reddit pendant les heures de boulot (en mode root, apres su)
iptables -A OUTPUT -m time --timestart 07:00 --timestop 15:00 --weekdays Mon,Tue,Wed,Thu,Fri -d www.reddit.com -j DROP
# installer les repositories de qgis
# Ajouter dans /etc/apt/sources.list
## deb http://qgis.org/debian xenial main
## deb-src http://qgis.org/debian xenial main
sudo apt-get update
Aller télécharger et installer la dernière version de firefox dans le home (dossier nommé firefox)
Installer tous les packages requis
sudo apt-get install emacs emacs-goodies-el openbox openbox-dev obconf obmenu zenity finger gimp zathura zathura-* ess latex-beamer texlive aspell aspell-fr org-mode org-mode-doc thunderbird liferea terminator default-jre build-essential r-base-dev postgresql postgis pgadmin3 sqlite sqlitebrowser grass grass-dev chromium-browser qgis python-qgis python-qgis-common qgis-plugin-grass conky hamster-applet conky thunar feh xscreensaver xcompmgr fortunes fortunes-fr imagemagick pdftk auctex mutt ispell w3m w3m-el lynx sendemail rar wine impressive mplayer gdb valgrind audacity filezilla virtualbox calibre libdvdnav4 libdvdread4 p7zip-full gimp-data gimp-data-extras unetbootin lm-sensors jags zram-config jags auto-complete-el tcl8.4 tk8.4 tcl8.4-dev tk8.4-dev texinfo gnome-icon-theme-full usb-creator-gtk gparted jags cpufrequtils indicator-cpufreq vlc pdfshuffler texlive-latex-extra texlive-lang-french unrar clamav* clamtk flashplugin-installer inkscape gdebi pepperflashplugin-nonfree git-core gitg mdbtools-gmdb odbc-postgresql fbreader curl zsh
Virer les paquets inutiles
sudo apt-get remove unity-lens-shopping account-plugin-aim account-plugin-facebook account-plugin-flickr account-plugin-google account-plugin-jabber account-plugin-twitter account-plugin-windows-live account-plugin-yahoo
Mettre à jour la distribution
sudo apt-get upgrade
sudo apt-get dist-upgrade
sudo freshclam ## dernières définitions antivirus
Terminator doit fonctionner
sudo link /usr/bin/terminator /usr/bin/terminator_desktop
Copier tous les fichiers du disque de sauvegarde vers le home (utiliser le programme de sauvegarde en inversant les répertoires de destination et de source)
Ajouter les fortunes:
cd ~/fortune
strfile -s perso
sudo cp perso.dat perso /usr/share/games/fortunes/
Installer R depuis les sources avec mon programme de compilation auto.
Modifier le /etc/fstab pour permettre de monter automatiquement la carte SD au démarrage
## pour identifier le label de disque:
ls /dev/disk/by-label -lah
## Pour redéfinir le label de la carte sd
sudo e2label /dev/mmcblk0 "labeldelacarte"
## on recherche la ligne à coller dans le fstab en recherchant la carte sd après l'avoir montée dans:
cat /etc/mtab
## ajouter la ligne dans /etc/fstab:
## LABEL=labeldelacarte /adresse/ou/monter/les/docs/persos ext4 rw 0 0
Config de GIT
git config --global user.name "Clement Calenge"
git config --global user.email "clement.calenge@gmail.com"
git config --global color.ui true
git config --global color.status auto
git config --global color.branch auto
git config --global core.editor emacsclient
Bloquer reddit pendant les heures de boulot (en mode root, apres su)
iptables -A OUTPUT -m time --timestart 07:00 --timestop 15:00 --weekdays Mon,Tue,Wed,Thu,Fri -d www.reddit.com -j DROP
La VACHE!
29 équipes de data analyst -- 61 analystes appartenant à 13 pays, travaillant dans des domaines divers incluant la psychologie, la statistique, l'économie, sociologie, liguistique, management, avec ou sans PhD, de différents grades -- analysent le même jeu de données pour identifier si les arbitres tendent à plus donner du carton rouge aux noirs. Il y a une variabilité monstre dans les résultats. Pour une question aussi simple, les odds ratio varient de 0.89 à 2.93!!! l'effet varie d'un facteur 1 à 3!!!
Les méthodes varient de la régression logistique fréquentiste ou bayésienne, binomiale ou multinomiale, ZIP, Poisson multilevel, modèles mixtes logistiques ou Poisson, hiérarchiques, régression Poisson,
Dans le résumé: "Crowdsourcing data analysis highlights the contingency of results on choices of analytic strategy, and increases identification of bias and error in data and analysis. Crowdsourcing analytics represents a new way of doing science; a data set is made publicly available and scientists at first analyze separately and then work together to reach a conclusion while making subjectivity and ambiguity transparent".
C'est bluffant comme étude.
Via le blog d'Andrew Gelman (http://andrewgelman.com/2015/01/27/crowdsourcing-data-analysis-soccer-referees-give-red-cards-dark-skin-toned-players/)
29 équipes de data analyst -- 61 analystes appartenant à 13 pays, travaillant dans des domaines divers incluant la psychologie, la statistique, l'économie, sociologie, liguistique, management, avec ou sans PhD, de différents grades -- analysent le même jeu de données pour identifier si les arbitres tendent à plus donner du carton rouge aux noirs. Il y a une variabilité monstre dans les résultats. Pour une question aussi simple, les odds ratio varient de 0.89 à 2.93!!! l'effet varie d'un facteur 1 à 3!!!
Les méthodes varient de la régression logistique fréquentiste ou bayésienne, binomiale ou multinomiale, ZIP, Poisson multilevel, modèles mixtes logistiques ou Poisson, hiérarchiques, régression Poisson,
Dans le résumé: "Crowdsourcing data analysis highlights the contingency of results on choices of analytic strategy, and increases identification of bias and error in data and analysis. Crowdsourcing analytics represents a new way of doing science; a data set is made publicly available and scientists at first analyze separately and then work together to reach a conclusion while making subjectivity and ambiguity transparent".
C'est bluffant comme étude.
Via le blog d'Andrew Gelman (http://andrewgelman.com/2015/01/27/crowdsourcing-data-analysis-soccer-referees-give-red-cards-dark-skin-toned-players/)
Pas mal de programmes R illustrant l'implémentation MCMC pour différents modèles
Bon, apparemment, pas de souci pour les versions de glibc supérieures à 2.18, ça avait déjà été patché.
Pour connaître la version de glibc:
dpkg -s libc6
Pour connaître la version de glibc:
dpkg -s libc6