vendredi 21 août 2015

Gcc et link time optimisation

Comme promis, je vous parle un peu de cette récente fonctionnalité de gcc, qui permet au compilateur d'optimiser à travers les unités de compilation. Le compilateur de Microsoft avait cette fonctionnalité depuis bien longtemps, et gcc était donc un petit peu à la traine, mais à chaque release, de nouvelles améliorations sont apportées à ce qui pourrait bien donner un sérieux coup de fouet aux performances (à l'exécution, parce qu'en revanche, les temps de compilation vont exploser...).

L'idée est que plutôt que de compiler chaque unité de compilation vers du code machine, le compilo s'arrête à une représentation moins bas niveau. C'est cette représentation qui est passée à l'éditeur de liens, qui peut alors refaire une passe d'optimisation en ayant l'ensemble des unités de compilation disponibles. La plus évidente des optimisations possibles est d'inliner les fonctions d'une unité de compilation vers une autre unité de compilation.

Pour comprendre ce qui se passe, je vous propose deux programmes. Voici le premier :

// p1.c
int f(int a, int b)
{
  return a + b;
}

int main()
{
  return f(3, 5);
}

Voici le deuxième, divisé en 2 fichiers

// p2.c
int f(int a, int b);

int main()
{
  return f(3, 5);
}

// p2l.c
int f(int a, int b)
{
  return a + b;
}
Compilons le premier programme avec l'optimisation à fond : "gcc -O3 p1.c -o p1". Puis désassemblons le programme avec "objdump -d -S p1". La partie intéressante est :
00000000004003c0 <main>:
  4003c0:       b8 08 00 00 00          mov    $0x8,%eax
  4003c5:       c3                      retq   

Sans surprises, le compilo a bien inliné le tout, et renvoie simplement la valeur calculée 8.

Maintenant, le deuxième programme: "g++ -O3 p2.c p2l.c -o p2". Le code désassemblé montre bien le passage des deux paramètres 5 et 3 suivi d'un appel de fonction, puisque la fonction "main" ne peut pas voir le contenu de la fonction f.

0000000000400480 <main>:
  400480:       be 05 00 00 00          mov    $0x5,%esi
  400485:       bf 03 00 00 00          mov    $0x3,%edi
  40048a:       e9 01 01 00 00          jmpq   400590 <_Z1fii>

0000000000400590 <_Z1fii>:
  400590:       8d 04 37                lea    (%rdi,%rsi,1),%eax
  400593:       c3                      retq   
  400594:       66 2e 0f 1f 84 00 00    nopw   %cs:0x0(%rax,%rax,1)
  40059b:       00 00 00 
  40059e:       66 90                   xchg   %ax,%ax

Et maintenant, voyons avec la lto: g++ -flto -O3 p2.c p2l.c -o p2_lto. Ah ah! Nous retrouvons quelque chose d'identique au tout premier programme. Le compilateur a en effet été capable d'inliner la fonction f dans main, quand bien même sa définition n'était pas accessible. Ça marche!

0000000000400480 <main>:
  400480:       b8 08 00 00 00          mov    $0x8,%eax
  400485:       c3                      retq   

mardi 4 août 2015

Ubuntu Phone - Top des applications

Bon, des applications sur Ubuntu Phone, y'en a pas tellement. Raison de plus pour savoir quelles sont celles qui sortent du lot. Voici mon top 5, tous logiciels libres:

Shorts

Jusqu'à présent, je ne me servais pas d'un aggrégateur de flux RSS. Mais, sur un téléphone, lire des articles sur un navigateur est assez pénible, surtout quand la bestiole n'est pas très véloce. Je m'y suis donc mis, et ça change la vie. Shorts permet de chercher des flux RSS et de les catégoriser, et affiche les articles dans une interface claire et efficace. Tout est mis en cache lors du rafraichissement, ce qui permet de se garder des choses à lire pour les endroits où il n'y a pas de réseau. J’agrège donc LinuxFR, Portail Aviation, l'Odieux Connard et Xkcd.

Dekko

Dekko est une très bonne application de courrier électronique, qui me permet de garder un œil sur mes boites en IMAP. C'est assez véloce, et ça marche vraiment très bien. Un petit bug m'empêchait de faire fonctionner l'IMAP sur une boite OVH, mais les forums expliquent quel paramètre changer dans quel fichier de configuration pour que tout tourne sans histoires.

OSMTouch

OSMTouch, c'est l'application qui permet d'accéder aux cartes d'OpenStreetMap. C'est une application native plutôt qu'un conteneur Web, et c'est redoutablement efficace. Attention cependant, ne fonctionne qu'en mode connecté et ne permet pas de mettre des cartes en cache. À noter que je n'ai pas réussi à faire fonctionner le GPS sur mon BQ Aquarius 4.5, mais les autres applications n'ont pas l'air de le voir non plus, donc ce n'est pas la faute d'OSMTouch

Twitter

Alors d'accord, ce n'est qu'un conteneur Web, et la qualité de l'application est plus un testament du talent des développeurs Twitter. Mais il est bon à savoir que ça marche particulièrement bien sur Ubuntu Touch. À noter que je ne suis que consommateur de Tweets, je n'ai donc aucune idée s'il est aisé d'en écrire via cette interface.

2048

C'est un petit jeu qui rappelle vaguement le taquin, dans le sens où il faut pousser des carrés sur une grille. Mais le principe de 2048 est de combiner les carrés de même valeur pour la faire doubler. Donc combiner deux 2 devient 4, deux 4 devient 8, et ainsi de suite, jusqu'au mythique 2048. Rudement addictif, et raisonnablement stratégique.

mercredi 15 juillet 2015

The Talos Principle - Fini!

Il m'a quand même fallu 27 heures pour compléter le jeu, et voir une de ses fins (à priori, la plus intéressante) en ayant résolu tous les problèmes. Pfiou! À noter que j'ai quand même raté beaucoup d'Easter Eggs, lesquels sont recensés dans de nombreuses vidéos sur Youtube. Je demeure très impressionné par l'intelligence de ce jeu, aussi bien dans le gameplay que dans l'histoire. Une très bonne expérience, entièrement sous Linux!

Je vais donc pouvoir revenir à une activité normale, comme on dit. En particulier, je n'ai vraiment plus qu'à trouver 3 heures de libre d'un seul tenant pour enfin charger mes vieux SMS dans mon Ubuntu Phone. Faut pas se laisser aller.

jeudi 18 juin 2015

Ubuntu Touch - Transférer ses SMS - Phase 1: reconnaissance (suite)

Reprenons, et regardons de plus près les deux tables restantes, thread_participants et text_events.

thread_participants

ChampTypeCommentaire
accountIdchaîneClé vers la table "threads"
threadIdchaîneClé vers la table "threads"
typeentierClé vers la table "threads"
participantIdchaîneLe nom du participant à ce fil de discussions. Pour les SMS simples, c'est simplement notre correspondant. De ce que je vois des données, utiliser la même valeur que le threadId fonctionne

text_events

ChampTypeCommentaire
accountIdchaîneClé vers la table "threads"
threadIdchaîneClé vers la table "threads"
eventIdchaîneProbablement un identifiant unique pour le message. Dans mes données, c'est à une valeur qui ressemble à "/ril_0/message_" suivi d'une chaîne qui ressemble furieusement à un hash pour les messages envoyés, et à une date au format ISO (par exemple 2015-06-01T22:35:52+0100-1) pour les messages reçus
senderIdchaîneL'envoyeur, à "self" pour les messages envoyés, et au numéro de tel de l'envoyeur pour les messages reçus
timestampdatetimeLa date et l'heure auxquelles le message a été reçu
newEventbooléenAucune idée. Toujours à faux dans mes données.
messagechaîneLe message proprement dit
messageTypeentierLe type de message, manifestement toujours à 0
messageStatusentierManifestement là pour indiquer si le message a été lu, envoyé, etc. Les bonnes valeurs semblent être 4 pour les messages envoyés, et 0 pour les messages reçus
readTimestampdatetimeLa date et l'heure auxquelles le message a été lu. Peut probablement être mis à la même valeur que timestamp pour les messages reçus, et à null pour les messages envoyés.
subjectchaîneLe sujet du message, manifestement non-existant pour les SMS (peut-être là pour les MMS?). Doit probablement être mis à null pour les messages envoyés et à la chaîne vide pour les messages reçus

Maintenant, il va me falloir passer à la deuxième phase: massage de mes données en CSV pour pouvoir les insérer dans la base et retrouver mes SMS.

mercredi 10 juin 2015

Ubuntu Touch - Transférer ses SMS - Phase 1: reconnaissance

Les SMS sur un Ubuntu Phone sont situés dans une base de données sqlite à l'emplacement ~/.local/share/history-service/history.sqlite. En théorie, pour importer ses SMS, il suffit de les ajouter à la base dans le format qui va bien. Téléchargeons donc la base et jetons un coup d'oeil:

$ sqlite3 history.sqlite
sqlite> .schema
CREATE TABLE schema_version (
    version int
);
CREATE TABLE threads (
    accountId varchar(255),
    threadId varchar(255),
    type tinyint,
    lastEventId varchar(255),
    lastEventTimestamp datetime,
    count int,
    unreadCount int
);
CREATE TABLE thread_participants (
    accountId varchar(255),
    threadId varchar(255),
    type tinyint,
    participantId varchar(255)
);
CREATE TABLE text_events (
    accountId varchar(255),
    threadId varchar(255),
    eventId varchar(255),
    senderId varchar(255),
    timestamp datetime,
    newEvent bool,
    message varchar(512),
    messageType tinyint,
    messageStatus tinyint,
    readTimestamp datetime,
    subject varchar(256)
);

Rien de très méchant à priori (j'ai laissé la partie du schéma qui décrit les "triggers" qui mettent à jour certaines dates, ainsi que les voice_events, correspondant aux conversations téléphoniques, et aux text_event_attachments, correspondant aux pièces jointes, j'imagine pour les MMS). L'on comprend qu'il y a un certain nombre de "threads", qui regroupent un certain nombre de "thread_participants", et que l'on peut ensuite ajouter chaque message dans text_event. Voici ce que j'ai réussi à en comprendre de la première table d'après les données déjà présentes après quelques appels et quelques SMS:

threads

ChampTypeCommentaire
accountIdchaîneUn nom de compte, probablement une constante pour tous les téléphones. Chez moi, c'est systématiquement la valeur "ofono/ofono/account0"
threadIdchaîneL'identifiant du thread. C'est apparemment le numéro de téléphone de son correspondant, sauf quand il s'agit de correspondants nommés, comme "Ikea" ou "Orange"
typeentierUne valeur qui peut être 0 ou 1. En regardant les numéros de téléphone associés, je pense que cela indique s'il s'agit d'un thread de message, avec le code 0, ou d'un historique d'appel, avec un 1. Pour l'import des SMS, on mettra 0 partout.
lastEventIdchaîneC'est un identifiant assez moche, qui contient soit un numéro de téléphone, soit une date, suivi d'une date et d'une heure. J'imagine que c'est le dernier eventId de la table text_events, et qu'il est mis à jour via une trigger
lastEventTimestampdate et heurela date et l'heure du dernier message
countentierLe nombre de messages dans le thread
unreadCountentierLe nombre de messages non lus. Pour l'import, un 0 sera bien suffisant.

Suite au prochain numéro, car il est temps d'aller se coucher!

mardi 2 juin 2015

Et en plus, on peut téléphoner avec!

Ayant enfin reçu ma carte SIM, j'ai pu tester mon BQ Aquarius Ubuntu Edition en "conditions réelles". La bonne nouvelle, c'est qu'effectivement, on peut téléphoner avec. Ça a l'air bête, comme ça, mais j'avais en tête un collègue et son Nokia N900 qui, semble-t-il, était particulièrement peu coopératif sur ce sujet là.

C'est qu'on sent particulièrement que sur un Ubuntu Touch, la fonction téléphone est une application comme une autre, ni plus, ni moins. On a donc droit à 4 secondes de changement, et téléphoner à un contact qui ne soit pas dans sa liste d'appels récents est assez peu ergonomique, puisqu'il faut repasser par l'application "contacts".

Mais trêve de pessimisme, donner un appel comme en recevoir fonctionne finalement bien, et l'application SMS est satisfaisante.

samedi 30 mai 2015

Ubuntu Touch - Transférer ses contacts

La première chose à faire pour que mon Aquarius soit utilisable, c'est de transférer mes contacts. C'est là que l'on se rend compte que le téléphone n'est absolument pas prêt pour monsieur et madame tout le monde: la méthode la plus efficace requiert de s'intéresser de près à la ligne de commande.

Tout d'abord, il faut ouvrir un accès SSH sur le téléphone. J'aime beaucoup la solution de Robie Basak qui consiste à transférer sa clé SSH via netcat (nc), et évite d'avoir à se fader adb.

Une fois que l'on peut ouvrir une session SSH sur son téléphone, tout devient plus simple, parce que l'application "Terminal", aussi bien qu'elle soit, est quand même sérieusement pénible à utiliser avec un clavier tactile. Il faut donc copier ses contacts quelque part sur le téléphone, puis utiliser syncevolution pour les importer, comme indiqué par Nicolas Delvaux.

Une petite remarque en passant: il n'est pas rare de trouver des solutions qui s'appliquent aux versions beta d'Ubuntu Touch. Avec une version officielle pré-installée, c'est souvent beaucoup plus simple!

La prochaine étape sera d'importer tous mes SMS, que j'ai pu exporter de mon Nokia au format CSV. L'Ubuntu Touch gère les SMS via une base SQLite, j'espère donc pouvoir faire un peu de reverse engineering et comprendre comment pousser mes données là dedans.