Mon éditorial sur You Tube

Je retourne, une fois de plus, à l’étude scientifique de mon concept d’entreprise que j’avais baptisé « EneFin » : une plateforme transactionnelle qui combinerait du crowdfunding avec l’utilisation d’une cryptomonnaie pour financer le développement des installations locales d’énergies renouvelables. Je veux créer un business plan pour ce concept d’entreprise et il y a une petite voix perfectionniste dans ma tête qui demande une compréhension profonde de la façon dont une telle idée serait acceptée par le marché. Voilà donc pourquoi je ressens le besoin de développer une approche scientifique à tout ce projet. Oui, le fait que je sois prof d’université et que ma discipline de base c’est l’économie, ça peut jouer un rôle.

Comme je cercle cette idée, je me suis rendu compte que LA science que je veux développer à cette occasion c’est la question d’intelligence collective, plus spécialement appliquée aux systèmes économiques, y compris le marché d’énergie. Il y a quelque temps, j’avais regardé, sur You Tube, l’interview avec un chercheur de nom de Lex Fridman, spécialisé dans l’intelligence artificielle. Il a dit une chose simple : « Je travaille sur l’intelligence artificielle car je veux comprendre l’esprit humain. Lorsque je veux comprendre comment quelque chose marche, j’essaie de bâtir quelque chose de pareil, par moi-même ». J’y avais médité, sur ce sujet et je me suis rendu compte que c’est précisément le chemin que je suis en train de suivre par moi-même quoi que, soyons francs, beaucoup plus à tâtons que le fait Lex Fridman.

Ah oui, et en plus, l’application des réseaux neuronaux, c’est la dernière mode dans les méthodes quantitatives des sciences économiques. Eh bien, Wasniewski, faut se rendre à l’évidence et apprendre à utiliser les réseaux neuronaux. Je m’y engage donc, en utilisant ce que j’ai déjà appris en termes des langages de programmation, surtout Python et Pragma Solidity. Comme je commence à étudier la théorie des réseaux neuronaux, je vois déjà un paradoxe. D’une part, la théorie des réseaux neuronaux est vaste, diversifiée et en train de se développer d’une façon exponentielle. D’autre part, les réseaux qui marchent en pratique, tout en ne représentant qu’un petit fragment de cette théorie, démontrent des caractéristiques surprenantes et inattendues qui, à leur tour, donnent naissance à même plus de théorie.

Dans ma recherche à moi, je veux construire un réseau neuronal qui imiterait une intelligence collective possible d’êtres humains. En fait, c’est comme représenter la culture comme un réseau neuronal. Dans ce paysage, il y a une bête qui m’intéresse plus particulièrement : la mémoire collective. Être intelligent, ça s’apprend – je veux dire ça implique de l’apprentissage et l’apprentissage, ça exige une mémoire pour stocker l’information assemblée durant ledit apprentissage.

Un réseau neuronal a besoin de neurones. Dans la construction de tels réseaux, on commence modeste, avec la création mathématique de juste un neurone. Un neurone artificiel est une fonction mathématique qui transforme des données à l’entrée en un résultat qui, à son tour, devient un ensemble de données stimulantes pour le neurone suivant. Dans la nature, un neurone, ça ne pense pas tout seul. En fait, un seul neurone, c’est bête comme tout. Un neurone gagne ses titres de noblesse en créant des connexions synaptiques avec d’autres neurones. Alors voilà que ma petite obsession d’apprentissage et de mémoire entre en scène. La mémoire et l’apprentissage sont des phénomènes basées sur la création des connexions synaptiques. Ces connexions-là facilitent l’exécution des schémas complexes de comportement, préalablement appris.

Voilà donc un créneau de recherche passionnant. Dans un réseau neuronal artificiel, chaque neurone est une fonction mathématique. Une connexion synaptique veut dire que parmi tous les liens possibles avec d’autres fonctions, la fonction du neurone donné passe les données en préférence à une autre fonction de neurone, plutôt qu’à toutes les autres et vice versa, c’est-à-dire une fonction de neurone artificiel reçoit des données en préférence d’une fonction particulière de neurone artificiel plutôt de la part de toutes les autres.

Je veux donc construire un réseau neuronal artificiel qui simule la création des connexions synaptiques, donc qui bâtit sa propre structure. En bas, j’essaie de donner une expression graphique à cette idée.

 

L’idée mathématique que j’ai en tête est de commencer avec un ensemble non-structuré des fonctions neuronales, donc des neurones mathématiques, où la première connexion se fait sur la base de proximité. La puissance du signal initialement envoyé décroit avec le carré de la distance, où la distance est, bien sûr, mathématique et donc Euclidienne. Voilà l’idée de base et voilà que la vie me donne occasion de développer cette idée dans une direction que je pressentais un peu, mais où j’avais comme une petite peur de m’engager. Il s’agit de révision de ce manuscrit, intitulé « Apprehending energy efficiency : what is the cognitive value of hypothetical shocks ? », que j’avais soumis à l’évaluation chez « Energy Economics ».  Le rédacteur en chef m’a renvoyé le manuscrit avec une remarque générale qu’il faut que je travaille aussi bien sur la clarté de mes hypothèses que sur le niveau d’innovation mathématique dans mon traitement des données.

Honnêtement, ce rédacteur en chef, il a eu raison. Après avoir soumis ce manuscrit, quand je le revoyais pour moi-même, j’avais cette impression de manque. Un article scientifique de bonne qualité, ça requiert ce tremblement de terre Hitchcockien, dès le début. Mon article à moi, il manquait de ce cataclysme initial, précisément. Vous savez, quelque chose qui vraiment attire l’attention du lecteur.  Faut que j’en ajoute un, de cataclysme. En plus, il faut se rendre à l’évidence : dans les sciences économiques, la méthode des moindres carrés ordinaire c’est déjà un peu vieillot. Faut que je sois plus inventif côté maths.

Voilà donc une occasion de me rendre la vie un peu plus difficile qu’elle était jusqu’à maintenant. Je révise le manuscrit sur l’efficience énergétique d’économies nationales, j’essaie de le faire en utilisant la théorie des réseaux neuronaux, et en même temps j’espère d’acquérir une compréhension plus approfondie du marché d’énergie, ce qui ma me servir à développer scientifiquement et pratiquement mon concept EneFin.

Alors, le neurone. Lorsque j’étudie l’efficience énergétique d’un ensemble des pays, qu’est qui peut bien être un neurone, donc une cellule qui a pour fonction essentielle de transmettre un signal, avec modification possible ? La direction la plus évidente à suivre, à ce respect, et de construire un réseau imitateur, où chaque pays soumis à l’étude est un neurone. Direction no. 2, un peu plus abstraite : un neurone est une créature hypothétique qui traite les données empiriques. Dans ce cas, le réseau neuronal est une intelligence externe à cet univers. Je distingue donc des neurones de façon arbitraire, en puisant dans le catalogue des fonctions neurales « officiellement » reconnues : perceptrons, sigmoïdes, tangentes hyperboliques etc.

Le réseau imitateur, il peut faire l’une des deux choses : il peut s’activer et faire quelque chose de nouveau chaque fois qu’il reçoit du signal intéressant – donc il peut apprendre – ou bien il peut atténuer les variations du signal pour maintenir l’homéostasie. Pourquoi l’homéostasie ? J’ai deux raisons pour adopter cette ligne de recherche. D’une part, j’avais déjà fait de la recherche où j’avais utilisé, avec succès, la bonne vieille fonction de production – donc un état d’équilibre général – pour simuler l’adaptation des populations à leur base énergétique et nutritionnelle. D’autre part, dans notre cerveau, il y a des fonctions neurales qui se concentrent sur l’homéostasie. La catégorisation des phénomènes nouveaux dans des catégories préexistantes est un exemple. La chose aussi (apparemment) banale que le maintien d’une température constante du corps en est un autre.

En ce qui concerne le réseau neuronal externe à mon univers, sa fonction la plus évidente serait de cerner un modèle économétrique de changement au niveau d’efficience énergétique d’économies nationales. Encore, moi, je me suis un peu excité – comme ça arrive souvent aux néophytes – avec tout ce bazar des réseaux neuronaux et je pense à une intelligence externe qui ferait, à propos de mon univers empirique, une chose tout à fait fondamentale à toute intelligence : elle créerait de catégories significatives à des niveaux d’abstraction différents.

Quelle serait la différence entre un réseau neuronal imitateur qui apprend et un réseau externe qui résout ? La différence que je vois intuitivement est celle d’envergure. Lorsque j’apprends à l’intérieur d’un univers, le cadre des données que je traite est limité par ma position dans cet univers. Dans une forêt, je ne vois que certains arbres. Un neurone dans le réseau imitateur aurait pour une de ses fonctions de sélectionner des données. En revanche, quand je suis à l’extérieur de quelque chose, je vois la chose dans sa totalité : toutes les données me sont accessibles de la même façon.

Voilà, ci-dessous, le résumé de mes grands plans :

Le réseau imitateur avec apprentissage	Le réseau imitateur qui tend vers l’homéostasie
Le réseau externe qui résout un modèle économétrique	Le réseau externe qui crée des catégories significatives et les combine en catégories abstraites

 

Maintenant, je veux comprendre comment d’autres chercheurs approchent l’application des réseaux neuronaux dans l’étude des marchés d’énergie. Je trouve un article par Katić et al. (2018[1]). Ils ont utilisé les réseaux neuronaux pour étudier les schémas de comportement d’utilisateurs des systèmes de chauffage. Ce que je veux comprendre avant tout c’est le lien entre les données empiriques et l’application du réseau neuronal. Katic et al. avaient donc conduit une série de sessions expérimentales durant lesquelles deux femmes, indépendamment l’une de l’autre, avaient pour tâche de régler la température d’un poste de travail avec siège chauffant. Le réglage de la température était sujet uniquement à la subjective sensation de confort optimal. Chacune des deux femmes avait participé à 14 sessions expérimentales. Pendant chaque session, les chercheurs collectaient les données sur la température de la chaise ainsi que celle de toute la chambre de travail, l’humidité, la vitesse de circulation de l’air. Les mensurations correspondantes étaient faites chaque seconde et chaque session durait 4 heures avec une période initiale d’acclimatation d’environ 10 minutes. Chaque session était accompagnée d’une interview standardisée.

Katic et al. avaient utilisé le réseau neuronal du type NARX (ANG : AutoRegressive network with exogenous inputs), donc un réseau auto régressif avec entrée exogène des données. L’idée générale d’un tel modèle est que la valeur présente d’une variable dépend aussi bien de ses valeurs passées que des valeurs observées dans des variables exogènes. Le modèle général d’auto-régression assume que la valeur présente d’une variable, soit X_t, est la somme des deux composantes : une constante (c) et la moyenne pondérée des valeurs passées de la variable X, observées avec l’interférence du bruit blanc fait des variations aléatoires à impact prévisible. Des variables exogènes peuvent s’immiscer dans ce modèle général. Soit on ajoute la moyenne pondérée des valeurs passées des variables exogènes U, tout en gardant la constante dans l’équation ou bien… on remplace le terme constant avec cette moyenne pondérée des valeurs passées des variables exogènes U. Ci-dessous je donne une expression graphique de cette démarche.

Alors, Katic et al. avaient structurés leurs données en deux sous-ensembles. Treize session sur quatorze avaient été utilisées comme matériel d’entrainement pour le réseau neuronal. Les données d’une session choisie au hasard on servi comme base de prédiction proprement dite, donc le réseau était supposé apprendre avec 13 sessions et appliquer cet apprentissage à la quatorzième session.

J’ai trouvé un autre exemple d’application de cette logique, donc du modèle NARX, dans le business d’énergie. Boussaada et al. (2018[1]) démontrent l’application de NARX à la prédiction de la radiation solaire dans des installation photovoltaïques. L’avantage de cet article est une démonstration pas-à-pas de la façon de traduire la logique générale de NARX en la construction d’un réseau des perceptrons sigmoïdes à couches multiples. Cette traduction peut se faire suivant deux approches différentes : parallèle ou bien parallèle en série.

L’architecture parallèle en série, connue aussi comme boucle ouverte, assume que les données d’entrée du réseau comprennent les valeur réelles passées de toutes les variables, soit la variable à prédire et ces facteurs exogènes. Dans l’architecture parallèle, ou boucle fermée, au lieu des valeurs réelles de la variable à prédire, on nourrit les neurones avec les valeurs passées prédites de cette variable, donc les valeurs préalablement estimées. La boucle ouverte semble être plus avantageuse dans la phase d’apprentissage du réseau des perceptrons, pendant qu’une fois l’apprentissage effectué, il est apparemment plus utile de modifier l’architecture en une boucle fermée pour que le réseau fasse sa prédiction finale de la variable qui nous intéresse.

Je continue à vous fournir de la bonne science, presque neuve, juste un peu cabossée dans le processus de conception. Je vous rappelle que vous pouvez télécharger le business plan du projet BeFund (aussi accessible en version anglaise). Vous pouvez aussi télécharger mon livre intitulé “Capitalism and Political Power”. Je veux utiliser le financement participatif pour me donner une assise financière dans cet effort. Vous pouvez soutenir financièrement ma recherche, selon votre meilleur jugement, à travers mon compte PayPal. Vous pouvez aussi vous enregistrer comme mon patron sur mon compte Patreon . Si vous en faites ainsi, je vous serai reconnaissant pour m’indiquer deux trucs importants : quel genre de récompense attendez-vous en échange du patronage et quelles étapes souhaitiez-vous voir dans mon travail ?

 

[1] Boussaada, Z., Curea, O., Remaci, A., Camblong, H., & Mrabet Bellaaj, N. (2018). A Nonlinear Autoregressive Exogenous (NARX) Neural Network Model for the Prediction of the Daily Direct Solar Radiation. Energies, 11(3), 620

[1] Katić, K., Li, R., Verhaart, J., & Zeiler, W. (2018). Neural network based predictive control of personalized heating systems. Energy and Buildings, 174, 199-213.