Parlons Futur 19/11/2019 : Les conséquences inattendues des voitures autonomes ; Algos copiant l'évolution biologique : la clef de l'intelligence artificielle de niveau humain ? ; Comment Tokyo a su contenir la hausse des loyers et coûts de l'immobilier

Les algorithmes qui copient l'évolution biologique pourraient bien être la clef de l'intelligence artificielle de niveau humain : petit explicatif simplifié des tout derniers travaux (Quantamagazine)

• En bref :
  • Ces algorithmes s'améliorent version après version : suite à des modifications hasardeuses (l'équivalent des mutations), seules les plus adaptées sont retenues (sélection)
  • La clef de ces algos évolutifs pour faire mieux que le "deep learning" et "reinforcement learning" qui ont la cote en ce moment :
    • Instead of constantly prioritizing one overall best solution, evolutionary algorithms maintain a diverse set of vibrant niches, any one of which could contribute a winner. And the best solution might descend from a lineage that has hopped between niches.
  • Ces algos font mieux que les meilleurs algos jusque-là utilisant le deep leanring ou que les humains, à certaines tâches, comme des jeux vidéos, notamment le jeu Montezuma’s Revenge
• "Evolutionary algorithms" have been around for a long time.
  • Traditionally, they’ve been used to solve specific problems. In each generation, the solutions that perform best on some metric — the ability to control a two-legged robot, say — are selected and produce offspring (produise une descendance).
  • While these algorithms have seen some successes, they can be more computationally intensive than other approaches such as “deep learning,” which has exploded in popularity in recent years.
• Kenneth Stanley, a computer scientist at the University of Central Florida, is a pioneer in a field of artificial intelligence called neuroevolution, which co-opts the principles of biological evolution to design smarter algorithms.
• The steppingstone principle goes beyond traditional evolutionary approaches. Instead of optimizing for a specific goal, it embraces creative exploration of all possible solutions. 
• By doing so, it has paid off with groundbreaking results. Earlier this year, one system based on the steppingstone principle mastered 2 video games that had stumped popular machine learning methods (stump : poser une colle)
• The steppingstone’s potential can be seen by analogy with biological evolution. In nature, the tree of life has no overarching goal, and features used for one function might find themselves enlisted for something completely different. Feathers, for example, likely evolved for insulation and only later became handy for flight
• Biological evolution is also the only system to produce human intelligence, which is the ultimate dream of many AI researchers.
• Because of biology’s track record, Stanley and others have come to believe that if we want algorithms that can navigate the physical and social world as easily as we can — or better! — we need to imitate nature’s tactics, instead of hard-coding the rules of reasoning, or having computers learn to score highly on specific performance metrics, they argue
• Make algorithms prioritize novelty or interestingness instead of the ability to walk or talk. They may discover an indirect path, a set of steppingstones, and wind up walking and talking better than if they’d sought those skills directly.
• In one test :
  •  they placed virtual wheeled robots in a maze and evolved the algorithms controlling them, hoping one would find a path to the exit. They ran the evolution from scratch 40 times.
  • A comparison program, in which robots were selected for how close they came to the exit, evolved a winning robot only 3 out of 40 times.
  • Novelty search, which completely ignored how close each bot was to the exit, succeeded 39 times.
  • It worked because the bots managed to avoid dead ends. Rather than facing the exit and beating their heads against the wall, they explored unfamiliar territory, found workarounds, and won by accident.
  • “Novelty search asked what happens when we don’t have an objective.”
• Once Stanley had made his point that the pursuit of objectives can be a hindrance to reaching those objectives, he looked for clever ways to combine novelty search and specific goals.
• That led him and Lehman to create a system that mirrors nature’s evolutionary niches. In this approach, algorithms compete only against others that are similar to them. Just as worms don’t compete with whales, the system maintains separate algorithmic niches from which a variety of promising approaches can emerge.
• Such evolutionary algorithms with localized competition have shown proficiency at processing pixels, controlling a robot arm, and helping a six-legged robot quickly adapt its gait (démarche) after losing a limb (membre), the way an animal would.
• A key element of these algorithms is that they foster steppingstones : Instead of constantly prioritizing one overall best solution, they maintain a diverse set of vibrant niches, any one of which could contribute a winner. And the best solution might descend from a lineage that has hopped between niches.
• We evolved from flatworms, which were not especially intelligent but did have bilateral symmetry. “It’s totally unclear that the discovery of bilateral symmetry had anything to do with intelligence, let alone with Shakespeare,” Stanley said, “but it does.”
• Reinforcement learning (apprentissage par renforcement où l'algo est récompensé/pénalisé s'il se rapproche/s'éloigne de l'objectif) can get stuck in a deadend. Sparse or infrequent rewards don’t give algorithms enough feedback to enable them to proceed toward their goal. Deceptive rewards — awarded for short-term gains that hinder long-term progress — trap algorithms in dead ends. So while reinforcement learning can beat humans at Space Invaders or Pong — games with frequent points and clear goals — they’ve fallen flat in other classic games that lack those features.
• Within the past year, AI based on the steppingstone principle finally managed to crack a number of long-standing challenges in the field.
• In the game Montezuma’s Revenge, Panama Joe navigates from room to room in an underground labyrinth, collecting keys to open doors while avoiding enemies and obstacles like snakes and fire pits.
  • To beat the game, 5 scientists working at Uber AI Labs, developed a system where Panama Joe essentially wanders around and randomly attempts various actions.
  • Each time he reaches a new game state — a new location with a new set of possessions — he files it away in his memory, along with the set of actions he took to get there.
  • If he later finds a faster path to that state, it replaces the old memory.
  • During training, Panama Joe repeatedly picks one of those stored states, explores randomly for a bit, and adds to his memory any new states he finds.
  • Eventually one of those states is the state of winning the game. And Panama Joe has in his memory all the actions he took to get there.
  • He’s done it with no neural network or reinforcement learning — no rewards for collecting keys or nearing the labyrinth’s end — just random exploration and a clever way to collect and connect steppingstones.
  • This approach managed to beat not only the best algorithms but also the human world record for the game.
• AlphaStar which defeated the best players at Starcraft demonstrates one of the main uses of evolutionary algorithms: maintaining a population of different solutions.
• Another recent DeepMind project shows the other use of evolutionary algorithms : optimizing a single solution. Working with Waymo, Alphabet’s autonomous car project, the team evolved algorithms for identifying pedestrians. To avoid getting stuck with an approach that works fairly well, but that isn’t the best possible strategy, they maintained “niches” or subpopulations, so that novel solutions would have time to develop before being crushed by the established top performers.
• All of the algorithms discussed so far are limited in their creativity. AlphaStar can only ever come up with new StarCraft II strategies. Novelty search can find novelty within only one domain at a time — solving a maze or walking a robot.
• Biological evolution, on the other hand, produces endless novelty. We have bacteria and kelp (algue) and birds and people. That’s because solutions evolve, but so do problems. 
  • The giraffe is a response to the problem of the tree.
• Human innovation proceeds likewise. We create problems for ourselves — could we put a person on the moon? — and then solve them.
• In a recent paper, Clune argues that open-ended discovery is likely the fastest path toward artificial general intelligence — machines with nearly all the capabilities of humans.
• Most of the AI field is focused on manually designing all the building blocks of an intelligent machine, such as different types of neural network architectures and learning processes. But it’s unclear how these might eventually get bundled together into a general intelligence.
• Instead, Clune thinks more attention should be paid to AI that designs AI. Algorithms will design or evolve both the neural networks and the environments in which they learn
• Such open-ended exploration might lead to human-level intelligence via paths we never would have anticipated — or a variety of alien intelligences that could teach us a lot about intelligence in general. “

Comment Tokyo a su contenir la hausse des loyers et coûts de l'immobilier

• (résumé d'un très bon fil Twitter)
• Dans l'esprit des gens, longtemps, le Japon en général et Tokyo en particulier, c'était l'immobilier le plus petit et le plus cher du monde.
• Non, la modération des prix de l'immobilier au Japon n'est pas liée à la démographie pantelante du Japon.
• Ainsi, de 1988 à 2014, le nombre de foyers à Tokyo est passé de 4,4M à 6,5M. 47% d'augmentation. Mais le nombre de logements a cru encore plus vite, +54%. Il y a 900 000 logements de plus que de foyers.
• Le Financial Times note qu'entre 1995 and 2015, dans l'arrondissement central de Tokyo, Minato-ku, la population a augmenté beaucoup plus vite (+60%) qu'à San Francisco ou à Londres, mais que les prix y ont connu une croissance bien plus faible (+50% environ sur la période pour Minato-ku, contre +230% pour San Francisco et +450% pour Londres
• Il est intéressant de noter qu'à Tokyo, le taux de croissance du parc de logement est resté supérieur à celui de 3 autres grandes mégapoles de référence (Paris, Londres, NY), même après l'explosion de la bulle. Et ce alors même que le foncier disponible à Tokyo est quasi de 0.
• Pourquoi ce dynamisme de la construction ? En 1992, l'explosion de la bulle immobilière avait mis le pays à genoux, les banques japonaises ne survivaient que grâce à des interventions étatiques massives... Qui ont entrainé l'économie dans une longue phase de stagnation.
• Les économistes locaux ont immédiatement diagnostiqué que des réglementations trop contraignantes adoptées après guerre, sur un modèle dirigiste, avaient contribué à la formation de la bulle.
• Et le gouvt japonais de l'époque... les a écoutés, et a considérablement libéralisé le droit de la construction. Notamment en restaurant le droit de propriété: un propriétaire qui respecte quelques règles "de prospect" simples (comme dans notre code civil, au début) peut presque faire ce qu'il veut. S'il est zoné en "résidentiel", aucun voisin ne peut s'opposer, par exemple, à ce qu'il démolisse sa maison et construise un immeuble, sous réserve qu'il respecte les normes anti sismiques.
• Et les zonages (résidentiels ou autres) sont bien plus souples que chez nous: la plupart des zones sont en fait "mixed use", vous pouvez ouvrir une petite entreprise dans un quartier résidentiel si vous vous engagez à respecter un niveau de nuisance prédéfini.
• Rezoner un terrain si nécessaire est assez facile, et surtout, les pouvoirs locaux doivent avoir de très bonnes raisons techniques de s'y opposer, ne peuvent invoquer des arguments "frivoles" ou politiquement en vogue.
• Cette évolution législative a été facilitée parce que les japonais ont un rapport au logement différent du notre. Là-bas, traditionnellement, les logements sont détruits au bout de 15 à 25 ans. Pourquoi ?
• Parce que depuis longtemps, les japonais savent qu'un tremblement de terre peut réduire leur capital à néant. Alors ils envisagent le logement comme un bien de conso à durée de vie longue et non comme un réservoir de valeur.
• Et là bas, détruire un vieux logement pour en faire un nouveau plus grand, avec de meilleurs normes sismiques, et de meilleures prestations, est une forme normale de parcours ascensionnel dans le logement.
• A Tokyo, on détruit en moyenne 1 logement ancien pour 4 à 5 nouveaux logements construits. Bien obligé: zéro foncier disponible.
• Pour les japonais, la bulle de 1990 ne fut pas perçue comme une bénédiction qui gonflait artificiellement leur patrimoine, mais comme un obstacle à l'ascension à un meilleur confort de logement.
• Alors bon, le système japonais n'est pas sans défaut. Son code de l'urbanisme très centralisé tend à "uniformiser" l'apparence des villes sans respect pour leurs spécificités historiques.
• De nombreuses villes de Middle America, dont de très grandes métropoles (Houston, DFW) fonctionnent un peu comme Tokyo, malgré une géographie différente (bien plus d'espace).
• Ainsi, à Houston, il est courant de détruire des maisons, y compris de riches ou de la classe moyenne supérieure d'il y a 20 ans, pour y construire des ensembles middle class ou même de gamme inférieure plus denses, même si on n'y construit peu en hauteur (pas besoin).
• Et du coup, dans ces villes, les prix restent sages alors que la population explose, alors que dans d'autres (en Californie notamment), les prix s'envolent dès que l'économie repart, malgré des croissances de population bien plus faibles.