supervie

supervie

notes et liens sur les réseaux de neurones et le deep learning

 

 

 

Le blog de synaptic d'où est tiré la vidéo montrée ici.

 

      https://github.com/cazala/synaptic/wiki

 

 

Génération de texte par réseaux de neurones récursifs

 

http://machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Sutskever_524.pdf

 

"

and to our surprise, the text generated by the

MRNNs we trained exhibited a significant amount of interesting

and high-level linguistic structure, featuring a large

vocabulary, a considerable amount of grammatical structure,

and a wide variety of highly plausible proper names

that were not in the training set. Mastering the vocabulary

of English did not seem to be a problem for the MRNN: it

generated very few uncapitalized non-words, and those that

it did generate were often very plausible, like “homosomalist”

or “un-ameliary”. Of particular interest was the fact

that the MRNN learned to balance parentheses and quotes

over long distances (e.g., 30 characters). A characterlevel

N-gram language model could only do this by modeling

31-grams, and neither Memoizer nor PAQ are representationally

capable of balancing parentheses because

of their need for exact context matches. In contrast, the

MRNN’s nonlinear dynamics enables it to extract higher

level “knowledge” from the text, and there are no obvious

limits to its representational power because of the ability of

its hidden states to perform general computation.

 

 So, the article mentions some interesting productions of the MRNN after this one have done some wikipedia learning, such as :

 

" "

The MRNN was initialized with the

phrase “The meaning of life is”:

The meaning of life is the tradition of the ancient human reproduction:

it is less favorable to the good boy for when to remove

her bigger. In the show’s agreement unanimously resurfaced. The

wild pasteured with consistent street forests were incorporated

by the 15th century BE. In 1996 the primary rapford undergoes

an effort that the reserve conditioning, written into Jewish cities,

sleepers to incorporate the .St Eurasia that activates the population.

Mar??a Nationale, Kelli, Zedlat-Dukastoe, Florendon, Ptu’s

thought is. To adapt in most parts of North America, the dynamic

fairy Dan please believes, the free speech are much related to the

 

 " "

 

ce qui vaut bien une petite traduction via google à l'arrache, soit :

 
Le sens de la vie est la tradition de l'ancienne reproduction humaine:

il est moins favorable au bon garçon pour quand retirer

elle est plus grande. Dans l'accord du spectacle refait à l'unanimité. le

pasteurés sauvages avec des forêts de rue cohérentes ont été incorporés

par le 15ème siècle BE. En 1996, le rapford primaire subit

un effort que la réserve conditionné, écrit dans les villes juives,

dormeurs pour incorporer le .St Eurasia qui active la population.

Mar? A Nationale, Kelli, Zedlat-Dukastoe, Florendon, Ptu

la pensée est. Pour s'adapter dans la plupart des régions d'Amérique du Nord, la dynamique

fée Dan s'il vous plaît croit, la liberté d'expression sont beaucoup liés à la

 

Intelligence artificielle ? Non, un réseau de neurones d'un type particulier, qui ne comprend évidemment pas le texte qu'il génère..

Surréaliste et marrant !

 Cool

 

 


 

 

 

Catégorisation de mots

 

http://caza.la/synaptic/#/self-organizing-map 

 

 

Théorie des graphes et algorithmique, un cours très intéressant, mais accessible.

 

http://www.unit.eu/cours/EnsROtice/module_avance_thg_voo6/co/voisintro.html

 

Le lien ouvre sur une page qui présente également un "algorithme" , écrit en "pseudo-code". Cela veut dire que la démarche générale est "assez détaillée", mais que aucun langage de programmation que ce soit n'est encore bien défini.

 

Nous pourrons par la suite réaliser le code Javascript qui implémente la suite d'opérations décrites par les auteurs de l'article dans le "pseudo code" : la méthode de plus forte pente, et voir ce que cela donne, par exemple voir à ce sujet l'article "kit de survie pour la programmation".

 

Vous remarquerez au passage des instructions courantes en programmation , dans le pseudo code: TANT QUE, SI, FAIRE, FIN FAIRE.

Nous utiliserons les commandes réelles du javascript à cette occasion:

 

  • while (expression_est_vraie) , qui correspondra au "TANT QUE"
  • if ( expression est vraie ou fausse ) pour le "SI"
  • des accolades {  et } délimitant un bloc d'instructions a FAIRE/FINFAIRE

Ceci s'appelle en programmation les STRUCTURES DE CONTROLE.

 

Un exemple de boucle (en javascript) qui ne s'arrête jamais  : structure de contrôle utilisant le mot clé while.

 

     while ( 1 )  {

                

                    document.write( "je n'arrête jamais , moi ");

 

     }

 

En effet, tant que 1 est 1, alors 1 est 1. Par ailleurs, il ne se passe RIEN dans le programme qui puisse faire que 1 ne soie plus égal à 1, donc.. ça va boucler jusqu'à ce que vous arretiez d'envoyer du courant électrique dans la tour-support-de-pot-de-fleurs qui vous sert d'ordi :) ha ha

 

L'expression entre parenthèses qui est le test d'arrêt de l'instruction while est toujours vraie (dans cet exemple, évidemment ).

 

 

Page en construction

 

Je me met de coté cet excellent cours dans l'espoir d'y comprendre un jour quelque chose, mais enfin je suis pas largué non plus, rapport au "modèle Janus" de jpp, au moins il faut essayer de comprendre les bases. Petit a petit..

 

http://www2.iap.fr/users/blanchet/images/coursRG.pdf

 

(surtout qu'il est vâââchement biieeeen leu cours, là)

 

 



04/10/2017
0 Poster un commentaire