Pour les cas d'utilisation qui bénéficieraient de la possibilité d'exécuter et de contrôler les exécutions d'un modèle AnyLogic localement dans un script Python, à savoir pour l'entraînement d'une politique d'apprentissage par renforcement, la bibliothèque Alpyne peut être utilisée.
Pour préparer un modèle AnyLogic à être utilisé dans ce contexte, il suffit de créer et de définir un expériment d'apprentissage par renforcement et de créer des points de décision auxquels une action est souhaitée d’être entreprise. Après avoir installé la bibliothèque Alpyne dans l'environnement Python de votre choix, vous pouvez prendre le modèle exporté à partir de l'expérience d'apprentissage par renforcement et créer de nouvelles exécutions avec la configuration souhaitée, interroger l'état du modèle, entreprendre des actions et récupérer des sorties, le tout à partir de votre environnement Python.
Notez qu'en raison de la gamme de bibliothèques et de techniques utilisables pour les politiques d'entraînement, Alpyne se concentre sur l'utilisation du modèle en dehors d'AnyLogic. Pour interroger les politiques entraînées à l'intérieur de votre modèle AnyLogic, vous devez disposer d'une implémentation adaptée à la façon dont il a été formé.
L'utilisation est disponible pour n'importe quelle édition d'AnyLogic (Personal Learning Edition, University ou Professional), bien que toutes les limitations s'appliquent toujours, et est compatible avec Python 3.10 ou supérieur.
La société AnyLogic a développé Alpyne en tant que bibliothèque tierce qui est un outil de connectivité gratuit et facultatif, sans obligation de fournir un support officiel ou une promesse de compatibilité de quelque nature que ce soit. Les utilisateurs de la bibliothèque peuvent poser des questions ou fournir des commentaires dans les onglets Problème ou Discussion de la page GitHub.
Les exemples ci-dessous illustrent une gamme de sujets et d'options de mise en œuvre différents. Le modèle/les scripts sources et d'autres informations sur chacun d'entre eux peuvent être téléchargés à partir du référentiel GitHub.
Il s'agit d'un modèle de jouet utile pour obtenir une première compréhension d'Alpyne. Il représente un agent dans une grille 8x8 où il essaie d'atteindre une seule case « but » tout en évitant un certain nombre d'espaces « trous ».
Les scripts Python fournis vous permettent de prendre le contrôle des mouvements de l'agent ou d'entraîner une politique simple à l'aide de Q-learning (c'est-à-dire pas de réseaux neuronaux). La politique résultante est enregistrée sous la forme d'un simple fichier JSON, que le modèle est configuré pour pouvoir analyser et exécuter.
Il s'agit d'une version modifiée du modèle dans le référentiel intégré avec le même nom de base. Il s'agit d'un seul entrepôt dans une chaîne d'approvisionnement avec un stock consommé en continu (exogène et variable) ; La vitesse à laquelle il est réapprovisionné est contrôlable, les modifications prenant effet après un certain décalage.
Le script Python fourni entraîne un algorithme d'apprentissage par renforcement pour faire varier le taux de réapprovisionnement de sorte que le stock soit maintenu à un niveau équilibré, évitant ainsi les ruptures de stock et les surstocks. Pour charger la politique entraînée dans le modèle d'origine, la bibliothèque Pypeline est utilisée.
Il s’agit d’une version modifiée du modèle du dépôt intégré portant le même nom de base. Il représente un atelier simplifié où chaque produit entrant saisit d’abord une unité de la ressource A, puis une unité de la ressource B, est ensuite traité par une machine, libère A, est transporté vers la sortie, puis libère B juste avant de sortir. Les files d’attente associées à chaque ressource ont une capacité limitée ; si celle-ci est dépassée, la simulation s’arrête prématurément, comme si le système avait dépassé sa capacité.
Le modèle par défaut comporte une expérience d'optimisation destinée à trouver, pour un taux d'arrivée fixe, l'ensemble optimal de paramètres pour minimiser le coût moyen par produit. Alpyne est utilisé pour entraîner une politique d'apprentissage par renforcement afin de définir de manière optimale les paramètres de n'importe quel taux d'arrivée.
Il s'agit d'une version modifiée de l'exemple « Border Checkpoint » fourni par AnyLogic. Il s'agit du processus de contrôle des passeports et d'inspection des véhicules au passage d'une frontière internationale. Le modèle est configuré pour permettre de remplacer la planification du nombre d'inspecteurs de voitures et d'autobus (deux pools de ressources) pendant la durée du modèle.
Les scripts Python cherchent à trouver le nombre optimal de chaque type d'inspecteur pour chacune des trois équipes de la planification, définie dans un fichier Excel local. La stratégie utilise l'optimisation bayésienne pour l'efficacité de ses échantillons.
La simulation AnyLogic est la plateforme de formation et de test de l'IA en entreprise. Avec la simulation à usage général AnyLogic, vous pouvez construire des environnements virtuels détaillés et robustes pour l'entraînement et le test de vos modèles d'IA.
Pour en savoir plus sur ce puissant outil d'apprentissage automatique, consultez notre pack d'e-mails et notre livre blanc sur l'IA !
