Optimisation multitâche - Multitask optimization

L'optimisation multi-tâches est un paradigme dans la littérature sur l'optimisation qui se concentre sur la résolution simultanée de plusieurs tâches autonomes. Le paradigme a été inspiré par les concepts bien établis de l' apprentissage par transfert et de l' apprentissage multi-tâches dans l'analyse prédictive .

La motivation principale derrière l'optimisation multi-tâches est que si les tâches d'optimisation sont liées les unes aux autres en termes de leurs solutions optimales ou des caractéristiques générales de leurs paysages fonctionnels, la progression de la recherche peut être transférée pour accélérer considérablement la recherche de l'autre.

Le succès du paradigme ne se limite pas nécessairement à des transferts de connaissances unidirectionnels de tâches plus simples à plus complexes. En pratique, une tentative consiste à résoudre intentionnellement une tâche plus difficile qui peut involontairement résoudre plusieurs problèmes plus petits.

Méthodes

Il existe deux approches courantes pour l'optimisation multi-tâches: l'optimisation bayésienne et le calcul évolutif .

Optimisation bayésienne multi-tâches

L'optimisation bayésienne multitâche est une approche moderne basée sur un modèle qui exploite le concept de transfert de connaissances pour accélérer le processus d' optimisation automatique des hyperparamètres des algorithmes d'apprentissage automatique. La méthode construit un modèle de processus gaussien multi-tâches sur les données issues de différentes recherches progressant en tandem. Les dépendances inter-tâches capturées sont ensuite utilisées pour mieux informer l'échantillonnage ultérieur de solutions candidates dans les espaces de recherche respectifs.

Multitâche évolutif

Le multitâche évolutif a été exploré comme un moyen d'exploiter le parallélisme implicite des algorithmes de recherche basés sur la population pour faire progresser simultanément plusieurs tâches d'optimisation distinctes. En cartographiant toutes les tâches dans un espace de recherche unifié, la population en constante évolution de solutions candidates peut exploiter les relations cachées entre elles grâce à un transfert génétique continu. Ceci est induit lorsque les solutions associées à différentes tâches se croisent. Récemment, des modes de transfert de connaissances différents du croisement direct de solutions ont été explorés.

Applications

Les algorithmes d'optimisation multi-tâches couvrent un large éventail d'applications du monde réel. Des études récentes mettent en évidence le potentiel d'accélération de l'optimisation des paramètres de conception technique en réalisant conjointement des conceptions connexes de manière multi-tâches. Dans l'apprentissage automatique , le transfert de fonctionnalités optimisées entre des ensembles de données connexes peut améliorer l'efficacité du processus de formation et améliorer la capacité de généralisation des modèles appris. En outre, le concept de multi-tâches a conduit à des progrès dans l' optimisation automatique des hyperparamètres des modèles d'apprentissage automatique et de l' apprentissage d'ensemble .

Des applications ont également été signalées dans le cloud computing, avec des développements futurs orientés vers des services d'optimisation à la demande basés sur le cloud qui peuvent répondre à plusieurs clients simultanément. Des travaux récents ont également montré des applications en chimie.

Voir également

Les références

  1. ^ un b Gupta, A., Ong, YS et Feng, L. (2018). Un aperçu de l'optimisation des transferts: parce que l'expérience est le meilleur enseignant . IEEE Transactions on Emerging Topics in Computational Intelligence, 2 (1), 51-64.
  2. ^ A b c Gupta, A., Ong, YS, et Feng, L. (2016). Évolution multifactorielle: vers le multitâche évolutif. Transactions IEEE sur le calcul évolutif, 20 (3), 343-357.
  3. ^ Pan, SJ et Yang, Q. (2010). Une enquête sur l'apprentissage par transfert . Transactions IEEE sur l'ingénierie des connaissances et des données, 22 (10), 1345-1359.}
  4. ^ Caruana, R., "Apprentissage multitâche", pp. 95-134 dans Pratt & Thrun 1998
  5. ^ Cheng, MY, Gupta, A., Ong, YS et Ni, ZW (2017). Multitâche coévolutionnaire pour une optimisation globale simultanée: avec des études de cas dans la conception technique complexe . Applications techniques de l'intelligence artificielle, 64, 13-24.}
  6. ^ Cabi, S., Colmenarejo, SG, Hoffman, MW, Denil, M., Wang, Z., et De Freitas, N. (2017). L'agent involontaire intentionnel: apprendre à résoudre simultanément de nombreuses tâches de contrôle continu . préimpression arXiv arXiv: 1707.03300.
  7. ^ Swersky, K., Snoek, J., et Adams, RP (2013). Optimisation bayésienne multi-tâches . Progrès des systèmes de traitement de l'information neuronale (pp. 2004-2012).
  8. ^ Bonilla, EV, Chai, KM et Williams, C. (2008). Prédiction de processus gaussien multi-tâches . Progrès des systèmes de traitement de l'information neuronale (pp. 153-160).
  9. ^ un b Ong, YS et Gupta, A. (2016). Multitâche évolutif: une vision informatique du multitâche cognitif . Calcul cognitif, 8 (2), 125-142.
  10. ^ Feng, L., Zhou, L., Zhong, J., Gupta, A., Ong, YS, Tan, KC et Qin, AK (2018). Multitâche évolutif via l'autoencodage explicite . Transactions IEEE sur la cybernétique, (99).
  11. ^ Chandra, R., Gupta, A., Ong, YS et Goh, CK (2016, octobre). Apprentissage évolutif multi-tâches pour la formation modulaire des réseaux de neurones à action directe . Dans International Conference on Neural Information Processing (pp. 37-46). Springer, Cham.
  12. ^ Yosinski, J., Clune, J., Bengio, Y., et Lipson, H. (2014). Dans quelle mesure les fonctionnalités des réseaux de neurones profonds sont-elles transférables? In Advances in Neural Information Processing Systems (pp. 3320-3328).
  13. ^ Wen, YW et Ting, CK (2016, juillet). Apprentissage d'un ensemble d'arbres de décision grâce à une programmation génétique multifactorielle . In Evolutionary Computation (CEC), 2016 IEEE Congress on (pp.5293-5300). IEEE.
  14. ^ Zhang, B., Qin, AK et Sellis, T. (2018, juillet). Génération de sous-espaces de caractéristiques évolutives pour la classification d'ensemble . In Proceedings of the Genetic and Evolutionary Computation Conference (pp. 577-584). ACM.
  15. ^ Bao, L., Qi, Y., Shen, M., Bu, X., Yu, J., Li, Q., et Chen, P. (2018, juin). Un algorithme évolutif multitâche pour la composition de services de cloud computing . Dans World Congress on Services (pp. 130-144). Springer, Cham.
  16. ^ Tang, J., Chen, Y., Deng, Z., Xiang, Y., et Joy, CP (2018). Une approche basée sur le groupe pour améliorer l'algorithme évolutif multifactoriel . Dans IJCAI (pp. 3870-3876).
  17. ^ Felton, K., Wigh, D. et Lapkin A. (2021, avril). Optimisation bayésienne multi-tâches des réactions chimiques . ChemRxiv.