Weight Sparsity Complements Activity Sparsity in Neuromorphic Language Models

Rishav Mukherji; Mark Schöne; Khaleelulla Khan Nazeer; Christian Mayr; David Kappel; Anand Subramoney

doi:10.48550/arXiv.2405.00433

Weight Sparsity Complements Activity Sparsity in Neuromorphic Language Models

Publikation: Vorabdruck/Dokumentation/Bericht › Vorabdruck (Preprint)

Beitragende

Rishav Mukherji - (Autor:in)
Mark Schöne - , Professur für Hochparallele VLSI-Systeme und Neuromikroelektronik (Autor:in)
Khaleelulla Khan Nazeer - , Professur für Hochparallele VLSI-Systeme und Neuromikroelektronik (Autor:in)
Christian Mayr - , Professur für Hochparallele VLSI-Systeme und Neuromikroelektronik, Exzellenzcluster CeTI: Zentrum für Taktiles Internet, Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI Dresden) (Autor:in)
David Kappel - (Autor:in)
Anand Subramoney - (Autor:in)

Details

Originalsprache	Englisch
Publikationsstatus	Veröffentlicht - 2024

No renderer: customAssociatesEventsRenderPortal,dk.atira.pure.api.shared.model.researchoutput.WorkingPaper

Externe IDs

ORCID	/0000-0001-8525-8702/work/168206516

Verknüpfte Inhalte

Veröffentlichungen

Weight Sparsity Complements Activity Sparsity in Neuromorphic Language Models

Mukherji, R., Schone, M., Nazeer, K. K., Mayr, C., Kappel, D. & Subramoney, A., 2 Dez. 2024, (Elektronische Veröffentlichung vor Drucklegung) Proceedings - 2024 International Conference on Neuromorphic Systems, ICONS 2024. Institute of Electrical and Electronics Engineers (IEEE), S. 132-139 8 S.

Publikation: Beitrag in Buch/Konferenzbericht/Sammelband/Gutachten › Beitrag in Konferenzband › Beigetragen › Begutachtung

Alle Veröffentlichungen ansehen (1)

Forschungsportal der TU Dresden

Beitragende

Details

Externe IDs

Verknüpfte Inhalte