FL-NAS: Towards Fairness of NAS for Resource Constrained Devices via Large Language Models

本文是LLM系列文章，针对《FL-NAS: Towards Fairness of NAS for Resource Constrained Devices via Large Language Models》的翻译。

摘要

神经架构搜索（NAS）已成为行业中自动化各种应用程序的深度神经网络设计的有效工具，尤其是那些由计算资源有限的移动和边缘设备驱动的应用程序。新兴的大型语言模型（LLM）由于其强大的能力，最近也被纳入了NAS，并显示出一些有希望的结果。本文通过同时考虑三个重要的设计指标，即模型准确性、公平性和硬件部署效率，在这个方向上进行了进一步的探索。在本文中，我们提出了一种新的基于LLM的NAS框架FL-NAS，并通过实验表明，FL-NAS确实可以找到高性能的DNN，在几乎所有的设计考虑中都以数量级的优势击败了最先进的DNN模型。

1 引言

2 背景和动机

3 FL-NAS设计细节

4 实验结果

5 结论

本文提出了一种新的基于LLM的NAS框架FL-NAS，该框架在设计新的DNN模型时可以灵活地考虑各种设计指标。我们首次证明，FL-NAS可以执行高