来源：新智元
前段时间，浙大&微软发布了一个大模型协作系统HuggingGPT直接爆火。
研究者提出了用ChatGPT作为控制器，连接HuggingFace社区中的各种AI模型，完成多模态复杂任务。
整个过程，只需要做的是：用自然语言将你的需求输出。
英伟达科学家称，这是我本周读到的最有意思的论文。它的思想非常接近我之前说的「EverythingApp」，即万物皆App，被AI直接读取信息。
上手体验
现在，HuggingGPT增加了Gradio演示。
项目地址：https://github.com/microsoft/JARVIS
有网友便上手体验了一番，先来「识别图上有几个人」？
HuggingGPT根据推理结果，得出图片中有2个人正在街道上行走。
V神：区块链最强大的特性之一便是可独立验证各个执行部分:8月17日，V神在其个人网站发布《区块链验证的哲学》文章称，区块链最强大的特性之一就是可以独立验证区块链执行的每个部分。即使大多数矿工（或PoS中的验证者）被攻击者接管，但如果该攻击者试图推送无效区块，网络也可以将直接拒绝这些区块。即使是当时未验证区块的那些用户，也可以（可能会自动）警告那些有嫌疑的用户，并实施检查，自动拒绝那些未遵循规则的区块。与此同时，V神还表示，验证对于用户主要有两大益处：1.最大程度地提高了节点可以准确确定并在规范链（社区认可的合法链）上发言的机会。2.证明链的有效性。[2020/8/18]
具体过程如下：
首先使用图像到文本模型nlpconnect/vit-gpt2-image-captioning进行图像描述，生成的文本「2个女人在有火车的街道上行走」。
接着，使用了目标检测模型facebook/detrresnet50来检测图片中的人数。模型检测出7个物体，2个人。
路透社：BTC为今年表现最强劲的资产之一:路透社今日发文称，比特币周一延续涨势，一度上涨4.4%至12424美元，为2019年7月以来的最高水平。自今年3月以来，比特币价格已上涨逾两倍。文章称，比特币今年已经飙升超过70%，成为表现最强劲的资产之一。文章还指出，全球各国央行大幅下调利率以及大规模的债券购买计划刺激了对比特币的需求。由于供应有上限，比特币被一些投资者视为一种对冲通胀的手段。[2020/8/18]
再使用视觉问题回答模型dandelin/vilt-b32-finetuned-vqa得出结果。最后，系统提供了详细的响应和用于解答问题的模型信息。
另外，让它理解「我爱你」这句话的情感，并将其翻译成泰米尔语。
HuggingGPT调用了以下模型：
首先，使用了模型「dslim/bert-base-NER」对文本「lloveyou」进行情感分类，是「浪漫」。
加密交易员：以未来价值计算资产的人是最强大的持有者:Glassnode研究顾问、加密货币交易员The Crypto Dog在推特上表示，最强大的持有者是那些以未来价值而不是当前价格计算资产的人。[2020/7/13]
然后，使用「ChatGPT」将文本翻译成泰米尔语，即「Nanunnaikadalikiren」。
在推理结果中没有生成的图片、音频或视频文件。
转录MP3文件时，HuggingGPT却失败了。网友表示，「不确定这是否是我的输入文件的问题。」
再来看看图像生成的能力。
输入「一只猫跳舞」图像上添加文字「ILOVEYOU」作为叠加层。
HuggingGPT首先使用了「runwayml/stable-diffusion-1-5」模型根据给定的文本生成「跳舞的猫」的图片。
然后，使用同一个模型根据给定的文本生成了「ILOVEYOU」的图片。
动态 | 以太坊区块链仍是现有最强大的智能合约平台:达令智库发布《以太坊2.0：从君士坦丁堡通往宁静的道路》研报。报告称，在君士坦丁堡硬分叉之后，新的ETH供应总量将从20300 ETH/天减少到13400/天，从每年740万ETH减少到490万。按照更改的奖励机制持续运行一段时间后，以太坊的通货膨胀率将从7.7%下降到4.8%。报告还称，以太坊仍然有着较高的网络使用率与活跃开发者，以太坊区块链仍是现有最强大的智能合约平台，市值前100的区块链项目中，绝大多数都基于以太坊网络搭建。[2019/1/14]
最后，将2个图片合并在一起，输出如下图：
贾维斯照进现实
项目公开没几天，贾维斯已经在GitHub上收获了12.5k星，以及811个fork。
研究者指出解决大型语言模型当前的问题，可能是迈向AGI的第一步，也是关键的一步。
CoinDesk主管：比特币将继续成为最强加密货币:据Express消息，Coindesk主管 Nolan Bauerle表示比特币一开始就是所有想法的来源，并且是世界上最强大、最安全、持续时间最长的区块链。尽管价格由于管制压制有所下滑，但仍在加密货币领域扮演着重要角色。另外，保卫民主基金会近日调查显示，比特币正在摆脱其吸引犯罪的恶名。[2018/4/27]
因为当前大型语言模型的技术仍然存在着一些缺陷，因此在构建AGI系统的道路上面临着一些紧迫的挑战。
为了处理复杂的人工智能任务，LLMs应该能够与外部模型协调，以利用它们的能力。
因此，关键点在于如何选择合适的中间件来桥接LLMs和AI模型。
在这篇研究论文中，研究者提出在HuggingGPT中语言是通用的接口。其工作流程主要分为四步：
论文地址：https://arxiv.org/pdf/2303.17580.pdf
首先是任务规划，ChatGPT解析用户请求，将其分解为多个任务，并根据其知识规划任务顺序和依赖关系。
接着，进行模型选择。LLM根据HuggingFace中的模型描述将解析后的任务分配给专家模型。
然后执行任务。专家模型在推理端点上执行分配的任务，并将执行信息和推理结果记录到LLM中。
最后是响应生成。LLM总结执行过程日志和推理结果，并将摘要返回给用户。
假如给出这样一个请求：
请生成一个女孩正在看书的图片，她的姿势与example.jpg "/>中的男孩相同。然后请用你的声音描述新图片。
可以看到HuggingGPT是如何将它拆解为6个子任务，并分别选定模型执行得到最终结果的。
通过将AI模型描述纳入提示中，ChatGPT可以被视为管理人工智能模型的大脑。因此，这一方法可以让ChatGPT能够调用外部模型，来解决实际任务。
简单来讲，HuggingGPT是一个协作系统，并非是大模型。
它的作用就是连接ChatGPT和HuggingFace，进而处理不同模态的输入，并解决众多复杂的人工智能任务。
所以，HuggingFace社区中的每个AI模型，在HuggingGPT库中都有相应的模型描述，并将其融合到提示中以建立与ChatGPT的连接。
随后，HuggingGPT将ChatGPT作为大脑来确定问题的答案。
到目前为止，HuggingGPT已经围绕ChatGPT在HuggingFace上集成了数百个模型，涵盖了文本分类、目标检测、语义分割、图像生成、问答、文本到语音、文本到视频等24个任务。
实验结果证明，HuggingGPT可以在各种形式的复杂任务上表现出良好的性能。
网友热评
有网友称，HuggingGPT类似于微软此前提出的VisualChatGPT，似乎他们把最初的想法扩展到了一组庞大的预训练模型上。
VisualChatGPT是直接基于ChatGPT构建，并向其注入了许多可视化模型。文中提出了PromptManage。
在PM的帮助下，ChatGPT可以利用这些VFMs，并以迭代的方式接收其反馈，直到满足用户的要求或达到结束条件。
还有网友认为，这个想法确实与ChatGPT插件非常相似。以LLM为中心进行语义理解和任务规划，可以无限提升LLM的能力边界。通过将LLM与其他功能或领域专家相结合，我们可以创建更强大、更灵活的AI系统，能够更好地适应各种任务和需求。
这就是我一直以来对AGI的看法，人工智能模型能够理解复杂任务，然后将较小的任务分派给其他更专业的AI模型。
就像大脑一样，它也有不同的部分来完成特定的任务，听起来很符合逻辑。
参考资料：
https://twitter.com/1littlecoder/status/1644466883813408768
https://www.youtube.com/watch?v=3_5FRLYS-2A
https://huggingface.co/spaces/microsoft/HuggingGPT
中文推特：https://twitter.com/8BTC_OFFICIAL英文推特：https://twitter.com/btcinchinaDiscord社区：https://discord.gg/defidao电报频道：https://t.me/Mute_8btc电报社区：https://t.me/news_8btc
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。