还在手敲Requests代码与Json数据鏖战，是时候让MCP接管爬虫任务了

当传统爬虫在动态渲染的迷宫中举步维艰时，FireCrawl 已掀起智能革命浪潮。这款AI驱动的爬虫工具不仅解决了动态渲染、大规模抓取的技术痛点，更通过与AI模型的深度集成，开启了“数据采集-智能分析-决策执行”的闭环新时代。本文将以大模型和FireCrawl MCP相结合的案例，为你开启专属自己的AI Agent大门。

一、背景介绍

MCP 是 Model Context Protocol 的缩写，也就是模型上下文协议。

这是 Anthropic 所推动的一项开放标准，为大语言模型（LLMs）应用提供一个标准化的接口，使其能够连接和交互外部数据源和工具。它是为了克服 LLMs 应用仅依赖其训练数据的局限性，使其能够访问所需的上下文信息，并执行更广泛的任务。

该协议通过定义一套通用的规则和格式，使得 LLMs 应用可以在需要时动态地获取相关信息和执行操作，从而增强其功能和应用范围。

简单来说：

就是一个让 AI 大模型连接万物，理解和使用外部信息和工具的统一标准。

就好比你的电脑连接外部设备，一般通过 USB 接口这个标准一样。 AI 大模型想连接其它软件、工具，可以使用 MCP 这个标准。

举个例子：

比如你有一个很厉害的大模型，比如 ChatGPT，但它只能回答基于自己学过的知识（比如 2023 年之前的酒店和航班信息）。现在你想让它帮你规划下周去巴黎的行程，但它不知道最新的机票价格、酒店空房情况，也无法直接帮你订票。

这时候，可以通过 MCP 这个规范让 AI 大模型接入携程、高德地图等等软件（前提是这个软件支持通过 MCP 规范调用，有 MCP Server），这样它就能查实时数据，拉取最新的酒店价格和空房信息。调用支付接口订票，最后把结果整理成你能看懂的回答。

二、MCP 广场

中国第一 AI 开源社区魔搭（ModelScope）近期推出了一个 MCP 广场  🚀，火速上线了包含 1400+ 服务的 MCP 大本营。这个大本营目前有配套的保姆级调试工具和教程，手把手教你用 MCP 和大模型组 CP 开发，Agent 落地直接加速到飞起。

三、案例——接入FireCrawl

下面演示一下，如何使用 CherryStuido 客户端接入 FireCrawl （GitHub上斩获35.7K星的高质量爬虫项目）这个 MCP 服务。

1. 下载 CherryStuido

地址：Cherry Studio 官方网站 - 全能的AI助手

2. 配置魔搭模型服务

你需要前往如下地址去获取 ModelScope 魔搭平台的 API 密钥，然后把 API 密钥复制进去就好了。这样你就能在 CherryStuido 中调用魔搭中的模型服务了，支持 Qwen 、 DeepSeek 等开源大模型。

获取密钥：魔搭社区

记得需要将你的 ModelScope 和阿里云账号绑定，否则是没办法使用的。

3. 配置 MCP 服务器

1）直接把FireCrawl 配置到你要用的 Cherry Studio 中，下图环境变量中，打码的API Key 需要你去Firecrawl 官网注册一个。

获取密钥：Firecrawl

2）另外你也可以在魔搭 MCP 广场中创建一个 SSE URL，这样后面你使用其它非 Cherry Studio 的 MCP 客户端都能用了。

有了这个 sse 链接，在 Cherry Studio 中创建 MCP 服务器的时选择服务器发送事件（sse），把生成的 URL 填进去就行了。

这样你在 Cherry Studio  中就能使用这个 MCP 服务了。需要在对话框中开启你刚刚配置的 FireCrawl MCP 服务。

4. 结合测试

1）抓取豆瓣小说排行榜

我们使用DeepSeek并接入Firecrawl MCP服务

可以看到FireCrawl生成的爬取代码，等它完成爬取流程后，交给大模型分析并输出。

{
  "content": [
    {
      "type": "text",
      "text": "URL: https://m.douban.com/doulist/37533097/\nTitle: 豆瓣高分小说（9分以上，含9分） - 豆瓣\nDescription: 豆瓣高分小说（9分以上，含9分） · 红楼梦. 9.6. [清] 曹雪芹著/人民文学出版社/1996-12 · 三国演义. 9.5. 罗贯中/岳麓书社/1986-6-1 · 西游记. 9.3. 吴承恩/岳麓书社/1994-04."
    }
  ],
  "isError": false
}

{
  "content": [
    {
      "type": "text",
      "text": "[登录/注册](https://accounts.douban.com/passport/login?source=main)\n\n[下载豆瓣客户端](https://www.douban.com/doubanapp/app?channel=top-nav)\n\n[豆瓣 6.0 全新发布](https://www.douban.com/doubanapp/app?channel=qipao)×\n\n豆瓣\n\n扫码直接下载\n\n[iPhone](https://www.douban.com/doubanapp/redirect?channel=top-nav&direct_dl=1&download=iOS)· [Android](https://www.douban.com/doubanapp/redirect?channel=top-nav&direct_dl=1&download=Android)\n\n- [豆瓣](https://www.douban.com/)\n- [读书](https://book.douban.com/)\n- [电影](https://movie.douban.com/)\n- [音乐](https://music.douban.com/)\n- [同城](https://www.douban.com/location)\n- [小组](https://www.douban.com/group)\n- [阅读](https://read.douban.com/?dcs=top-nav&dcm=douban)\n- [FM](https://fm.douban.com/?from_=shire_top_nav)\n- [时间](https://time.douban.com/?dt_time_source=douban-web_top_nav)\n- [豆品](https://market.douban.com/?utm_campaign=douban_top_nav&utm_source=douban&utm_medium=pc_web)\n\n[豆瓣社区](https://www.douban.com/)\n\n搜索：搜索你感兴趣的内容和人...\n\n- [首页](https://www.douban.com/)\n- [浏览发现](https://www.douban.com/explore)\n- [话题广场\\\\\n![new](https://img3.doubanio.com/f/shire/e49eca1517424a941871a2667a8957fd6c72d632/pics/new_menu.gif)](https://www.douban.com/gallery)\n\n# 豆瓣高分小说（9分以上，含9分）\n\n![](https://img1.doubanio.com/dae/merged_cover/img_handler/doulist_cover/round_rec/37533097-20160106181439)\n\n[![罗姽](https://img1.doubanio.com/icon/u48833780-9.jpg)](https://www.douban.com/people/48833780/)\n\n来自: [罗姽\\\\\n(沈阳)](https://www.douban.com/people/48833780/)\n2015-02-12 19:41:52创建\n2016-01-06 18:14:39更新\n\n\n排列顺序：中国古代小说＞中国现当代小说＞外国小说。\n\n该序列只收小说。\n\n凡是本人读过的，会有几句评语。\n\n没有读过的，不加评语。\n\n一旦评分有变化，如果不能及时发现和修改，还请谅解。\n\n[推荐](https://www.douban.com/accounts/register?reason=collect)39人\n\n[关注](https://www.douban.com/doulist/37533097/?collect=yes&ck=None)[6856](https://www.douban.com/doulist/37533097/?type=followers#main) 人关注\n\n[全部(106)](https://www.douban.com/doulist/37533097/)\n\n[按添加顺序查看](https://www.douban.com/doulist/37533097/?sort=time&sub_type=)\n\n1\n\n来自：豆瓣读书\n\n\n[![](https://img1.doubanio.com/view/subject/l/public/s1070959.jpg)](https://book.douban.com/subject/1007305/)\n\n[红楼梦](https://book.douban.com/subject/1007305/)\n\n9.7(442679人评价)\n\n\n作者: \\[清\\] 曹雪芹 著 / 高鹗\n\n\n出版社: 人民文学出版社\n\n\n出版年: 1996-12\n\n\n> 评语：适合读一辈子的小说，不同年龄重读，都会有不同的感悟。\n\n2015-02-12 19:44:17赞(4)1回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n2\n\n来自：豆瓣读书\n\n\n[![](https://img2.doubanio.com/view/subject/l/public/s1661101.jpg)](https://book.douban.com/subject/1483894/)\n\n[三国演义](https://book.douban.com/subject/1483894/)\n\n9.5(20469人评价)\n\n\n作者: 罗贯中\n\n\n出版社: 岳麓书社\n\n\n出版年: 1986-6-1\n\n\n> 评语：一本充满了政治智慧和用兵诡计的史诗巨作。\n\n2015-02-12 19:46:35赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n3\n\n来自：豆瓣读书\n\n\n[![](https://img3.doubanio.com/view/subject/l/public/s9125702.jpg)](https://book.douban.com/subject/1061803/)\n\n[西游记](https://book.douban.com/subject/1061803/)\n\n9.3(17640人评价)\n\n\n作者: 吴承恩\n\n\n出版社: 岳麓书社\n\n\n出版年: 1994-04\n\n\n> 评语：中国古代的魔幻小说。\n\n2015-02-12 19:47:27赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n4\n\n来自：豆瓣读书\n\n\n[![](https://img9.doubanio.com/view/subject/l/public/s34863764.jpg)](https://book.douban.com/subject/3810699/)\n\n[水浒传](https://book.douban.com/subject/3810699/)\n\n9.0(7618人评价)\n\n\n作者: 施耐庵 / 罗贯中 / 金圣叹，李卓吾<点评>\n\n\n出版社: 中华书局\n\n\n出版年: 2009-06\n\n\n> 评语：四大名著里最不喜欢这本，不予置评。\n\n2015-02-12 19:49:38赞(2)1回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n5\n\n来自：豆瓣读书\n\n\n[![](https://img3.doubanio.com/view/subject/l/public/s6941453.jpg)](https://book.douban.com/subject/1855364/)\n\n[围城](https://book.douban.com/subject/1855364/)\n\n9.2(34837人评价)\n\n\n作者: 钱锺书\n\n\n出版社: 人民文学出版社\n\n\n出版年: 2007-8\n\n\n> 评语：才华满溢。作为小说，有点太满了。\n\n2015-02-12 19:50:23赞(4)回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n6\n\n来自：豆瓣读书\n\n\n[![](https://img3.doubanio.com/view/subject/l/public/s23836852.jpg)](https://book.douban.com/subject/1082154/)\n\n[活着](https://book.douban.com/subject/1082154/)\n\n9.2(197541人评价)\n\n\n作者: 余华\n\n\n出版社: 南海出版公司\n\n\n出版年: 1998-5\n\n\n> 评语：所谓生活，就是明知道活着是一种煎熬，还是会一天天煎熬下去。\n\n2015-02-12 19:50:39赞(4)回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n7\n\n来自：豆瓣读书\n\n\n[![](https://img1.doubanio.com/view/subject/l/public/s8504740.jpg)](https://book.douban.com/subject/6018916/)\n\n[许三观卖血记](https://book.douban.com/subject/6018916/)\n\n9.0(4541人评价)\n\n\n作者: 余华\n\n\n出版社: 作家出版社\n\n\n出版年: 2011-2\n\n\n> 评语：滴血的父爱，哪怕没有血缘。\n\n2015-02-12 20:39:23赞(3)1回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n8\n\n来自：豆瓣读书\n\n\n[![](https://img9.doubanio.com/view/subject/l/public/s5745604.jpg)](https://book.douban.com/subject/1883992/)\n\n[黄金时代](https://book.douban.com/subject/1883992/)\n\n9.0(10325人评价)\n\n\n作者: 王小波\n\n\n出版社: 长江文艺出版社\n\n\n出版年: 2006-8\n\n\n> 评语：“那一天我二十一岁，在我一生的黄金时代。我有好多奢望。我想爱，想吃，还想在一瞬间变成天上半明半暗的云。”\n\n2015-02-12 20:05:38赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n9\n\n来自：豆瓣读书\n\n\n[![](https://img2.doubanio.com/view/subject/l/public/s5745601.jpg)](https://book.douban.com/subject/1883993/)\n\n[青铜时代](https://book.douban.com/subject/1883993/)\n\n9.1(1106人评价)\n\n\n作者: 王小波\n\n\n出版社: 长江文艺出版社\n\n\n出版年: 2006-8\n\n\n> 评语：瑰丽的想象，恢弘的架构，荒诞的情节，智慧的哲思。他是思想上的智者，技巧上的顽童。\n\n2015-02-12 20:06:09赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n10\n\n来自：豆瓣读书\n\n\n[![](https://img9.doubanio.com/view/subject/l/public/s3090405.jpg)](https://book.douban.com/subject/1205653/)\n\n[大秦帝国（第一部 上下）](https://book.douban.com/subject/1205653/)\n\n9.0(472人评价)\n\n\n作者: 孙皓晖\n\n\n出版社: 河南文艺出版社\n\n\n出版年: 2001-9\n\n\n> 评语：纠纠老秦，共赴国难。\n\n2015-02-12 20:04:57赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n11\n\n来自：豆瓣读书\n\n\n[![](https://img9.doubanio.com/view/subject/l/public/s24964086.jpg)](https://book.douban.com/subject/1088711/)\n\n[霸王别姬](https://book.douban.com/subject/1088711/)\n\n9.1(23510人评价)\n\n\n作者: 李碧华\n\n\n出版社: 人民文学出版社\n\n\n出版年: 1999-1\n\n\n> 评语：不疯魔，不成活。\n\n2015-02-12 20:00:52赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n12\n\n来自：豆瓣读书\n\n\n[![](https://img9.doubanio.com/view/subject/l/public/s2215584.jpg)](https://book.douban.com/subject/1055128/)\n\n[传奇(上下)](https://book.douban.com/subject/1055128/)\n\n9.1(3036人评价)\n\n\n作者: 张爱玲\n\n\n出版社: 经济日报出版社\n\n\n出版年: 2003-1-1\n\n\n> 评语：用华丽精致的文字编织民国时期那些或明媚或荒凉的传奇故事。\n\n2015-02-12 20:34:19赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n13\n\n来自：豆瓣读书\n\n\n[![](https://img9.doubanio.com/view/subject/l/public/s26018275.jpg)](https://book.douban.com/subject/1255625/)\n\n[天龙八部](https://book.douban.com/subject/1255625/)\n\n9.2(136924人评价)\n\n\n作者: 金庸\n\n\n出版社: 生活·读书·新知三联书店\n\n\n出版年: 1994-5\n\n\n> 评语：大喜大悲，大彻大悟。\n\n2015-02-13 15:43:53赞(2)回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n14\n\n来自：豆瓣读书\n\n\n[![](https://img1.doubanio.com/view/subject/l/public/s3134039.jpg)](https://book.douban.com/subject/1212910/)\n\n[笑傲江湖（全四册）](https://book.douban.com/subject/1212910/)\n\n9.3(8937人评价)\n\n\n作者: 金庸\n\n\n出版社: 广州出版社 花城出版社\n\n\n出版年: 2008-3\n\n\n> 评语：江湖就是庙堂的缩影，何不携手佳人，林栖泉隐。\n\n2015-02-13 15:47:55赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n15\n\n来自：豆瓣读书\n\n\n[![](https://img3.doubanio.com/view/subject/l/public/s28267663.jpg)](https://book.douban.com/subject/1789837/)\n\n[射雕英雄传](https://book.douban.com/subject/1789837/)\n\n9.1(26661人评价)\n\n\n作者: 金庸\n\n\n出版社: 生活·读书·新知三联书店\n\n\n出版年: 1994-5\n\n\n2015-03-01 08:37:38赞(1)回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n16\n\n来自：豆瓣读书\n\n\n[![](https://img3.doubanio.com/view/subject/l/public/s3424257.jpg)](https://book.douban.com/subject/3183775/)\n\n[四世同堂](https://book.douban.com/subject/3183775/)\n\n9.4(44190人评价)\n\n\n作者: 老舍\n\n\n出版社: 北京十月文艺出版社\n\n\n出版年: 2008-7\n\n\n2015-02-12 20:40:31赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n17\n\n来自：豆瓣读书\n\n\n[![](https://img3.doubanio.com/view/subject/l/public/s3078482.jpg)](https://book.douban.com/subject/3066477/)\n\n[三体Ⅱ](https://book.douban.com/subject/3066477/)\n\n9.3(309626人评价)\n\n\n作者: 刘慈欣\n\n\n出版社: 重庆出版社\n\n\n出版年: 2008-5\n\n\n2015-02-12 20:02:40赞(2)回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n18\n\n来自：豆瓣读书\n\n\n[![](https://img9.doubanio.com/view/subject/l/public/s26012674.jpg)](https://book.douban.com/subject/5363767/)\n\n[三体Ⅲ](https://book.douban.com/subject/5363767/)\n\n9.2(289348人评价)\n\n\n作者: 刘慈欣\n\n\n出版社: 重庆出版社\n\n\n出版年: 2010-11\n\n\n2015-02-12 20:03:13赞(2)回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n19\n\n来自：豆瓣读书\n\n\n[![](https://img9.doubanio.com/view/subject/l/public/s28357056.jpg)](https://book.douban.com/subject/6518605/)\n\n[三体全集](https://book.douban.com/subject/6518605/)\n\n9.5(202204人评价)\n\n\n作者: 刘慈欣\n\n\n出版社: 重庆出版社\n\n\n出版年: 2012-1\n\n\n2015-02-12 20:04:06赞(2)回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n20\n\n来自：豆瓣读书\n\n\n[![](https://img3.doubanio.com/view/subject/l/public/s3510333.jpg)](https://book.douban.com/subject/3297466/)\n\n[我的团长我的团（上部）](https://book.douban.com/subject/3297466/)\n\n9.3(5981人评价)\n\n\n作者: 兰晓龙\n\n\n出版社: 新星出版社\n\n\n出版年: 2009-1\n\n\n2015-02-12 20:40:43赞(1)回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n21\n\n来自：豆瓣读书\n\n\n[![](https://img3.doubanio.com/view/subject/l/public/s3698353.jpg)](https://book.douban.com/subject/3511129/)\n\n[我的团长我的团（下部）](https://book.douban.com/subject/3511129/)\n\n9.5(4451人评价)\n\n\n作者: 兰晓龙\n\n\n出版社: 新星出版社\n\n\n出版年: 2009-1\n\n\n2015-02-12 20:40:48赞(1)回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n22\n\n来自：豆瓣读书\n\n\n[![](https://img9.doubanio.com/view/subject/l/public/s3380714.jpg)](https://book.douban.com/subject/3311253/)\n\n[额尔古纳河右岸](https://book.douban.com/subject/3311253/)\n\n9.0(28969人评价)\n\n\n作者: 迟子建\n\n\n出版社: 北京十月文艺出版社\n\n\n出版年: 2005-12\n\n\n2015-02-12 20:03:39赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n23\n\n来自：豆瓣读书\n\n\n[![](https://img1.doubanio.com/view/subject/l/public/s3053559.jpg)](https://book.douban.com/subject/3057333/)\n\n[城南旧事](https://book.douban.com/subject/3057333/)\n\n9.2(29387人评价)\n\n\n作者: 林海音\n\n\n出版社: 人民文学出版社\n\n\n出版年: 2008-5\n\n\n2015-02-12 20:39:53赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n24\n\n来自：豆瓣读书\n\n\n[![](https://img3.doubanio.com/view/subject/l/public/s3628082.jpg)](https://book.douban.com/subject/1760432/)\n\n[受戒](https://book.douban.com/subject/1760432/)\n\n9.4(28988人评价)\n\n\n作者: 汪曾祺\n\n\n出版社: 漓江出版社\n\n\n出版年: 1987-10\n\n\n2015-02-12 20:41:33赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n25\n\n来自：豆瓣读书\n\n\n[![](https://img3.doubanio.com/view/subject/l/public/s33607927.jpg)](https://book.douban.com/subject/24872210/)\n\n[无愁河的浪荡汉子·朱雀城](https://book.douban.com/subject/24872210/)\n\n9.4(1391人评价)\n\n\n作者: 黄永玉\n\n\n出版社: 人民文学出版社\n\n\n出版年: 2013-8\n\n\n2015-02-12 19:51:13赞回复\n\n加载更多[\\> 我来回复](https://www.douban.com/accounts/register?reason=comment)\n\n<前页\n1 [2](https://www.douban.com/doulist/37533097/?start=25&sort=seq&playable=0&sub_type=) [3](https://www.douban.com/doulist/37533097/?start=50&sort=seq&playable=0&sub_type=) [4](https://www.douban.com/doulist/37533097/?start=75&sort=seq&playable=0&sub_type=) [5](https://www.douban.com/doulist/37533097/?start=100&sort=seq&playable=0&sub_type=)[后页>](https://www.douban.com/doulist/37533097/?start=25&sort=seq&playable=0&sub_type=)"
    }
  ],
  "isError": false
}

你也可以让它将结果输出为markdown格式。

2）抓取漫画网站指定漫画

可以看到FireCrawl开始工作了

开始抓取任务：

让它将漫画以预览模式提供给我：

四、结语

刚刚只是举了两个接入 FireCrawl MCP 服务的简单例子，还有 1000+ MCP 服务等着你去挖掘，这样你就能让你的 MCP 客户端变得越来越强大，按需接入你想要的能力。

全自动内容创作流水线。

用 FireCrawl/爬虫MCP 抓取行业热点，通过 Sonar API MCP 实时补充研究数据，调用 MiniMax MCP 生成视频/语音/配图，通过小红书 MCP自动排版发布。

找合适的恰饭地点。

如果所在城市有很多朋友，散落在城市的各个地方，周末出来吃饭，可以借助高德或百度 MCP，可以找小伙伴们中间的地方恰饭。

跨次元 IP 孵化器。

动态思考MCP 生成故事大纲，Blender MCP 创建虚拟偶像，MasterGo MCP 设计联名商品，MiniMax MCP 生成宣传短视频，Tavily搜索MCP 监测舆情反馈。

如果说大模型是 AI 时代的引擎，MCP 就是连接现实世界的万向传动轴。从今天起，每个开发者都能像拼装乐高般自由调用各种能力模块，用自然语言编写跨次元的工作流，行动起来吧。