- 博客(19)
- 收藏
- 关注
RSS订阅原创 Python查询数据导出Excel文件(离线导出\FastApi)
会超时，下载失败，下面是我优化的思路，如果同学们有需要代码的可以评论区告诉我。：解决大数据量导出时的客户端等待问题，提升用户体验与系统稳定性。下载Excel接口导出大量数据。前端等待返回的文件下载数据流。：事务+断点续传+自动重试三重保障。：前端等待时间从分钟级降至毫秒级。：提供任务进度查询接口与日志追踪。：通过线程池控制并发导出任务。我重新设计了下载部分。
2025-02-25 18:17:40
385
原创 大数据服务＜FastApi＞:30秒内防止同维度重复下载的功能
后端服务30秒内防止同维度重复下载的功能防止重复下载通过这种设计，既能有效防止短时间内的重复请求，又能保持接口的响应速度和可维护性。
2025-02-25 18:02:41
956
原创 《软件开发需求评审表：如何让需求不再“需”而不“求”》
今天，我们就来聊聊如何用一张神奇的表格，把那些飘忽不定的需求牢牢抓住，让它们乖乖地变成实实在在的功能！xxx全渠道分析模块、xxx年度分析模块（美团点评星级、美团点评评价分析、一店一码/xxx评价分析）提供实时数据分析功能，包括但不限于流量、转化率、用户行为路径等。支持多渠道数据整合（如美团、点评、一店一码、xxx一码等）。提供年度数据汇总与分析功能，包括xx点评星级、评价分析等。支持导出功能，支持格式包括 Excel、PDF 等。数据来源包括美团、点评、xxx、xxx等平台。
2025-02-21 11:31:31
358
原创 ENFJ秃头程序员在矛盾中自我迭代
每一次自信与自卑的震荡，都是神经可塑性重塑的契机，正如硅晶圆在高温蚀刻中形成精密电路，我们的心智也在这种动态平衡中完成创造性跃迁。想到了一句话，天才在左疯子在右，有时候我在极度自信和极度自卑来回跳跃，刚开始时候不理解，后来慢慢明白，遇到困难的时候我想比所有人镇静，大家都乐观的时候，我又会焦虑，来回这两种状态的压迫，想让自己不断去反思和创造。这种生物学基础恰如《天才在左疯子在右》中描述的”临界状态”，当杏仁核的危机预警系统与海马体的记忆重构功能形成对冲，反而催化了突破常规的灵感。艺术家的不确定性（自卑）
2025-02-21 00:59:04
164
原创 《Python 开发攻略：FastAPI和pymysql 操作 Doris或者mysql 数据库的综合指南》
大数据后端连接doris 和操作数据库指南
2025-02-13 17:36:13
895
原创 Flink实战(1)-了解Flink
大数据、实时计算、使用python Flink 数据开发Flink框架搭建PyFLink环境PyFLink的WordCount编程
2024-01-09 02:02:02
1048
3
原创 虚拟机VMware、linux、WSL、Dorker、Multipass选择时
我们使用 Windows 或者 macOS 系统，但需要开发 Linux 程序，此时一般来说有如下几种选择：安装双系统Linux 服务器安装虚拟机，然后在虚拟机里面安装 Linux 系统Linux安装MySQL(超详细)引用：(142条消息) Linux安装MySQL(超详细)_菜鸟反的博客-CSDN博客_liunx mysqlWindows 10系统自带的 WSL 子系统安装 Docker，然后通过 Docker 启动一个 Linux 容器，再进入该容器进行操作我们还有第6个选择
2023-02-17 02:40:50
1660
原创 问题：yarn中有top 定期跑出来占用大量资源
问题：top命令 定期 ，启动占用大量资源pid 15290top/tmp/.system/top (deleted)工作目录/opt/mydata103/yarn/nm/usercache/root/appcache/application_1616400055261_0803/container_1616400055261_0803_01_0000016 /tmp/.system//top -c /tmp/.system//config.json...
2021-03-25 14:40:14
661
原创 数据问题：quickBI成本分析 类型为维度，频次数据异常-2021-03-25
quickBI系统发现一个问题:成本分析 类型为维度，频次数据异常查究，可能为gong_amount_paid 有null值导致修改代码：(加入 nvl)NVL(gongyinglian.sum_amount_paid,0) as \`供应链金额\`,select gongyinglian.city_name as \`城市\`, gongyinglian.month as \`时间月\`, NVL(gongying.
2021-03-25 14:35:39
407
原创 Impala问题实录
一、报错： File 'hdfs://nameservice1/user/hive/warehouse/dm/dm_sup_manager_duibi/tp=zonghe1/000000_0' has an invalid version number: �ϫ& This could be due to stale metadata. Try running "refresh dm.dm_sup_manager_duibi".报错hive元数据过时，需要更新元数据更新元数据的使用
2021-03-23 12:16:50
2838
1
转载 HIVE_的表修改语句
1、修改表名 alter table table_name rename to new_table_name; 例1：alter table ruoze_emp rename to emp;2、修改列名 alter table tablename change column column_orign column_new int(修改后列的属性) comment 'column_name' alter table dm_sup_order_analysis change c...
2021-03-18 16:18:55
2661
转载 Linux下ps -ef和ps aux的区别及格式详解
Linux下ps -ef和ps aux的区别及格式详解Linux下显示系统进程的命令ps，最常用的有ps -ef 和ps aux。这两个到底有什么区别呢？两者没太大差别，讨论这个问题，要追溯到Unix系统中的两种风格，System Ｖ风格和BSD 风格，ps aux最初用到Unix Style中，而ps -ef被用在System V Style中，两者输出略有不同。现在的大部分Linux系统都是可以同时使用这两种方式的。ps -ef 是用标准的格式显示进程的、其格式如下其中各列的内容意.
2021-02-22 18:42:37
141
原创 互联网资料
这里写自定义目录标题写给宝贝的学习课件发展历程基本概念互联网思维：大数据应用领域：写给宝贝的学习课件发展历程发展背景Web1.0：门户时代，网页信息展示，用户很少产生数据，如搜狐新浪。Web2.0：社交时代，人人产生内容，如微博。Web3.0：物联网时代，用互联网连接物品，感知世界。移动互联网：移动通信与互联网相结合，使得移动终端能够使用互联网。互联网+：将互联网的创新成果融入实体经济社会各领域之中。资料来源:发展历程资料 (请点击)基本概念互联网思维：这个词解释起来很危险……好
2020-11-20 22:29:22
522
原创 ETL开发流程小记(1)
[原创]ETL开发流程随笔ETL开发ETL工作目标ETL工作目的主要有：ETL工作流程准备工作ETL设计ETL开发ETL测试功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章U...
2019-11-28 16:32:27
1746
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人