天池新人实战赛——阿里移动推荐算法大赛（御膳房、DTPAI、ODPS初体验）

最新推荐文章于 2021-04-21 14:26:30 发布
最新推荐文章于 2021-04-21 14:26:30 发布
阅读量4.5k 收藏
点赞数 1
分类专栏： 数据挖掘 大数据相关比赛
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dr_Guo/article/details/51135077
版权
本文介绍了参与阿里移动推荐算法大赛的经历，探讨了ODPS（开放数据处理服务）在大数据处理中的作用，以及DT时代的PAI（人工智能平台）和ODPS SQL的特性。作者提到ODPS能有效处理PB级数据，而PAI的使用需要进一步学习，同时分享了面对11亿多条数据的震撼体验。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

几个名词：

ODPS（OpenData Processing Service）：开放数据处理服务由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。

DT（data technology）：数据时代

PAI（Platform of Artificial Intelligence）：人工智能平台

ODPS SQL：

ODPS SQL适用于海量数据(TB级别)，实时性要求不高的场合，它的每个作业的准备，提交等阶段要花费较长时间，因此要求每秒处理几千至数万笔事务的业务是不能用ODPS SQL完成的。

ODPS SQL采用的是类似于SQL的语法，可以看作是标准SQL的子集，但不能因此简单的把ODPSSQL等价成一个数据库，它在很多方面并不具备数据库的特征，如事务、主键约束、索引等。目前在ODPS中允许的最大SQL长度是2MB。

开始正文：

PAI使用手册：http://yushanfang.com/portal/help/doc.html?spm=0.0.0.0.5D6cWZ&file=SuanFaPingTai

开始玩了会PAI，结果没玩明白，回头还得认真看看使用手册。

然后又用了下御膳房

看到这个表有多少条数据了吗，1165522826，11亿多条！！！长这么大第一次见这么大的表，当时眼泪就留下来了0.0

还好阿里的ODPS够给力，分分钟出计算结果。

ODPS SQL：https://help.aliyun.com/document_detail/odps/SQL/summary.html?spm=5176.docodps/summary/welcome.6.145.DibfTa

用了一会ODPS SQL，感觉它和HIVE SQL语法差不多。

    •  
天池新人实战赛——阿里移动推荐算法大赛（离线赛与平台赛）
光于前裕于后的博客
04-13 1万+
竞赛题目 （离线赛与平台赛题目一样，只是数据量不一样，离线2000w+条数据，平台11亿+条数据） 在真实的业务场景下，我们往往需要对所有商品的一个子集构建个性化推荐模型。在完成这件任务的过程中，我们不仅需要利用用户在这个商品子集上的行为数据，往往还需要利用更丰富的用户行为数据。定义如下的符号： U——用户集合 I——商品全集 P——商品子集，P⊆I D——用户对商品全集的行为数据集合...
关于2015阿里移动推荐算法大赛的总结（二）——推荐算法
Sin_Geek成长の迹
05-16 1万+
推荐系统并不是新鲜的事物，在很久之前就存在，但是推荐系统真正进入人们的视野，并且作为一个重要的模块存在于各个互联网公司，还是近几年的事情。 随着互联网的深入发展，越来越多的信息在互联网上传播，产生了严重的信息过载。如果不采用一定的手段，用户很难从如此多的信息流中找到对自己有价值的信息。
阿里天池新人实战赛—移动推荐算法
王大阳的博客
08-09 4660
简介 本次赛题为《阿里移动推荐算法》，以阿里巴巴移动电商平台的真实用户-商品行为数据为基础，同时提供移动时代特有的位置信息，而参赛队伍则需要通过大数据和算法构面向建移动电子商务的商品推荐模型。希望参赛队伍能够挖掘数据背后丰富的内涵，为移动用户在合适的时间、合适的地点精准推荐合适的内容。 赛事网址：https://tianchi.aliyun.com/competition/entrance/231...
Ali2015-MobileRecommendation:阿里移动推荐算法竞赛-http
05-24
Ali2015-移动推荐 阿里移动推荐算法竞赛 按照./data_1/README.md和/或./data_2/README.md中的./data_1/README.md下载数据。 运行一次TianChi3/main_preprocess.py以预处理数据 逐步运行TianChi3/main_single_model.py进行调整和训练。 最好的单个GBDT模型可以从TianChi3/main_single_model.py获得，F1得分约为10.4％ ，在第1季中的排名约为100 。 要提高性能： 通过更改utils.gen_feats和utils.gen_ic_ind_feats的时间参数，可以生成更多带标签的数据，这很有用，因为数据集高度不平衡。 在utils.gen_feats和utils.gen_ic_ind_feats添加更多时间间隔。 交叉验证可用于选择更好的超
阿里天池离线赛_移动推荐算法
h_lita的博客
04-21 1944
题目：阿里移动推荐算法 赛题说明 业务场景 本次赛题为《阿里移动推荐算法》，以阿里巴巴移动电商平台的真实用户-商品行为数据为基础，同时提供移动时代特有的位置信息，而参赛队伍则需要通过大数据和算法构面向建移动电子商务的商品推荐模型。 在真实的业务场景下，我们往往需要对所有商品的一个子集构建个性化推荐模型。在完成这件任务的过程中，我们不仅需要利用用户在这个商品子集上的行为数据，往往还需要利用更丰富的用户行为数据。定义如下的符号： U——用户集合 I——商品全集 P——商品子集，P ⊆ I D
阿里天池新人赛——幸福感挖掘
NUDTDING2019的博客
06-17 1万+
本文简要介绍参加阿里天池新人赛——幸福感挖掘的相关思路 整体思路 1.分析问题，提出分析目的 2.数据清洗、数据预处理及数据可视化 3.数据分析 4.建模计算 5.分析结果及竞赛成绩 1.分析问题，提出分析目的 幸福感是一个古老而深刻的话题，是人类世代追求的方向。与幸福感相关的因素成千上万、因人而异，大如国计民生，小如路边烤红薯，都会对幸福感产生影响。在这些错综复杂的因素中，如何找到其中的共性，一...
【天池竞赛系列】阿里移动推荐算法思路解析
Bryan__的专栏
07-28 1万+
赛题地址：http://tianchi.aliyun.com/competition/information.htm?raceId=1 登录即可下载数据 从4月到7月，学习了很多也收获了很多 题目就不多说了，一句话表达就是根据过去一个月的行为预测14年12月19号的购买情况。 看题目貌似推荐算法，自然就有队伍想到用协同过滤什么的，当然效果不好。 首先是特征的问题，然后是这是基于行
阿里移动推荐算法大赛总结
xidianycy
11-19 2万+
一、 赛题说明1. 竞赛题目在真实的业务场景下，我们往往需要对所有商品的一个子集构建个性化推荐模型。在完成这件任务的过程中，我们不仅需要利用用户在这个商品子集上的行为数据，往往还需要利用更丰富的用户行为数据。定义如下的符号： U：用户集合 I ：商品全集 P：商品子集，P ⊆ I D：用户对商品全集的行为数据集合 那么我们的目标是利用D来构造U中用户对P中商品的推荐模型。2. 数据说明数据主要包含
阿里移动推荐算法大赛——基于用户-行为记录，即user_id - behaviour_type的数据集处理
建世伟业的博客
08-18 2464
 关于题目回顾与数据初探，可参考：天池离线赛 - 移动推荐算法（一）：题目与数据解析，本文目的是想找出数据集中用户加购物车的行为behavior_type = 3与最终的购买行为behavior_type = 4是否是强关联的，为了进行分析，我们基于原始数据集构建一个新的数据集： act_34={<'time', 'user_id', 'item_id', 'behavior_type...
[tianchi]移动推荐算法大赛[一]
xuweiling
05-31 787
天池大数据竞赛-移动推荐算法大赛 本博客实现最简单的用户购买行为预测流程：根据前一天的交互行为，预测第二天的购买行为。 1、查看、处理user表格和item表格 import pandas as pd import numpy as np user_behavior_file = '../fresh_comp_offline/tianchi_fresh_comp_train_user....
tianchi:阿里移动推荐算法
06-07
数据集 将下载到datasets文件夹。 所有*.csv文件都不会被推送到存储库。 成员：顾云、黄帅、耿世杰 文件夹：
阿里移动推荐算法竞赛.zip
09-11
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。
sklearn做单机特征工程
Yaphat的博客
11-16 1927
目录 1 特征工程是什么？ 2 数据预处理 　　2.1 无量纲化 　　　　2.1.1 标准化 　　　　2.1.2 区间缩放法 　　　　2.1.3 标准化与归一化的区别 　　2.2 对定量特征二值化 　　2.3 对定性特征哑编码 　　2.4 缺失值计算 　　2.5 数据变换 　　2.6 回顾 3 特征选择 　　3.1 Filter 　　　　3.1.1 方差选择法
天池新人实战赛之[离线赛]尝试（一）
ronaldo-liu的博客
04-09 645
题目（https://tianchi.aliyun.com/getStart）就不贴了。经过一些百度的资料，可以将这个问题简化为：某个U-I组合在观察日是否有购买行为？(二分类问题) 接下来分几个步骤来拆解整个过程： 一.简单分析 将两个数据表.tianchi_fresh_comp_train_item和tianchi_fresh_comp_train_user存入到数据库中， 对应表...
阿里移动推荐算法大赛分享记录
永远飞翔的鸟
03-10 546
fenxiang2 pooling应用在图像中，是为了解决图像旋转不变性问题的 在我们推荐系统中，我们需要尽可能保存原有的信息，因此，我们不使用pooling ...
阿里天池大数据之移动推荐算法大赛总结及代码全公布
热门推荐
Datuqiqi的博客
07-10 3万+
移动推荐算法比赛已经结束了一个多星期了，现在写一篇文章来回顾一下自己的参赛历程。 首先，对不了解这个比赛的同学们介绍一下这个比赛（引用自官网）： 赛题简介 2014年是阿里巴巴集团移动电商业务快速发展的一年，例如2014双11大促中移动端成交占比达到42.6%，超过240亿元。相比PC时代，移动端网络的访问是随时随地的，具有更丰富的场景数据，比如用户的位置信息、用户访问的时间规律等。 本次
Java移动推荐算法提取特征值_阿里移动推荐算法比赛赛后总结--特征篇
weixin_42502775的博客
02-13 482
为期100天的阿里移动推荐算法比赛终于结束了，上一篇谈了一下比赛的感受，这一篇谈谈特征的提取。该篇文章的布局：对一期和二期用到的特征分别进行说明。在说特征的提取之前，在这里给出这个比赛的题目和数据及相关说明：竞赛题目在真实的业务场景下，我们往往需要对所有商品的一个子集构建个性化推荐模型。在完成这件任务的过程中，我们不仅需要利用用户在这个商品子集上的行为数据，往往还需要利用更丰富的用户行为数据。定义...
阿里云天池大赛赛题解
最新发布
12-30
### 阿里云天池大赛赛题解答与参赛经验分享 #### 赛题概述 阿里云天池平台提供了多种类型的竞赛，涵盖了机器学习、自然语言处理(NLP)、计算机视觉等多个领域。这些竞赛不仅提供丰富的奖金和奖品，还为参与者提供了宝贵的学习机会和技术交流平台[^1]。 #### 数据获取与预处理 对于特定的赛题，如NLP新闻分类挑战，数据是以匿名化形式提供的，这增加了任务难度，因为无法直接应用传统的中文分词技术来处理文本。因此，在准备阶段，重点应放在如何有效地理解和转换输入数据上[^3]。 #### 技术选型与实现方法 针对不同的赛题场景，选择合适的技术方案至关重要。例如，在解决语义分割问题时，可以采用卷积神经网络(CNN)，特别是U-Net架构，它非常适合于像素级分类的任务；而在面对大规模文本数据分析，则可能更倾向于使用像BERT这样的预训练模型来进行特征提取和分类工作[^4]。 #### 实践案例展示 以下是利用Python编写的简单示例代码片段，用于加载并查看部分样本图片： ```python import matplotlib.pyplot as plt from PIL import Image import os def show_sample_images(image_dir, num_samples=5): fig, axes = plt.subplots(1, num_samples, figsize=(20, 4)) sample_files = os.listdir(image_dir)[:num_samples] for ax, file_name in zip(axes.flatten(), sample_files): img_path = os.path.join(image_dir, file_name) image = Image.open(img_path).convert('RGB') ax.imshow(image) ax.axis('off') show_sample_images('./data/train/images/') plt.show() ``` 此段脚本可以帮助参赛者快速浏览训练集中的一些实例图像，从而更好地了解所面临的具体情况。 #### 结果评估与优化策略 为了提高模型性能，除了不断调整超参数外，还可以尝试集成多个不同结构的基础模型形成更强的整体解决方案。另外，积极参与社区讨论也是获得灵感的好途径之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

光于前裕于后

您的打赏将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值