阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略（持续更新1127）

概况介绍

大数据计算服务(MaxCompute，原名ODPS，产品地址：/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。本文收录了大量的MaxCompute产品介绍、技术介绍，帮助您快速了解MaxCompute/ODPS。

MaxCompute 2.0：阿里巴巴的大数据进化之路性能追求之路——MaxCompute2.0（原ODPS）的前世今生老兵带你看尽MaxCompute大数据运算挑战与实践

什么是阿里云数加大数据计算服务MaxCompute?一分钟了解阿里云产品：大数据计算服务MaxCompute概述MaxCompute（原ODPS）技术架构及应用实践【视频】不要犹豫了解这些即可玩转阿里云MaxComputeMaxCompute产品详情页odps是什么?阿里云双11访谈之MaxCompute【逐云】阿里“水电煤”背后的人物故事

2.0专题

最新推出的MaxCompute 2.0，在高性能方面主要依托于全新的SQL 2.0计算引擎。在新功能方面提供了非结构化的处理，在云上开始使用OSS（开放的对象存储）、OTS（开放的表格存储），MaxCompute对其进一步分析和计算提供了连接性。机器学习在新版本中提出了CPU和GPU统一的架构，在富生态中也提出了新的能力。本文收录了MaxComputeV2最新的使用攻略，帮助开发者更快的了解并玩转MaxCompute2.0。

MaxCompute 2.0 NewSQL演进之路MaxCompute2.0 对开源系统的支持与融合MaxCompute2.0索引优化实践MaxCompute 2.0 基于BigBench标准的最新测试进展MaxCompute 2.0 生态开放之路及最新发展MaxCompute 2.0—从ODPS到MaxComputeMaxCompute2.0性能评测：更强大、更高效之上的更快速MaxCompute上如何处理非结构化数据MaxCompute访问TableStore(OTS) 数据MaxComputeSql性能调优生态与兼容：MaxCompute大数据生态集成和开发工具MaxCompute理解数据、运算和用户的大脑：基于代价的优化器Vectorized Execution Engine in MaxCompute 2.0简介MaxCompute与OSS非结构化数据读写互通（及图像处理实例）基本及复杂数据类型扩展（TINYINT、SMALLINT、 INT、 FLOAT、VARCHAR、TIMESTAMP 、 BINARY、ARRAY、MAP、STRUCT ）DML(INSERT操作、SELECT操作)及内建函数(日期函数、数学函数、字符串函数)更新MaxCompute2.0 - ODPS重装上阵第一弹 - 善用MaxCompute编译器的错误和警告MaxCompute2.0 - ODPS重装上阵第二弹 - 新的基本数据类型与内建函数MaxCompute2.0 - ODPS重装上阵第三弹 - 复杂类型MaxCompute2.0 - ODPS重装上阵第四弹 - CTE，VALUES，SEMIJOIN

评测

MaxCompute在业内证明了其几大优势：极低的自建成本，卓越的性能打破了四项世界纪录，优秀的架构确保了企业数据在整个生命周期内的安全性；通过自身核心竞争力和市场成绩单，斩获用户好口碑。本文收录了MaxCompute所有评测、技术奖项、等级证书等相关知识。

大数据标准化论坛发布了第一批大数据系统测试结果，阿里云数加获得了大数据系统测试证书。可靠、安全、易用，阿里云数加大数据平台首批通过国家大数据标准检测7倍!阿里云的MaxCompute居然比自建Hadoop便宜这么多MaxCompute把100TB数据的排序时间缩短到了377秒，打破了此前由微软、雅虎等公司保持的纪录，获得全球4项世界冠军。持续创新和改进，为用户创造最大价值，阿里云数加MaxCompute获得C-Tech Awards 度“最具技术创新奖”MIT评出全球十大突破性技术阿里巴巴连摘两项Gartner公布全球云计算魔力象限：阿里云进入前四Gartner全球IAAS市场报告：阿里云进入全球前三BigBenchon MaxCompute 基准测试套件简明安装与运行指南CloudSort 阿里云夺冠，性价比高出 AWS 保持的世界记录三倍阿里云计算能力实现多项突破 BigBench规模全球首次被拓展至100TB

开发套件专题

MaxCompute支持多款开发套件，如数加DataWorks，可以很方便的完成多源异构数据的同步、脚本开发、定时调度，MaxCompute Studio提供本地化的智能编辑器、Job分析，让代码更高效。本文收录了大数据开发套件的相关介绍、使用教程、最佳实践，帮您玩转大数据开发套件。

DataWorks

DataIDE大数据开发套件官方教程阿里云大学精品课程：深入理解阿里云数加大数据开发套件Data IDE-基本知识大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute【大数据开发套件调度配置实践】——调度任务各种周期配置和调度形态阿里云大数据开发套件新手不得不面对的问题（持续更新）【大数据开发套件调度配置实践】——不同周期任务依赖配置数据库工程师快速上手MaxCompute进行ETL基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute阿里巴巴下一代数据集成技术

MaxCompute Studio

深入阿里云大数据IDE–MaxCompute Studio使用 MaxCompute Studio 开发大数据应用MaxCompute Studio提升UDF和MapReduce开发体验ODPSStudio 2.6.2 版本发布了用 MaxCompute Studio 查看作业排队详情MaxCompute模板与样例MaxCompute（原ODPS） Studio 2.7.0 版本发布，让代码效率更高IDEA集成MaxCompute通过MaxCompute Studio创建UDF的简单介绍MaxCompute Studio 2.8.1 新版本发布啦！MaxCompute Studio使用心得系列1——本地数据上传下载MaxCompute Studio使用心得系列2——编译SQL脚本MaxCompute Studio使用心得系列3——可视化分析作业运行MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况阿里云全新一代企业级新品解读—通过MaxCompute Studio实践大数据时代的DevOps

机器学习PAI专题

MaxCompute提供基于GPU的深度学习算法框架，在线预测服务等，以极低的代价帮助您的业务从BI时代跨入AI时代，真正实现人工智能触手可及。本文收录了机器学习技术原理、实践等相关知识，帮助开发者快速掌握机器学习。

机器学习——让人工智能触手可及大规模深度学习优化技术在PAI平台中的应用及实践阿里云工程师用机器学习破解雾霾成因大规模数据的分布式机器学习平台ODPS—MPI机器学习编程框架人工智能居然会模仿人类品酒用炸弹开路——加速到来的证券投资行业人工智能时代阿里云机器学习平台的思考机器学习系列直播--使用对抗神经网络(GANs)生成猫【8月30日 20点不见不散】

图计算Graph专题

MaxComputeGraph是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口，本文收录了图计算的介绍、技术原理、实践，帮您来更多的了解Graph。

图计算Graph介绍基于MaxCompute的图计算Graph实践分享-图加载过程基于MaxCompute的图计算Graph实践分享-解析图加载过程基于MaxCompute的图计算Graph实践分享-Aggregator机制介绍基于MaxCompute的图计算Graph实践分享-可配置参数列表（持续更新）基于MaxCompute的图计算Graph实践分享-常见问题解决及优化指南

MapReduce专题

当大数据业务逻辑很复杂，用SQL配合UDF(包括UDAF和UDTF)也无法实现的时候，可以使用MapReduce MapReduce来实现。本文收录了MapReduce的介绍、技术原理、实践，帮您来更多的了解MapReduce。

MaxCompute MapReduce介绍及技术原理

MaxCompute MapReduce（MR）如何收费

MaxCompute MapReduce细节解读

MaxCompute MapReduce的7个性能优化策略

MaxCompute（原ODPS） MapReduce常见问题解答

UDF专题

MaxCompute UDF系列之身份证校验及15位身份证号码转换成18位MaxCompute UDF系列之判断字符串中是否包含汉字MaxCompute UDF系列之全角转半角MaxCompute SQL引用第三方Base64JAR实现编解码MaxCompute UDF系列之拼音转换MaxCompute中实现IP地址归属地转换

客户案例

MaxCompute在短短的几年时间里，改变了很多行业，积累了大量的客户成功案例。比如东润环能在3个月内业务全面交付云端，数据处理时间不到原来自建方式的1/3，并确保云上数据安全无忧。墨迹天气日志分析业务迁移到数加MaxCompute后，开发效率提升了超过5倍，存储和计算费用节省了70%，每天处理分析2TB的日志数据，更高效的赋能其个性化运营策略。本文收录了大量的客户案例，总有一款适合您。

阿里云MaxCompute携手华大基因打造精准医疗应用云平台借助数加，原来需要2-3天的单维度数据处理时间，目前仅需3-6小时，研发周期更短，产品需求符合度更高。大数据打造你的变美频道——数加平台上小红唇的大数据实践阿里云与国家天文台成立天文大数据联合研究中心阿里云参与两大国家工程实验室获批，人工智能继续深入工业制造借助阿里云数加，小小的美甲行业被美甲帮玩出了天价美甲帮：玩转指甲上的大数据平台大数据打造你的变美频道——数加平台上小红唇的大数据实践与阿里云整个生态体系共同成长，更快更好的为房地产行业客户提供高价值的服务苏州协鑫与阿里云合作阶段性完成，良品率已提升1%禾连健康CDO沈金：谈云时代的大数据平台架构小硅片与大数据的结合 ——协鑫光伏的新制造之路墨迹天气-轻松处理每天2TB的日志数据，支撑运营团队进行大数据分析挖掘，随时洞察用户个性化需求阿里云数加让企业更专注于业务，助力东润环能高效利用大数据资源纯云大数据系统的构建与价值阿里云数加助力东润环能开启新能源大数据时代赋能平台、提效工具、场景化应用，地产大数据玩转有诀窍产品3周迭代一次，启信宝驾驭8000万企业征信的平台架构日交易笔百万级，Ping++的大数据平台架构专访佰腾科技大数据团队，谈专利大数据领域的挑战与实践佰腾科技的专利大数据的云上裂变之路技术创业难？看汇合营销如何玩转大数据与机器学习数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。年服务人次3300万+，网鱼网咖的大数据挑战及架构友盟这家数据公司为什么能成为数百万企业的选择？数加平台协助汇合营销快速行动，捕获转瞬即逝的商机。全民直播牵手阿里云，技术升级触发直播新体验3天撸完一个团队半年的项目，单客户数据动辄几百万的行业也玩云？杭州治堵有“智慧” 阿里云数加激活城市大脑堵车预测神器诞生，浙江已用来治疗高速顽疾小团队拥有大能量三十个年轻人的创业故事完成数据的打通-豌豆荚被阿里巴巴收购后的168天MaxCompute助力北斗大数据，千寻位置3秒实现厘米级定位30秒在线卖出3000套房，对于云系统来说只是小意思！阿里怎么发工资？自研薪酬管理系统首次曝光《能源地图》：阿里云数加MaxCompute轻松处理8000亿条气象数据阿里妈妈MaxCompute架构演进 - AON(MPI)集群数据生意背后的云计算登月1号：支付宝演绎空中升级绝技御膳房：构建大数据的美食厨房OFO：Maxcompute的任务状态和多任务执行仁人帮探索大数据技术融合大数据能力，解决在存量时代下的力分之困MaxCompute2.0助力众安保险快速成长美柚-MaxCompute为女性健康护航

新手入门

为MaxCompute新手用户提供入门级教程，如操作介绍、计量计费、数据上云、云上分析，帮助用户完成第一个SQL数据分析。

阿里云数加大数据计算服务MaxCompute学习路线图 (持续更新中)【大数据学习】数据化运营并不难？关键是这些技术你get了么？！MaxCompute 学习计划(一)MaxCompute 学习计划(二)MaxCompute 学习计划(三)MaxCompute（原ODPS）开发入门指南——数据上云篇MaxCompute（原ODPS）开发入门指南——计量计费篇MaxCompute（原ODPS）开发入门指南——数据开发工具篇MaxCompute常用语句汇总(更新ing)

计费购买

提供MaxCompute计量计价说明，计费工具，售前计费沟通支持。

计量计费说明价格计算器-小工具下载购买咨询专家群帮助企业做好MaxCompute大数据平台成本优化的最佳实践三分钟教你学会分析MaxCompute消费明细教你开通MaxCompute自动续费

技术峰会

收录各界MaxCompute大数据技术峰会，多位技术大咖、行业实践者从技术与业务两个方面，与大家探讨大数据如何最快落地到实践。

[干货]作为大数据入门者，你不得不知道的杭州云栖大会双管齐下，MaxCompute数据上云与生态【直击深圳云栖大会大数据专场】陈鹏宇分享主题—数加：迈向数据智能之路技术与架构，解析如何将大数据最快落地到实践MaxComputeNextMaxCompute 2.0性能优化揭秘

·演讲视频：/webinar/play/188

·PDF下载：/attachment/download/?id=1449

·演讲整理文章：/articles/72240

MaxCompute大数据语言的新发展

·演讲视频：/webinar/play/189

·PDF下载：/attachment/download/?id=1448

·演讲整理文章：/articles/72284

大规模流式增量计算及其在阿里巴巴的应用

·演讲视频：/webinar/play/190

·PDF下载：/attachment/download/?id=1444

·演讲整理文章：/articles/72242

PAI分布式机器学习平台计算模型演进之路

·演讲视频：/webinar/play/191

·PDF下载：/attachment/download/?id=1445

·演讲整理文章：/articles/72362

MaxCompute数据上云与生态

·演讲视频：/webinar/play/192

·PDF下载：/attachment/download/?id=1446

·演讲整理文章：/articles/72367

高可用大数据计算平台如何持续发布和演进

·演讲视频：/webinar/play/193

·PDF下载：/attachment/download/?id=1447

·演讲整理文章：/articles/72282

专利大数据的云上裂变之路

·演讲视频：/webinar/play/194

·PDF下载：/attachment/download/?id=1440

·演讲整理文章：/articles/72369

地产大数据趋势与应用实践

·演讲视频：/webinar/play/195

·PDF下载：/attachment/download/?id=1441

·演讲整理文章：/articles/72386

用大数据打造你的变美频道

·演讲视频：/webinar/play/196

·PDF下载：/attachment/download/?id=1443

·演讲整理文章：/articles/72250

云上大数据，零售新思维

·演讲视频：/webinar/play/197

·PDF下载：/attachment/download/?id=1442

·演讲整理文章：/articles/72249

关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知

快上车！老司机带你走进“大数据及阿里云数据分析平台”

万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛阿里云全新一代人工智能引擎机器学习PAI+MaxComptue征文大赛正式启动操作系统顶级会议SOSP 阿里云MaxCompute开启NewSQL时代

Workshop

该课程是基于大数据时代日志分析的基础需求的基础上，告知用户如果通过阿里云MaxCompute大数据解决方案来实现自己网站日志的用户画像。包括数据采集、数据加工以及数据最终的展现，最后通过MapReduce来解密好友推荐算法的实现原理。

《云数据·大计算：海量日志数据分析与应用》Workshop-入口

数据采集：日志数据上传

数据加工：用户画像

数据分析展现：可视化报表及嵌入应用

社交数据分析：好友推荐

云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《数据可视化：构建实时动态运营数据分析大屏》篇

云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《流数据处理：通过StreamSQL分析视频日志》篇

云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《流数据采集：海量流式视频日志收集》篇

云栖大会·杭州峰会：《云数据·大计算：海量日志数据分析与应用》之《数据分析展现：可视化报表及嵌入应用》篇

云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》实验环境准备

云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》Workshop-入口

MaxCompute1元试用体验馆

通过丰富的场景案例、教程，让您近距离低成本的感受MaxCompute大数据平台的魅力。

Flume采集网站日志到MaxComputeHadoop数据表迁移到MaxCompute快速搭建一个BI销售数据分析系统机器学习实现海量新闻自动分类机器学习为您揭秘雾霾怎么形成

数据上云专题

对于大多数企业首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景，大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移，下面我们针对每种场景分别介绍几种常用方案。

数据进入阿里云数加-大数据计算服务MaxCompute（原ODPS）的N种方式“零基础”系列课程--日志服务（Log Service）采集 ECS 日志数据到 MaxCompute日志服务（原SLS）新功能发布(12)--日志投递MaxCompute（原ODPS）支持自动建表授权Flume数据导入MaxCompute（原ODPS）方法MaxCompute（原ODPS）功能介绍之数据导入用Fluent实现MySQL到MaxCompute（原ODPS）数据集成

数据安全专题

收录了MaxCompute大数据平台安全资质、安全机制、数据安全白皮书、安全事件等，带你更深入的了解MaxCompute如何保护企业数据资产。

你的大数据安全么？“Hadoop集群遭遇勒索软件攻击 ”【阿里云大数据产品MaxCompute】DT时代企业数据资产的护卫舰可靠、安全、易用，阿里云数加大数据平台首批通过国家大数据标准检测阿里云成为全国首家云等保试点示范平台金融云通过国家等保四级备案测评MaxCompute数据安全机制还在用Hadoop么？Hadoop服务器造成5PB数据泄露，中国、美国受波及最大！

运维/容灾专题

收录了MaxCompute大数据平台运维成长过程，企业如何做好灾备、做好自动化运维保障等相关运维知识。

MaxCompute(ODPS)大数据容灾方案与实现（及项目落地实例）专有云阿里云大数据计算平台的自动化、精细化运维之路

数据仓库专题

分享企业如何利用MaxCompute搭建数据仓库，如何做好ETL、建模、分层设计等相关数仓知识。

干货：解码OneData，阿里的数仓之路。企业大数据平台下数仓建设思路大数据来了，数据库爆仓了，宝宝们怎么办？淘宝大数据之路MaxCompute大数据实践，电商数据仓库选择雪花还是星型模型？MaxCompute大数据实践，电商数据仓库的星型模型和传统星型的区别大数据环境下该如何优雅地设计数据分层精打细算使用MaxCompute搭建数仓阿里巴巴大数据实践之数据建模【直播沉淀】基于阿里云数加MaxCompute的企业大数据仓库架构建设思路品《阿里巴巴大数据实践-大数据之路》一书（上）品《阿里巴巴大数据实践-大数据之路》一书(下)iphoneX都面世了，你的数据仓库还停留在诺基亚时代吗?阿里数据仓库实践分享基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

公开数据集

目前免费开放的数据类别包括：股票价格数据，房产信息，影视及其票房数据，所有的数据均被存储在MaxCompute 产品中的public_data 项目中。

阿里云数加（大数据）公开数据集（公测ing）

大数据最佳实践

越来越多的企业和开发者选择MaxCompute，为了更好地展示这些优秀企业和个人开发者的伟大经验，搜集整理了这些最佳实践，希望这些最佳实践能够为你的开发工作带来一些帮助。

手把手，教你用MaxCompute+OpenSearch搭建分布式搜索引擎阿里云大数据利器Maxcompute学习之-假如你使用过hive一场变美盛宴后面的大数据故事理财农场大数据初探之路报警分析云上集成解决方案专访360医药大数据负责人侯晓锋：谈未来智能医疗的挑战及实践【物流大数据实践】基于阿里云Maxcompute实现物流跟踪袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测基于数加分析政府工作报告阿里云大数据利器Maxcompute学习之--分区表的使用“零基础”系列课程--Flume收集网站日志数据到MaxCompute“零基础”系列课程--如何通过大数据开发套件Data IDE玩转大数据MaxCompute_2_MaxCompute数据迁移文档基于大数据开发套件定时调度带资源文件的MapReduce作业如何用大数据开发套件周期调度机器学习算法［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云推荐引擎的离线算法和在线算法初探OpenSearch：轻松构建大数据搜索服务云上游戏数据分析实践5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)Docker时代——如何实现日志数据一键上云MaxCompute（原ODPS）使用总结-初级篇MaxCompute实战之数据存储基于 MaxCompute 的极速的基因测序分析MaxCompute同步到AnalyticDB 任务报警简易处理MaxCompute 存储优化技巧MaxCompute OpenMR的7个性能优化策略MaxCompute5个窗口函数限制MaxCompute基础与MaxCompute SQL优化MaxCompute（原ODPS）任务优化之列裁剪MaxCompute应用限制整理产品动手实践视频课-基于MaxCompute SQL实现商品推荐 MaxComputeSQL01-说在前面的话MaxComputeSQL02-什么是个性化推荐系统MaxComputeSQL03-个性化推荐系统是怎么实现的？MaxComputeSQL04-推荐系统的评价和应用MaxComputeSQL05-天猫应用场景介绍MaxComputeSQL06-问题分析和思路整理MaxComputeSQL07-简单实现：根据销量推荐MaxComputeSQL08-简单实现：和随机推荐的对比MaxComputeSQL09-个性化推荐：算法设计和特征分析MaxComputeSQL10-个性化推荐：选择特征和采样MaxComputeSQL11-个性化推荐：训练模型MaxComputeSQL12-个性化推荐：参数优化和模型评估MaxComputeSQL13-个性化推荐：模型应用与总结MaxComputeSQL14-总结：不足与改进 MaxCompute分区表和非分区表使用对比Oracle - MaxCompute（原ODPS）数据类型转换大数据上云那些事儿：（一）上云工具之爬虫(Scrapy)数据阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopNMaxCompute SQL中的更新和删除如何实现用Java代码调用MaxCompute通过Fluentd实时上传数据到DataHub实践基于阿里云MaxCompute实现复杂事件检测阿里云大数据利器Maxcompute-使用mapjoin优化查询MaxCompute SQL Row_Sequence 实现列自增长MaxCompute SQL-列转行和行转列MaxCompute多团队协同数据开发项目管理最佳实践门道多：一次MaxComputePS任务的问题排查之旅利用MaxCompute建立数据仓库的超强实战手册E-MapReduce中Spark 2.x读写MaxCompute数据MaxCompute如何实现跨项目授权使用JDBC编程访问MaxCompute（原ODPS）增量同步MaxCompute（原ODPS）数据解决方法MaxCompute（原ODPS） JOB 长尾问题调优MaxCompute（原ODPS）JOB logview 查看方法DataX使用指南——MaxCompute（原ODPS）toODPSMaxCompute（原ODPS）权限管理命令集合MaxCompute（原ODPS）内置函数整理OSS文件上传及OSS与MaxCompute（原ODPS）之间数据连通MaxCompute（原ODPS）跨集群迁移与数据同步经验分享五阿哥（），携钢铁行业步入一场云的变革基于自定义日志打印的UDAF调试[免费]手把手，阿里算法专家教你21天搭建推荐系统《企业大数据系统构建实战：技术、架构、实施与应用》大数据分析平台产品对比之MaxCompute（原ODPS）篇Oracle -ODPS数据类型转换使用ODPS进行拼车分析MaxCompute在网络舆情监控系统中的应用使用MaxCompute快速实现企业数据化运营应用MaxCompute实现变压器局部放电相位分析实践 —— 亲测从 RDS MySQL 通过数据集成导入MaxCompute大数据分析平台产品对比之MaxCompute（原ODPS）篇阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务（归档Maxcompute）MaxCompute原（ODPS）创建dual表MaxCompute（原ODPS）脑图－常用知识总结阿里云大数据实验室：MaxCompute使用体验MaxCompute实践分析小白用户MaxCompute数据同步初体验基于MaxCompute方案的TFI门店销量调研使用MaxCompute进行网贷业务风控预测分析MaxCompute实践初创企业的选择——MaxComputeMaxCompute平台非标准日期和气象数据处理方法--以电力AI赛为例MaxCompute最佳实践使用 Instance Tunnel 获取MaxcomputeInstance 的执行结果基于MaxCompute平台进行机器学习并展示结果依托MaxCompute构建零售快消品行业数据仓库MaxCompute数仓维护心得-五叶草MaxCompute帮助创业公司中减轻MySQL存储压力odps之sql性能优化美柚与MaxCompute数据同步架构说明阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区阿里云「MaxCompute最佳实践」征文大赛获奖文章公布报表几种常用数据方案MaxCompute执行作业慢的原因排查MaxCompute跨Region数据迁移指导手册MaxCompute有关优化复杂数据分布的实践

常见问题

为大家整理了关于MaxCompute的系列问题供大家查阅参考，覆盖产品包括MaxCompute、MaxComputeStudio、DataWork、MaxCompute SDK，涉及的知识点有数据同步、SQL/UDF/MR开发、JOB任务调度分析、计量计费、安装、注销等等。

MaxCompute百问集锦（持续更新）MaxCompute常见错误汇总（更新ing）大数据开发—常见问题（1）大数据开发—常见问题（2）大数据开发—常见问题（3）大数据开发—常见问题（4）MaxCompute数据下载/导出的SQL运行结果的方法总结，解决1万/10000行导出限制大数据开发套件中数据同步-日志报错回滚信息的一些问题总结解决代码在本地IDE环境里调试成功了后，到线上调试出现结果不符合预期的情况【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总做ETL操作导入数据到MaxCompute的时候，对如何设置数据同步策略疑惑如何用SQL对MaxCompute数据进行修改和删除MaxCompute中实现IP地址归属地转换MaxCompute（原ODPS） MapReduce常见问题解答MaxCompute计算长尾问题定位排查工作流的计算结果数据量不符合预期的方法用脚本模式配置数据同步--用自定义的ECS来调度来解网络不可达的问题大数据开发套件—调度运维常见问题大数据开发套件—数据集成常见问题MaxCompute—MaxComputeSQL常见问题

生态兼容

MaxCompute从研发的第一天起就被设计统一由 Restful API 提供服务。在 Restful API 之上，我们各种语言的 SDK。由 SDK 编写形成的各种工具、驱动等等构成了 MaxCompute 的用户接口层，即外围生态；截止到今天，MaxCompute已支持JDBC、Java、python、R、OpenMR等开放接口，兼容现有大数据生态系统。

MaxCompute JDBC 2.2 发布说明手把手教你完成MaxCompute JDBC自定义日志配置MaxCompute JDBC 2.0 beta中的一些变更说明使用 odps-jdbc 接入 MaxCompute（原ODPS），不再从零开始原来MaxCompute还能这么玩系列（3）—— 借力QlikView玩转数据分析原来MaxCompute还能这么玩系列（2）—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通原来MaxCompute还能这么玩系列（1）—— 通过Apache Zeppelin 快速实现数据可视化当 Elasticsearch 遇上 MaxComputeFlume Java on MaxCompute介绍Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析如何在MaxCompute上运行HadoopMR作业基于OGG Datahub插件将Oracle数据同步上云R语言和大数据RODPS介绍什么是PyODPS DataFrame

PyOdps 0.4版本发布，从一个故事说起

PyODPS DataFrame：统一的数据查询语言

PyOdps在交互式环境下的使用，让探索ODPS数据更容易些

PyOdps DataFrame来临，数据分析从未如此简单！

Python+大数据计算平台，PyODPS架构手把手教你搭建

MaxCompute上你从未体验过的数据分析和机器学习过程

零成本体验ODPS大数据分析

PyODPS开发中的最佳实践

产品功能介绍

整理了MaxCompute官网使用手册之外的一些功能知识点介绍。

MaxCompute和DataIDE权限体系介绍阿里云开源离线同步工具DataX3.0介绍

MySQL超时参数以及相关DataX数据同步案例分享

Tunnel SDK数据上传利器——BufferedWriter使用指南使用 MaxCompute Studio 开发大数据应用 Console 实用小命令

Mac 下如何安装odpseclipse插件

【MaxCompute学习】隐式转化的问题

使用 MaxCompute（原ODPS） java sdk 运行安全相关命令

ODPS功能介绍之CLT

ODPS功能介绍之SQL

技术原理介绍

深入浅出的剖析MaxCompute技术原理，比如SQL运行原理、MR机制、伏羲调度机制、盘古存储机制、优化器等等。

【ATF】林伟：大数据计算平台的研究与实践

MaxCompute MapReduce细节解读

Fuxi ServiceModeJob 多租户（Quota Group）功能介绍

解析阿里云分布式调度系统伏羲

阿里云伏羲(fuxi)调度器FuxiMaster功能简介(一) 多租户(QuotaGroup)管理

阿里云伏羲(fuxi)调度器FuxiMaster功能简介(二) 调度模型

阿里云伏羲(fuxi)调度器FuxiMaster功能简介(三) 针对在线服务的资源强稳定

阿里云伏羲(fuxi)调度器FuxiMaster功能简介(四) NodeLabel调度

盘古：阿里云飞天分布式存储系统设计深度解析

MaxCompute( 原ODPS）下的表分区解释

为什么MaxCompute采用列式存储？列式存储和行式存储的主要区别在哪

从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL

MaxCompute flighting —— Task灰度发布

数加MaxCompute计算资源分布以及LogView分析优化

MaxCompute Optimizer之表达式约化

MaxCompute 中的Code Generation技术简介

MaxCompute（原ODPS）事件(Event)机制

ComputeColStats UDF中近似算法的介绍

MaxCompute SQL原理解析及性能调优

SQL优化器原理-Metadata

SQL优化器原理 - Auto Hash Join

SQL优化器原理－Shuffle优化

SQL优化器原理 - Join重排

大数据基础知识

介绍了目前关键的几个大数据方面的技术，什么是分布式计算、分布式存储、调度、监控等等，帮助开发者从Java工程师成功过渡到大数据工程师。

分布式大数据系统巧实现，全局数据调度管理不再难大规模数据的分布式机器学习平台分布式存储系统分布式离线关系型计算最全总结分布式编程模型的设计与演化分布式调用跟踪与监控实战内存计算每个人都应该知道的25个大数据术语

产品/技术资讯

提供MaxCompute最新的资讯、业界动态、领域技术应用、商机等内容。

阿里云预期净利100亿，碾压99%A股公司 | 新龙榜

从IaaS到AI，马云为何让阿里云去扛人工智能大旗？

数据新能源驱动智慧新世界：数据新能源时代来临

“NASA”计划背后，阿里巴巴大数据系统架构概述

三个词，让你看懂马云、刘强东力推的“新零售”

盘点全球最热门十家大数据公司中国占据三席

[大数据行业应用发展前景分析]阿里潘永花报告：大数据产业将成为新的煤和石油介绍

基于阿里云数加平台的大数据Serverless实践

川普军完美逆袭，阿里大数据为你解读特朗普成功的真相

大数据简析“林丹出轨事件”背后的微博信息传播

《大数据漫谈 -- DT时代》连载之 NO.1

漫谈阿里大数据

巴黎科技展：“中国技术太厉害了，我们得赶紧学学！”

阿里云携大数据计算平台MaxCompute欧洲开服

数加平台如何通过Serverless架构实现普惠大数据

重磅 | 中国大数据企业生态图谱（一）大数据企业融资地图

数加：从数据工程师到CDO的七次升职路

Hadoop这样业界顶级的大规模数据处理平台，均发现满足不了类似双十一这样全世界的剁手党蜂拥而至的热情

阿里云数加合作伙伴-袋鼠云获A轮融资，成立一年半获三轮投资超亿元

大数据平台的发展会降低程序员的价值吗？

阿里云MaxCompute澳大利亚开服，“领跑”人工智能市场

从未停止进化的MaxCompute

比自建 Hadoop 还便宜！云栖大会揭秘阿里云数加 MaxCompute

阿里云MaxCompute香港开服引入更多人工智能

1次演讲13次提到技术，马云在阿里巴巴年会上都说了什么？

阿里巴巴MaxCompute亮相VLDB

DT时代已经悄然来临，IT人您跟上了吗？

阿里云大数据计算服务MaxCompute（原ODPS）华南1（深圳）Region即将开服！

数据智能需求旺盛阿里云MaxCompute 2.0华南区开服

ZStack&阿里云联合发布混合云解决方案10月18日，德国法兰克福，阿里云MaxCompute2.0，全面布局AI人工智能赋能数据处理能力阿里云MaxCompute助企业洞察市场阿里云在美推出MaxCompute大数据计算平台【广州云栖大数据/人工智能会场信息】全新一代人工智能引擎MaxCompute惊艳全场阿里云MaxCompute加速全球化布局 11月1日北京、马来西亚两地开服昨日广州云栖“大算”受追捧，今日揭秘阿里双11技术核武器MaxCompute，感恩节再放福利！（福利截止11.30日）