数据湖元数据服务的实现和挑战

摘要:北京时间20200923关于【数据湖元数据服务的实现和挑战】的具体情况和说明,让www.xmyszx.cn新闻频道以图文形式为您慢慢道来。

向您推荐
继续播放

元数据服务上层是引擎接入层

通过提供各种协议的SDK和插件,能够灵活支撑各种引擎的对接,满足引擎对于元数据服务的访问需要。并且通过元数据服务提供的视图,对底层文件系统进行分析和处理。

通过插件体系无缝兼容EMR引擎,能够使EMR全家桶开箱即用,用户全程无感知,即可体验统一元数据服务,避免原Mysql等存储的可扩展性差的问题

元数据服务提供存储视图

通过对不同存储格式/存储目录文件的抽象,为引擎提供统一元数据服务,同时能够避免多引擎独立使用元数据服务之间的不一致性

元数据的管理和自动发现

元数据通过各种方式能够灵活的、跨引擎管理元数据,既能使用户方便的集成元数据服务、扩展元数据服务能力,也能够降低管理成本。Web Console、Sdk、各类引擎客户端和接口

1.兼容开源生态引擎的各类数据库/表/分区上的DDL操作。

2.提供多版本元数据管理/追溯的能力

3.通过元数据能力的开放,在ETL部分/开源工具部分将来也能通过各式插件进行对接,进一步完善整体生态元数据自动发现

元数据自动发现能力是元数据管理能力的另一核心部分,能够自动收集各处文件系统散落的数据,极大了拓宽了统一元数据服务的场景,节省了管理的代价和复杂性。这其中的能力包括

1.自动分析目录层次,动态增量创建database/table/partition等元数据

2.自动分析文件格式,对于各类格式比如常规文本格式及开源大数据格式parquet、orc等都进行了支持

元数据服务的未来

数据湖元数据服务为大数据而生,为互通生态而生,期望后续继续完善其服务能力和支撑更多的大数据引擎,通过开放的服务能力、存储能力、统一的权限及元数据管理能力,为客户节省管理/人力/存储等各项成本,实现客户自己的业务价值。

本文为阿里云原创内容,未经允许不得转载。


查看更多
手机看片中国|亚州男人天堂|小仓遥番号|swagӰƬ|公车上的av日本|琳琅目录导航|女推销员上门推销情趣内衣|国产深夜福利视频|我妻子的借口|麻花影视免费下载|不知火舞春丽|japanese18/19video|国产黄片动漫网站|99re15热在线精品视频|杏书宝典app在哪里下载|最新香蕉视频app下载网址|丝袜美腿AV|奇米手机第四在线观看|wwwporncom|街拍福利视频|

实时推荐

【童趣广播站131期】一园青菜成了精 绕口令
推荐 2020-10-30 20:36 671 6421
大龙开发区召开2020年第15次党工委会议
推荐 2020-10-30 20:33 368 4577
够犀利!黑武士宝马M440i的感觉来了!
推荐 2020-10-30 20:32 808 2472
圣保罗黄宝马M4停靠在路边,看上去如何?
推荐 2020-10-30 20:32 427 8931
短短十言,把人生说透了(经典)
推荐 2020-10-30 20:32 813 8831
大同:一小伙喝酒后与交警来了一场“百米赛跑”
推荐 2020-10-30 20:31 761 3965
徐新调研何村乡产业发展工作
推荐 2020-10-30 20:30 658 5518
10种早餐饼的家常做法,营养又快手,一周不重样!
推荐 2020-10-30 20:30 940 981
和风豆腐糕【12M+】最常见的食材,补钙却很厉害!不给娃吃就亏了
推荐 2020-10-30 20:30 156 2838
叫醒自己的25张图!
推荐 2020-10-30 20:30 267 3858
山东省2020年全民终身学习活动周学习型社会建设及社区教育观摩研讨会在临沂举行
推荐 2020-10-30 20:30 649 2029
违规 “吃空饷”!福建一边防所原政治教导员等人被起诉
推荐 2020-10-30 20:28 341 9207
洛溪大桥新桥,全线贯通!通车时间是……
推荐 2020-10-30 20:24 490 2342
践行“三爱三节”争做新时代好少年 ——华侨实验学校本部三爱三节主题班队会
推荐 2020-10-30 20:22 551 4490
“九九话重阳,浓浓敬老情” 华侨实验学校本部组织“九九重阳节”班会活动
推荐 2020-10-30 20:22 780 4806
雁青学区数学中心组“数的运算”教学研讨活动
推荐 2020-10-30 20:22 494 8462
开展核心素养测试 提升教师专业成长
推荐 2020-10-30 20:22 208 5985
科技汇聚梦想 创新引领未来 —— 华美实验学校第四届科技节
推荐 2020-10-30 20:22 640 5862
乌苏市加快古尔图灌区干渠建设 保障农业可持续发展
推荐 2020-10-30 20:21 908 6662
【靖海播报】书写汉字,传承文化
推荐 2020-10-30 20:20 808 4750
杨万春现场调研新区项目建设工作
推荐 2020-10-30 20:18 282 9210
【七人普】11月1日起,人口普查正式登记入户,你准备好了吗?
推荐 2020-10-30 20:17 286 8171
【复华安全】齐心协力 校园平安——记复华小学生活部安全专项会议
推荐 2020-10-30 20:15 516 3959
央视财经新闻:木头涨价2次,海绵涨7次,纸箱涨5次,家具原材料迎涨价潮
推荐 2020-10-30 20:15 916 828
儿时的味道,东北正宗锅包肉的做法,外皮香酥,肉肉软嫩!
推荐 2020-10-30 20:12 637 4066
连淮扬镇铁路淮镇段迎来首批“乘客”
推荐 2020-10-30 20:11 411 5806
仪征大仪镇:“大地艺术园”涉嫌违法用地被调查
推荐 2020-10-30 20:11 660 6426
绘本故事【温尼和100只大灰狼】
推荐 2020-10-30 20:08 167 5235
大理州人民医院完成首例乳腺癌根治术后乳房即刻重建术!
推荐 2020-10-30 20:07 541 2963
老年病科一病区被命名为“大理州老年病防治科普示范基地”
推荐 2020-10-30 20:07 186 4013
传承榜样力量,不断砥砺前行---淮滨高中物理学科开展“课堂教学研究与学科建设”沙龙活动
推荐 2020-10-30 20:05 399 7342
凝心聚力,活力无限 ——淮滨高中第二届体育艺术科技节教职工篮球友谊赛
推荐 2020-10-30 20:05 481 1855
淮滨高中第二届体育艺术科技节之排球系列|排球,书写精彩生命
推荐 2020-10-30 20:05 375 6294
库尔勒市城市综合治理显成效
推荐 2020-10-30 20:05 652 2056
河北省博野县南邑中学举行趣味英语单词竞赛活动
推荐 2020-10-30 20:03 117 5091
冰箱胶条又脏又黑?一个小绝招,立马干净如新,胶条还不会变形
推荐 2020-10-30 20:03 925 905
工作动态 | 徐友军出席第四届“深澳创意周”开幕式
推荐 2020-10-30 20:02 887 8452
骄傲!武安5家钢企被国家工信部认定为绿色工厂!
推荐 2020-10-30 20:02 666 4605
原来奥迪TT RS这身“衣服”不简单
推荐 2020-10-30 20:01 776 1677
查出脂肪肝,怎么办?别不当回事儿!
推荐 2020-10-30 20:00 274 9133
为什么睡觉时举起双手?这招改善睡眠法,失眠、压抑的人都知道!
推荐 2020-10-30 20:00 244 8372
秋冬之交,膝盖疼痛大增,只需一个动作,膝盖不再痛!
推荐 2020-10-30 20:00 988 5065
优雅细腻的私宅,迸发了无穷的生活乐趣
推荐 2020-10-30 20:00 610 2757
慌了!摘除一侧的“腰子”,以后咋办呢?
推荐 2020-10-30 20:00 562 1233
3个月暴瘦90斤,但他却后悔终生……
推荐 2020-10-30 20:00 589 7617
华为发布智能汽车解决方案新品牌“HI”,微信视频号接入有赞| TGO 每日速递
推荐 2020-10-30 20:00 292 4432
肝经堵?这样锻炼肝经,给身体排毒,坚持百病消
推荐 2020-10-30 20:00 723 9602
团队开发只加两行代码,为什么要用两天?
推荐 2020-10-30 20:00 886 9920
哪不舒服,它出妙招!
推荐 2020-10-30 19:58 656 7999
振奋人心的十部励志电影,帮你拯救失意生活
推荐 2020-10-30 19:58 966 9823
ULSUM丨鞋墙更新:「大帝」的首款签名鞋
推荐 2020-10-30 19:58 975 8989
健识药师谈 | 救命药不见效?“开封”药如何保存是关键
推荐 2020-10-30 19:58 522 1777
三明警方多路出击,9人贩卡团伙被抓获!
推荐 2020-10-30 19:56 816 3901
身为一个打工人,睡不好觉可不行!怎么选床,看这里↓↓↓
推荐 2020-10-30 19:56 278 3009
小村庄的风物诗——余干茄子干
推荐 2020-10-30 19:54 692 3880
热门打卡地!巴基斯坦首条地铁中国造
推荐 2020-10-30 19:53 432 8966
梧州一中学生晚自习后乘车难?零妹了解到的情况是……
推荐 2020-10-30 19:52 430 6738
喜讯!贺巴高速公路昭平至蒙山段今天通车,昭平→蒙山只需20分钟
推荐 2020-10-30 19:52 357 2436
吕梁:县委书记添加你的好友请你帮忙?小心!这可能是骗子的圈套!
推荐 2020-10-30 19:50 292 1773
趁现在,盆里藏上10粒豆,催出5个“小虎崽”,虎皮兰1盆变多盆!
推荐 2020-10-30 19:47 146 4431
高血压的罪魁祸首不是盐!而是它,该忌口了!
推荐 2020-10-30 19:47 344 9237
可不要嫌弃这花“丑”,在家养一盆,家的“保护神”,养人更镇宅
推荐 2020-10-30 19:47 918 3858
冬天豆腐不要直接炖,简单一冻,个个起蜂窝,汤汁饱满,还有嚼劲!
推荐 2020-10-30 19:47 425 7712
【科室介绍】兵团第一师医院骨科一病区
推荐 2020-10-30 19:44 354 8824
快速瘦肚子粗腰的六个方法!!!
推荐 2020-10-30 19:43 333 3656
这才是秀恩爱啊,看到都会脸红 !
推荐 2020-10-30 19:43 468 1501
三都县召开2020年“信用工程”升级达标工作推进会
推荐 2020-10-30 19:43 651 7639
国家民委全国少数民族古籍整理研究室到三都调研
推荐 2020-10-30 19:43 441 6312
市领导赴福州高新区调研空气质量整治工作
推荐 2020-10-30 19:40 372 6457
国际商务学院向潍坊职业学院64周岁生日献礼
推荐 2020-10-30 19:39 771 8001
定边公安破获各类刑事案件31起,抓获犯罪嫌疑人21人
推荐 2020-10-30 19:37 641 8251
贺州一男子酒后开车,竟被老婆举报!
推荐 2020-10-30 19:33 189 3460
重磅!贺州这条高速今天通车了!
推荐 2020-10-30 19:33 596 8361
发挥烤箱的小宇宙 · 焗饭篇
推荐 2020-10-30 19:30 390 9176
近百万人同时观看的直播课在讲啥?竟让观众纷纷点赞!
推荐 2020-10-30 19:30 507 3007
7道家常菜,暖暖的很贴心!
推荐 2020-10-30 19:30 278 3627
手把手教你做下饭菜,别急着流口水!
推荐 2020-10-30 19:30 599 5833
数据分析查摆问题 精准施策促进提升——辽阳市初中教学质量分析培训会成功召开
推荐 2020-10-30 19:28 790 1989
小区内“飞线充电”、违规停车!菏泽一地开始整治!
推荐 2020-10-30 19:28 648 9840
粉粉粉!肇庆周边一片120亩粉黛乱子草免费赏,共享秋日浪漫!
推荐 2020-10-30 19:28 947 9056
买菜走起!雨花这家农贸市场大变样
推荐 2020-10-30 19:28 646 3289
学校热点3 | 上海帕丁顿双语学校:飞扬的少年最动人心
推荐 2020-10-30 19:28 254 9284
叔本华:人生中没有一件事物不是带着若干缺点的
推荐 2020-10-30 19:28 440 1563
巧用阿胶调理宫寒
推荐 2020-10-30 19:25 948 3613
【文明实践在行动】今天,这里的两场赛事很热闹
推荐 2020-10-30 19:19 772 5151
【铸牢中华民族共同体意识】看望慰问退役老兵 传承抗美援朝精神
推荐 2020-10-30 19:19 406 4867
农村乱占耕地建房“八不准”系列漫画 | 不准违反“一户一宅”规定占用耕地建房
推荐 2020-10-30 19:12 661 1350
专家把脉指方向 深度视导促提升——厦门市教科院领导、专家莅临我校教学视导
推荐 2020-10-30 19:11 489 9950
【聚焦高速】贺州至巴马高速公路昭平至蒙山段今天通车
推荐 2020-10-30 19:11 471 1266
东阳职教中心:非遗青创基地掀起盖头来
推荐 2020-10-30 19:10 417 2438
市教育局开展学校组织委员业务提升专题培训
推荐 2020-10-30 19:10 930 4110
市教育局一周工作综述
推荐 2020-10-30 19:10 749 5575
11岁男童咳嗽两年不见好,罪魁祸首竟是它!
推荐 2020-10-30 19:07 638 6664
引领青年、凝聚青年、服务青年 昌江区召开青年发展工作联席会
推荐 2020-10-30 19:05 130 3013
好消息!我院消除“三病”动漫科普视频获广东省第二届妇幼公共卫生项目主题宣传作品优秀奖
推荐 2020-10-30 19:05 376 7086
“大智之星”枣庄学子奖学金颁奖仪式成功举办
推荐 2020-10-30 19:02 642 6798
【汽车品牌小知识】兰博基尼
推荐 2020-10-30 19:01 894 1087
办好老百姓家门口的每一所学校——平度市青杨中学
推荐 2020-10-30 19:00 143 2239
53个小秘方,解决大部分的小病小痛,非常珍贵!
推荐 2020-10-30 19:00 976 3375
吕梁:道路封闭通告
推荐 2020-10-30 19:00 329 9376