MySQL推出Applier，可实时复制数据到Hadoop
本文共 839 字，大约阅读时间需要 2 分钟。
http://labs.mysql.com
操作可以将数据从一个MySQL服务器（主）复制到其他的一个或多个MySQL服务器（从）。试想一下，如果从服务器不再局限为一个MySQL服务器，而是其他任何数据库服务器或平台，并且复制事件要求实时进行，是否可以实现呢？
MySQL团队最新推出的 （以下简称Hadoop Applier）旨在解决这一问题。
用途
例如，复制事件中的从服务器可能是一个数据仓库系统，如 ，它使用Hadoop分布式文件系统（ ）作为数据存储区。如果你有一个与HDFS相关的Hive元存储，Hadoop Applier就可以实时填充Hive数据表。数据是从MySQL中以文本文件形式导出到HDFS，然后再填充到Hive。
操作很简单，只需在Hive运行HiveQL语句'CREATE TABLE'，定义表的结构与MySQL相似，然后运行Hadoop Applier即可开始实时复制数据。
优势
在Hadoop Applier之前，还没有任何工具可以执行实时传输。之前的解决方案是通过Apache Sqoop导出数据到HDFS，尽管可以批量传输，但是需要经常将结果重复导入以保持数据更新。在进行大量数据传输时，其他查询会变得很慢。且在数据库较大的情况下，如果只进行了一点更改，Sqoop可能也需要较长时间来加载。
而 Hadoop Applier则会读取二进制日志，只应用MySQL服务器上发生的事件，并插入数据，不需要批量传输，操作更快 ，因此并不影响其他查询的执行速度。
实现
Applier使用一个由libhdfs（用于操作HDFS中文件的C库）提供的API。实时导入的过程如下图所示：
数据库被映射作为一个单独的目录，它们的表被映射作为子目录和一个Hive数据仓库目录。插入到每个表中的数据被写入文本文件（命名如datafile1.txt），数据以逗号或其他符号分割（可通过命令行进行配置）。
详细信息：
下载地址： （alpha版本，不可用于生产环境）
转载地址：http://rzmmb.baihongyu.com/
你可能感兴趣的文章
脱机备份与恢复实战（转）
查看>>
WLINUX下的DNS服务器设置（转）
查看>>
游戏引擎剖析（二）（转）
查看>>
sms发mms C语言源码（转）
查看>>
窝CDMA网络中移动IP接入Internet（转）
查看>>
为什么选择百度？-- 巧用百度专题（转）
查看>>
WinXP PRO平台下VS.NET+Series60开发环境配置指南（转）
查看>>
保护你的网络，完全解读网络防火墙（转）
查看>>
实现MMS增值业务的关键技术（转）
查看>>
Vista被破解 一个小程序可成功激活（转）
查看>>
[组图]网络游戏设计（转）
查看>>
SEO作弊常见方法和形式（转）
查看>>
蓝芽技术的原理和应用(2)（转）
查看>>
ACCESS默认保存路径的修改方法（转）
查看>>
解决接通电源后自动开机问题（转）
查看>>
Linux操作系统的使用技巧集锦（转）
查看>>
安全防护：入侵检测实战之全面问答（转）
查看>>
助手的反叛——全面分析浏览器劫持的情况（转）
查看>>
搭建WAP应用JAVA开发环境（转）
查看>>
自启动程序之十大藏身之所（转）
查看>>