问题描述
我有一些非常大的 .sql 文件。它们的大小约为 100GB 或更多。我只需要分析它的数据。该数据在单行（插入）中并且具有非常多的记录。数据示例如下：
-- MysqL dump 10.14 distrib 5.5.64-MariaDB,for Linux (x86_64)
--
-- ------------------------------------------------------
-- Server version 5.6.10
/*!40101 SET @OLD_CHaraCTER_SET_CLIENT=@@CHaraCTER_SET_CLIENT */;
CREATE TABLE `users` (
`id` bigint(20) unsigned NOT NULL,...
...
INSERT INTO `users` VALUES (23770,'han','rrish','Ean','soup7@lahoo.com','bounced',2,'400f0d811b851298bde4ac33d2f','male','wmen',3,'1990-06-21',1422,39017700,-94310640,'64015','US',1,'48df9339926.51312096',NULL,'2008-02-26 03:56:41','201-11-01 21:29:57','2019-09-24 00:29:07',178,7,4,14,6,9223036786810880,8,5129,NULL ...
现在我必须使用 mapreduce 拆分每条数据记录并处理以进行进一步统计。我应该在 Apache Hadoop (3) 自定义作业中使用哪种输入格式？我有一个小型集群，我必须在其中处理此类数据。
有没有更好的解决办法？ 我愿意将 Hadoop 流与 Python 或 Hadoop Java 一起使用。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）