问题描述

sqoop拉取mysql数据到hive中出现现象

  • mysql数据到hive结构不对了，被打散了，变成一行一行中只有第一列有数据，其他均为null。
  • 或者压根就直接报错sqoop Opening field-encloser expected at position 0

出现原因

因为mysql某个字段中出现换行符，导致数据拉取时出现还没有拉去完直接进行了换行，算作下一行数据的开头。

解决办法

再sqoop拉取命令中加上这样一个命令

  • --hive-drop-import-delims
  • 这条命令的意思是，指定导入时删除hive的默认分隔符： \n, \r, and \01
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

GE-Act 2.0：面向机器人操作的“世界-动作”模型预训练与扩展

avatar DAMO开发者矩阵

空圈容错 用 CMP-D 审计 ROS2 机器人：让机械臂在撞桌前先进安全空状态

本文提出CMP-D-ROS2架构，以六层旁路审计拓扑实现机械臂碰撞风险的柔性降级。在碰撞前0.5秒窗口期，不触发急停，而是降速至0.1m/s、发布告警并等待人工确认，避免产线中断。每层决策由D层审计链记录，支持事后溯源。该方案基于空圈容错思想，属上层安全增强，不可替代硬件急停。架构复用“骨架通用，血肉各长”原则，适配物理端机器人场景，提升安全性与效率。

avatar DAMO开发者矩阵

具身智能 AI 算力方案：低功耗视觉算力支撑具身智能落地

爱芯元智（AXERA）是一家聚焦 AI 推理与边端算力的芯片公司，自研「爱芯通元」NPU 与「爱芯智眸」AI-ISP 双引擎，提供高性能、低功耗的 AX 系列智能 SoC。公司通过 xADEP 开放生态（Pulsar2 工具链、AXCL 接口、爱芯派开发板）降低开发者门槛，并联合生态伙伴推出 M.2/PCIe 算力卡、AI-BOX 等多种形态，把大模型推理能力下沉到设备本地。2026 年 2 月，

avatar DAMO开发者矩阵