最近在跑hive的自定义函数失败时候,查看日志发现个问题;

过滤出数据后进行json在线格式化也没问题,删除这条数据之后发现文件大小变化很大,使用less命令查看数据发现存在大量空字符^@

解决方法:sed -i ‘s/[\x00]//g’ filename 清理空字符^@,这样就可以正常运行任务
版权声明:本文为hfx_2021原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
最近在跑hive的自定义函数失败时候,查看日志发现个问题;
过滤出数据后进行json在线格式化也没问题,删除这条数据之后发现文件大小变化很大,使用less命令查看数据发现存在大量空字符^@
解决方法:sed -i ‘s/[\x00]//g’ filename 清理空字符^@,这样就可以正常运行任务