一、问题再现
使用wkhtmltopdf插件做html转换pdf,打印条码标签。
打印两三张没问题,打印多了程序就出现这种卡死的情况,等很久程序也没有反应,也不报错,后台也没有程序输出。试了几次都是这种情况。感觉程序一直在等待,于是怀疑是死锁。
二、查找原因
经过查找资料了解到:Process.waitFor可能导致死锁?
因为本地的系统对标准输入和输出所提供的缓冲池有限,所以错误的对标准输出快速的写入和从标准输入快速的读入都有可能造成子进程死锁。问题的关键在缓冲区这个地方:可执行程序的标准输出比较多,而运行窗口的标准缓冲区不够大,所以发生阻塞。接着来分析缓冲区,当Runtime对象调用exec(cmd)后,JVM会启动一个子进程,该进程会与JVM进程建立三个管道连接:标准输入,标准输出和标准错误流。假设该程序不断在向标准输出流和标准错误流写数据,而JVM不读取的话,当缓冲区满之后将无法继续写入数据,最终造成阻塞在waitfor()这里。
需要注意读取程序的stdout和stderr都是阻塞的操作,这意味着必须在两个线程里分别读取,而不是在一个线程里一次读取,否则还是有可能出现阻塞的情况:比如先读取stdout再读取stderr,如果程序的stderr输出已经填满了缓冲区,程序就会阻塞不继续执行,但是java线程又阻塞在读取stdout上,只有stdout结束了才会去读取stderr。结果就是互相等待着的过程中哦给你程序卡死了
1. 当我们使用Runtime.exec执行命令时,JAVA的线程会创建一个子进程,用于执行命令,而且子进程和JAVA线程会分别独立运行。
2. JAVA线程需要等待命令的执行完成,对命令的日志和返回值进行处理,所以我们在JAVA线程中调用Process.waitFor挂起来等待子进程完成。
3. 子进程执行时,不断的打印日志信息,我们通过Process.getInputStream和 Process.getErrorStream进行获取正常输出日志和错误日志进行处理。
4. 这个时候子进程不断的向JAVA线程写入数据,而JAVA线程调用Process.waitFor后已经阻塞挂起,而子进程在不断的向JAVA线程进行写入数据,当我们的Process.getInputStream的buffer缓冲区被写满,而JAVA线程依然挂起并未消费buffer中的数据,导致子进程无法继续向buffer缓冲区中继续写入数据,导致子进程也挂起。 5. 这个时候JAVA线程和子进程都处于挂起的状态,JAVA线程等待子进程的结束,子进程等待JAVA线程对buffer缓冲区中的数据进行消费。两者在相互等待导致死锁。
死锁原理图
三、解决方案
1.思路
既然是由于buffer缓冲区的数据没有消费导致子进程挂起,那么我们从这里下手。
a. 消费buffer缓冲区中的数据
b. 当JAVA线程调用Process.waitFor后,线程会进行挂起,那我们就使用多线程进行消费数据。
2.正常流程图
3.代码实现
容易出现死锁的旧代码
public static boolean execCommond(String... args) {
boolean flg = true;
Runtime run = Runtime.getRuntime();
try {
Process p;
if (args != null && args.length == 1) {
p = run.exec(args[0]);
} else {
p = run.exec(args);
}
LoggerUtils.info(CmdExecUtils.class, p.getInputStream() + "....getInputStream..");
BufferedInputStream in = new BufferedInputStream(p.getInputStream());
BufferedReader inBr = new BufferedReader(new InputStreamReader(in));
LoggerUtils.info(CmdExecUtils.class, inBr + "....inBr..");
String lineStr;
while ((lineStr = inBr.readLine()) != null) {
LoggerUtils.info(CmdExecUtils.class, lineStr );
System.out.println(lineStr);// 打印输出信息
}
if (p.waitFor() != 0) {
if (p.exitValue() == 1) {
logger.info("==================================命令执行失败!");
flg = false;
}
}
inBr.close();
in.close();
} catch (Exception e) {
e.printStackTrace();
flg = false;
}
return flg;
}
解决死锁后的代码:
private static ThreadPoolExecutor executor;
static {
ThreadFactory namedThreadFactory = new ThreadFactoryBuilder()
.setNameFormat("cmd-pool-%d").build();
//根据实际情况创建线程池
executor = new ThreadPoolExecutor(6, 10, 5,
TimeUnit.SECONDS, new LinkedBlockingQueue<Runnable>(1024),
namedThreadFactory, new ThreadPoolExecutor.AbortPolicy());
}
private static void clearStream(InputStream stream) {
//处理buffer的线程
executor.execute(new Runnable() {
@Override
public void run() {
String line = null;
try (BufferedReader in = new BufferedReader(new InputStreamReader(stream));) {
while ((line = in.readLine()) != null) {
LoggerUtils.debug(CmdExecUtils.class,line);
}
} catch (IOException e) {
LoggerUtils.error(CmdExecUtils.class,"exec error : {}", e);
}
}
});
}
public static boolean execCommond(String... args) {
boolean flg = true;
Runtime run = Runtime.getRuntime();
try {
Process p;
if (args != null && args.length == 1) {
p = run.exec(args[0]);
} else {
p = run.exec(args);
}
InputStream stream=p.getInputStream();
LoggerUtils.info(CmdExecUtils.class, stream + "....getInputStream..");
//消费正常日志
clearStream(stream);
//消费错误日志
clearStream(p.getErrorStream());
if (p.waitFor() != 0) {
if (p.exitValue() == 1) {
LoggerUtils.info(CmdExecUtils.class,"=============exec=====================命令执行失败!");
flg = false;
}
}
} catch (Exception e) {
e.printStackTrace();
flg = false;
}
return flg;
}