使用Java 批量生成 datax json 脚本
以下是使用Java批量生成datax json脚本的示例代码:
import java.io.File; import java.io.FileWriter; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map;
import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject;
public class DataxJsonGenerator {
public static void main(String[] args) {
// 定义数据源信息
Map<String, Object> source = new HashMap<>();
source.put("name", "mysqlreader");
Map<String, Object> parameter = new HashMap<>();
parameter.put("username", "root");
parameter.put("password", "123456");
parameter.put("column", "id,name,age");
parameter.put("connection", "jdbc:mysql://localhost:3306/test");
source.put("parameter", parameter);
// 定义数据目标信息
Map<String, Object> target = new HashMap<>();
target.put("name", "mysqlwriter");
Map<String, Object> parameter2 = new HashMap<>();
parameter2.put("username", "root");
parameter2.put("password", "123456");
parameter2.put("column", "id,name,age");
parameter2.put("connection", "jdbc:mysql://localhost:3306/test");
parameter2.put("preSql", "truncate table test");
target.put("parameter", parameter2);
// 定义任务信息
Map<String, Object> job = new HashMap<>();
job.put("content", "select id,name,age from user");
job.put("reader", source);
job.put("writer", target);
// 定义datax json脚本信息
Map<String, Object> datax = new HashMap<>();
datax.put("job", job);
// 定义生成的json文件路径
String filePath = "D:/datax/job.json";
// 批量生成json文件
List<String> fileNames = new ArrayList<>();
for (int i = 0; i < 10; i++) {
// 修改任务信息
parameter.put("connection", "jdbc:mysql://localhost:3306/test" + i);
parameter2.put("connection", "jdbc:mysql://localhost:3306/test" + i);
job.put("content", "select id,name,age from user" + i);
// 生成json文件
String fileName = "job_" + i + ".json";
generateJsonFile(datax, fileName, filePath);
fileNames.add(fileName);
}
// 输出生成的json文件名
System.out.println("生成的json文件名为:" + fileNames);
}
/**
* 生成json文件
*
* @param data
* @param fileName
* @param filePath
*/
public static void generateJsonFile(Map<String, Object> data, String fileName, String filePath) {
try {
File file = new File(filePath, fileName);
FileWriter writer = new FileWriter(file);
writer.write(JSON.toJSONString(data));
writer.close();
System.out.println("json文件生成成功:" + fileName);
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 读取json文件
*
* @param fileName
* @return
*/
public static Map<String, Object> readJsonFile(String fileName) {
try {
String filePath = "D:/datax/" + fileName;
String jsonStr = FileUtils.readFileToString(new File(filePath), "UTF-8");
return JSONObject.parseObject(jsonStr, Map.class);
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
}
使用以上代码,将生成10个不同的json文件,每个文件的数据源、数据目标和任务信息都不同。您可以根据需要修改上面的代码以生成符合您的需求的datax json脚本
原文地址: https://www.cveoy.top/t/topic/fbj1 著作权归作者所有。请勿转载和采集!