前言
前一篇處理過依賴項目pom.xml，撰寫一個controller，透過畫面拿到學生資訊，還沒真正實作從資料庫存取資料。
在使用JPA前，這次用使用JDBC Template做簡單的存取，既不用很原始的手動處理JDBC細節，也不會受制於ORM框架下的程式寫法。
開始前，記得確認有沒有下列依賴在pom.xml中，以及application.yaml內有處理資料庫連線設定
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>
<dependency>
<groupId>com.mysql</groupId>
<artifactId>mysql-connector-j</artifactId>
<scope>runtime</scope>
</dependency>
系統架構
要做的流程如下：
- 方便起見，以之前開放出來的
endpoint為觸發點，在頁面請求後，跟資料庫要資料 - 先到
table_configs表中，拿到對應資料表要執行的SQL查詢 - 根據拿到的SQL語法，執行資料拿取，以
heavy_records表為例
資料表Layout
table_configs
heavy_records
heavy_records資料表是為了模擬表中記錄達一定量級下，確認運行過程中會不會出現記憶體不足或效能不佳等問題出現，暫時先塞入10000筆無意義的假數據進行測試。
程式實作
撰寫DataFetchService用來取資料：
- 加上
@Service成為一個component讓Spring知道是一個要列入控管的Bean。 @Autowired在建立這個物件時注入JDBCTemplate- 資料量不大下，不用特別處理
fetch_size，先用queryForList測試看看
@Service
public class DataFetchService {
@Autowired
private JdbcTemplate template;
public List<Map<String, Object>> getAllData(String sql) {
var result = template.queryForList(sql);
return result;
}
}
借一下原本的StudentController中進行本次的邏輯實作：
- 注入
DataFetchService service查詢資料庫，並且確保設定的表在要輸出的清單中，清單為後續規劃使用- 確認拿到的設定及取得的資料
- 寫成
csv檔案
@Autowired
DataFetchService service;
@GetMapping("/student")
public Student getStudent() {
String sql = "select * from table_configs";
var configs = service.getAllData(sql);
var targetTables = List.of("heavy_records");
for (var config : configs) {
String tableName = config.get("table_name").toString();
if (targetTables.contains(tableName)) {
System.out.println("settings: " + configs.get(0));
}
}
var executeSql = configs.get(0).getOrDefault("execute_sql", "").toString();
System.out.println("actual query sql : " + executeSql);
var resultList = service.getAllData(executeSql);
System.out.println("chack data: " + resultList.get(0));
String exportFileName = "test.csv";
CsvUtils.writeMapToCSV(resultList, getHeaders(), exportFileName, '|');
return new Student(1, "John");
}
測試結果
log確認資料
從log中可以看到，如預期中資料庫中獲取設定內資訊，並成功獲取對應表的資料。
輸出的csv檔案
最後將資料輸出檔案，確認10000筆寫入。
因為重複操作，且輸出寫檔的程式寫成增加的模式，才會看到快4萬筆紀錄。
後記
雖然加入了不少東西，實際跟資料庫交換只要依賴跟連線配置處理完成，就可以透過JDBC Template進行存取了。
其他需求端看業務流程進行處理，例如資料格式轉換、客製分隔符號、語法檢核、異常處理、定期排程觸發、寄送通知信等機制，都可以有彈性的追加微調。
