發表文章

Export query as csv from beeline Hive(on Linux)

實現目標:在Linux環境下匯出hive執行sql的結果 cd /to/your/path upload sql script beeline -n hue -u 'jdbc:hive2://<hostname>:<10000>' --outputformat=csv2 -f [Srcipt.sql] >  [Outcome.csv] ex: beeline -n hue -u 'jdbc:hive2://localhost:10000' --outputformat=csv2 -f shop.sql > sp_0106.csv 補充說明: 10000是hive server2 jdbc default port 無須進入beeline Flow Finish

PostgreSQL - Reset Identity on pgAdmin

圖片
執行目標:在pgAdmin上重新設定id值 前言 使用pgAdmin建立table以及欄位時,可直接將identity寫入,並設定最大最小值,如附圖所示,一旦資料更動(新增or刪除),想要重新設定id值,可透過以下兩個步驟來完成。 pgAdmin中id欄位設定畫面 正式操作 First : 1.Get the table sequence you want to reset, remember full table name(contain schema) usually it will like schema.tablename_id_seq 2.You can check the relation via the following sql command: SELECT pc.relname FROM pg_class pc WHERE pc.relkind = 'S' Second: Alter SEQUENCE schema.tablename_id_seq RESTART WITH 1 UPDATE schema.tablename SET id = nextval('schema.tablename_id_seq'); ((我之前到底為啥用英文寫...太有才了吧XD Flow Finish

PostgreSQL - COPY command not work on server(pgAdmin)

執行目標 : 將CSV匯入Server上的PostgreSQL 前言 通常在網路上直接搜尋將csv匯入postgresql的方法,大部分都會出現COPY FROM的方式,但這個方法並不適用在資料庫位於Server上的指令(在client端可執行),使用server的資料庫要用import的指令去進行。 正式操作 以下幾個步驟是在pgAdmin建立好 Server端 host 的連線後進行: 右鍵選擇要import csv的table 點選export/import pgAdmin裡面預設為export,記得點選至import import 中可點選的主要為檔案路徑、檔案類型、依據切割的符號、檔案編碼等等 選擇要匯入的欄位 完成 補充說明: Hint1:檔案路徑可以來自網路的路徑,例如nas上表示可能是 \\nas\dchome\test.csv Hint2:import之前記得要先建立好Table Schema Hint3:csv編碼記得確認,可使用notepad++查看檔案編碼 Hint4:中途如有出錯可能是資料本身跟資料庫欄位有落差 ps.我是在pgAdmin上操作的 Flow Finish