自分が現時点で思うGoのruneの最低限の知識です。(なお、業務ではrune使ったことない)
いつか必要になった時にこれだけは知っておいた方が良いかなーと思って自分用にまとめました。
'で括る0'は不可[]runeとstringは相互変換可能stringをrangeで回すと2つめの返り値はrune型の値import "fmt" func main() { var r rune fmt.Println(r) r = 'A' fmt.Println(r) for _, v := range "ABC" { fmt.Println(v) } fmt.Println(string([]rune{65, 66, 67})) }
0 65 65 66 67 ABC
数年前に一度調べたが、完全に頭から消えているので再度調べてみた。
Go の MySQL ドライバーとして go-sql-driver/mysql を使用した際の挙動にハマったので、解決策を記しておきます。
クエリを発行し、取得した整数型の値をany型の値で受け取る際に予期しない結果となることがあります。
package main import ( "database/sql" "fmt" "os" "github.com/go-sql-driver/mysql" ) func main() { db, err := sql.Open("mysql", (&mysql.Config{ User: "root", Passwd: "password", DBName: "rdb", Addr: "localhost:3000", AllowNativePasswords: true, }).FormatDSN()) if err != nil { fmt.Fprintln(os.Stderr, err) os.Exit(1) } var val any if err := db.QueryRow("SELECT 1").Scan(&val); err != nil { fmt.Fprintln(os.Stderr, err) os.Exit(1) } fmt.Printf("type is %T\n", val) var val2 any if err := db.QueryRow("SELECT ?", 1).Scan(&val2); err != nil { fmt.Fprintln(os.Stderr, err) os.Exit(1) } fmt.Printf("type is %T\n", val2) }
go run main.go type is []uint8 type is int64
2つのSELECT文は同じ値を返しているはずですが、プレースホルダを用いているか否かで、値の型が異なってしまいます。
期待するのは、どちらもint64になることです。
プレースホルダへのバインドが不要であってもプリペアドステートメントを使うよう実装することができます。
https://github.com/go-sql-driver/mysql/issues/407#issuecomment-172583652
下記が実装例です。
package main import ( "database/sql" "fmt" "os" "github.com/go-sql-driver/mysql" ) func main() { db, err := sql.Open("mysql", (&mysql.Config{ User: "root", Passwd: "password", DBName: "rdb", Addr: "localhost:3000", AllowNativePasswords: true, }).FormatDSN()) if err != nil { fmt.Fprintln(os.Stderr, err) os.Exit(1) } var val any stmt, err := db.Prepare("SELECT 1") if err != nil { fmt.Fprintln(os.Stderr, err) os.Exit(1) } defer stmt.Close() if err := stmt.QueryRow().Scan(&val); err != nil { fmt.Fprintln(os.Stderr, err) os.Exit(1) } fmt.Printf("type is %T\n", val) var val2 any if err := db.QueryRow("SELECT ?", 1).Scan(&val2); err != nil { fmt.Fprintln(os.Stderr, err) os.Exit(1) } fmt.Printf("type is %T\n", val2) }
go run main.go type is int64 type is int64
MySQL にはバイナリプロトコル、テキストプロトコルという2つのプロトコルがあります。
go-sql-driver/mysql は、プリペアドステートメントを使用する際にはバイナリプロトコルを使用し、そうでない場合はテキストプロトコルを使用します。
テキストプロトコルでデータを受信した場合には[]uint8で結果を取得し、バイナリプロトコルの場合にはカラムの型に応じた Go の型で結果を取得します。
上記を踏まえると、テキストプロトコルが使用されるケースでScan()にany型の値を渡した際に[]uint8型の値がアサインされるのは自然です。
また、テキストプロトコルが使用されるケースであってもint64型の値を渡せばint64型の値がアサインされるので、型を強制したいのであればany型を渡すなよということです。
こちらの記事が詳しいです。
今回、解決策を示していますが、実は go-sql-driver/mysql 次期バージョンにおいて上記の問題は解決されます。
テキストプロトコルが使用されるケースであっても、整数、浮動小数点をint64やfloat64にパースするPRがマージされています。
Parse numbers on text protocol too by methane · Pull Request #1452 · go-sql-driver/mysql · GitHub
v1.8 のリリースを待ちましょう。
| val |
|---|
| {"Bob": {"A": 10, "B": 5}, "Alice": {"A": 10, "C": 5}} |
| {"Bob": {"D": 10, "E": 5}, "Mike": {"A": 5, "F": 5}} |
上記のようなJSON型の値を持った行から下記のような結果を得たいが、MySQL 5.7には JSON_TABLE が実装されていない。
| name | type | val |
|---|---|---|
| Bob | A | 10 |
| Bob | B | 5 |
| Bob | D | 10 |
| Bob | E | 5 |
| Alice | A | 10 |
| Alice | C | 5 |
| Mike | A | 5 |
| Mike | F | 5 |
SELECT t.k AS name, JSON_UNQUOTE(JSON_EXTRACT(JSON_KEYS(t.v), CONCAT('$[', idx_list_2.idx, ']'))) AS type, JSON_UNQUOTE(JSON_EXTRACT(t.v, CONCAT('$.', JSON_EXTRACT(JSON_KEYS(t.v), CONCAT('$[', idx_list_2.idx, ']'))))) AS val FROM ( SELECT JSON_UNQUOTE(JSON_EXTRACT(JSON_KEYS(val), CONCAT('$[', idx_list.idx, ']'))) AS k, JSON_EXTRACT(val, CONCAT('$.', JSON_EXTRACT(JSON_KEYS(val), CONCAT('$[', idx_list.idx, ']')))) AS v FROM json CROSS JOIN ( SELECT @idx := @idx + 1 AS idx FROM (SELECT @idx := -1) AS init_idx CROSS JOIN information_schema.`COLUMNS` ) AS idx_list WHERE JSON_EXTRACT(JSON_KEYS(val), CONCAT('$[', idx_list.idx, ']')) IS NOT NULL ) AS t CROSS JOIN ( SELECT @idx2 := @idx2 + 1 AS idx FROM (SELECT @idx2 := -1) AS init_idx CROSS JOIN information_schema.`COLUMNS` ) AS idx_list_2 WHERE JSON_EXTRACT(JSON_KEYS(t.v), CONCAT('$[', idx_list_2.idx, ']')) IS NOT NULL;
メンテナンス性が終わっているなあ...。
MySQL をDBMSとして使用している環境において、取得結果をカラムの値で順位付けしたいことがあると思います。
バージョンが 8.0 であればウインドウ関数 RANK() を使用すれば実現できますが、5.7 を使用している場合は別の方法を取る必要があります。
CREATE TABLE IF NOT EXISTS tbl ( `id` INT AUTO_INCREMENT NOT NULL, `name` VARCHAR(20) NOT NULL, `count` INT NOT NULL, PRIMARY KEY (`id`) );
INSERT INTO tbl(name, count) VALUES('ユーザA', 1), ('ユーザB', 2), ('ユーザC', 2), ('ユーザD', 0), ('ユーザE', 10);
自己非等値結合を使用し、自分よりcountの値が大きいレコードの数を数えて順位を導き出しています。
SELECT tbl.*, (SELECT COUNT(*)+1 FROM tbl AS tmp WHERE tmp.count > tbl.count) AS rank FROM tbl ORDER BY rank;
| id | name | count | rank |
|---|---|---|---|
| 5 | ユーザE | 10 | 1 |
| 2 | ユーザB | 2 | 2 |
| 3 | ユーザC | 2 | 2 |
| 1 | ユーザA | 1 | 4 |
| 4 | ユーザD | 0 | 5 |
同じ順位の値が続いた際に、次の順位を前の順位にレコード数を加算した値にするのではなく、続きの値にする場合は DISTINCT を使用して count の値が同じレコードを1件と数えます。
SELECT tbl.*, (SELECT COUNT(DISTINCT tmp.count)+1 FROM tbl AS tmp WHERE tmp.count > tbl.count) AS rank FROM tbl ORDER BY rank;
| id | name | count | rank |
|---|---|---|---|
| 5 | ユーザE | 10 | 1 |
| 3 | ユーザC | 2 | 2 |
| 2 | ユーザB | 2 | 2 |
| 1 | ユーザA | 1 | 3 |
| 4 | ユーザD | 0 | 4 |
grepの-q オプションで対象が見つかった時点で探索を終了できる。フィルター、コントロールの選択値の挙動を確認した。カスタムSQLを使っている場合、データセットパラメータがデフォルト値の状態で選択値の検索をするためのクエリが走るようだ。カスケードフィルターを使っていても、デフォルト値の埋まった SQL がサブクエリで包まれて、そのサブクエリの結果に対して上流のフィルターの値で検索するので、デフォルト値次第で結果が変わってくる。実際に SQL のログ見ないとわからない仕様。
先週、aws_quicksight_data_source の更新時の挙動がおかしい気がしてissueを立てたのだが、それに対応するPRを作った。既存の実装の挙動を見ながらそれらしくコーディングしつつ、貢献ガイドを参照するという進め方で行った。ACCテストも書いたが、QuickSight のサブスクリプションそろそろやめたいので今後、QuickSight のACCテスト書く時どうしよう。
resources ブロックに CFn をそのまま書ける事を知った。TS で書くようにすれば、Yaml よりも構造的に書けるのでは。
インポート機能を知った。先に対象のリソースと同じ記述をする必要があるのは大変だなあ。
