本质上,我正在尝试在 MySQL 数据库上运行查询,将数据转换为 JSON 并发回客户端。我尝试了几种方法,所有“简单”的方法都会将所有 JSON 作为字符串发送回。我需要将其作为具有
string
值的键 ([]float64
) 发回。这样我就有了一个与键关联的数据数组。另外,这需要有一个类型。到目前为止,我发现实现此目的的最佳方法是将所有数据放入一个结构中,对其进行编码并将其发送回ResponseWriter
。
我看到了几个关于从数据库制作 JSON 的问题,但我还没有找到任何利用 struct 方法的内容。我将下面的代码写入一个函数来说明我的问题。这是非常有限的,因为它只能处理两个字段,并且必须是
float64
。
因此,我的问题是:如何在将其发送回客户端之前从具有正确类型的查询响应创建此 JSON,并且有没有办法动态地执行此操作(即可以接受可变数量的列和未知的列)类型)?:
{ "Values":[12.54, 76.98, 34.90], "Dates": ["2017-02-03", "2017-02-04:, "2017-02-05"]}
type DbDao struct{
db *sql.DB
}
type JSONData struct {
Values []float64
Dates []string
}
func (d *DbDao) SendJSON(sqlString string, w http.ResponseWriter) (error) {
stmt, err := d.db.Prepare(sqlString)
if err != nil {
return err
}
defer stmt.Close()
rows, err := stmt.Query()
if err != nil {
return err
}
defer rows.Close()
values := make([]interface{}, 2)
scanArgs := make([]interface{}, 2)
for i := range values {
scanArgs[i] = &values[i]
}
for rows.Next() {
err := rows.Scan(scanArgs...)
if err != nil {
return err
}
var tempDate string
var tempValue float64
var myjson JSONData
d, dok := values[0].([]byte)
v, vok := values[1].(float64)
if dok {
tempDate = string(d)
if err != nil {
return err
}
myjson.Dates = append(myjson.Dates, tempDate)
}
if vok {
tempValue = v
myjson.Values = append(myjson.Values, tempValue)
fmt.Println(v)
fmt.Println(tempValue)
}
err = json.NewEncoder(w).Encode(&myjson)
if err != nil {
return err
}
}
return nil
}
这是我能想到的最好的实现,可以让它变得动态。它也比我原来的要短得多。由于我经常看到此类问题,我希望这对其他人有帮助。我愿意接受其他可以更好地实现这一点的答案:
func (d *DbDao) makeStructJSON(queryText string, w http.ResponseWriter) error {
// returns rows *sql.Rows
rows, err := d.db.Query(queryText)
if err != nil {
return err
}
columns, err := rows.Columns()
if err != nil {
return err
}
count := len(columns)
values := make([]interface{}, count)
scanArgs := make([]interface{}, count)
for i := range values {
scanArgs[i] = &values[i]
}
masterData := make(map[string][]interface{})
for rows.Next() {
err := rows.Scan(scanArgs...)
if err != nil {
return err
}
for i, v := range values {
x := v.([]byte)
//NOTE: FROM THE GO BLOG: JSON and GO - 25 Jan 2011:
// The json package uses map[string]interface{} and []interface{} values to store arbitrary JSON objects and arrays; it will happily unmarshal any valid JSON blob into a plain interface{} value. The default concrete Go types are:
//
// bool for JSON booleans,
// float64 for JSON numbers,
// string for JSON strings, and
// nil for JSON null.
if nx, ok := strconv.ParseFloat(string(x), 64); ok == nil {
masterData[columns[i]] = append(masterData[columns[i]], nx)
} else if b, ok := strconv.ParseBool(string(x)); ok == nil {
masterData[columns[i]] = append(masterData[columns[i]], b)
} else if "string" == fmt.Sprintf("%T", string(x)) {
masterData[columns[i]] = append(masterData[columns[i]], string(x))
} else {
fmt.Printf("Failed on if for type %T of %v\n", x, x)
}
}
}
w.Header().Set("Content-Type", "application/json")
err = json.NewEncoder(w).Encode(masterData)
if err != nil {
return err
}
return err
}
这是一种更好的方法(使用 Postgres 进行测试)。无需反射/反射:
columnTypes, err := rows.ColumnTypes()
if err != nil {
return err
}
count := len(columnTypes)
finalRows := []interface{}{};
for rows.Next() {
scanArgs := make([]interface{}, count)
for i, v := range columnTypes {
switch v.DatabaseTypeName() {
case "VARCHAR", "TEXT", "UUID", "TIMESTAMP":
scanArgs[i] = new(sql.NullString)
break;
case "BOOL":
scanArgs[i] = new(sql.NullBool)
break;
case "INT4":
scanArgs[i] = new(sql.NullInt64)
break;
default:
scanArgs[i] = new(sql.NullString)
}
}
err := rows.Scan(scanArgs...)
if err != nil {
return err
}
masterData := map[string]interface{}{}
for i, v := range columnTypes {
if z, ok := (scanArgs[i]).(*sql.NullBool); ok {
masterData[v.Name()] = z.Bool
continue;
}
if z, ok := (scanArgs[i]).(*sql.NullString); ok {
masterData[v.Name()] = z.String
continue;
}
if z, ok := (scanArgs[i]).(*sql.NullInt64); ok {
masterData[v.Name()] = z.Int64
continue;
}
if z, ok := (scanArgs[i]).(*sql.NullFloat64); ok {
masterData[v.Name()] = z.Float64
continue;
}
if z, ok := (scanArgs[i]).(*sql.NullInt32); ok {
masterData[v.Name()] = z.Int32
continue;
}
masterData[v.Name()] = scanArgs[i]
}
finalRows = append(finalRows, masterData)
}
z, err := json.Marshal(finalRows)
这里有一个更好的解决方案,使用反射。它正确处理类型(例如,
true
的字符串值不会错误地转换为布尔值等等。
它还处理可能为空的类型(仅使用 MySQL 进行测试 - 您可能需要针对其他驱动程序修改它)。
package main
import (
"database/sql"
"encoding/json"
"fmt"
"reflect"
"github.com/go-sql-driver/mysql"
)
// Additional scan types returned by the MySQL driver. I haven't looked at
// what PostgreSQL does.
type jsonNullInt64 struct {
sql.NullInt64
}
func (v jsonNullInt64) MarshalJSON() ([]byte, error) {
if !v.Valid {
return json.Marshal(nil)
}
return json.Marshal(v.Int64)
}
type jsonNullFloat64 struct {
sql.NullFloat64
}
func (v jsonNullFloat64) MarshalJSON() ([]byte, error) {
if !v.Valid {
return json.Marshal(nil)
}
return json.Marshal(v.Float64)
}
type jsonNullTime struct {
mysql.NullTime
}
func (v jsonNullTime) MarshalJSON() ([]byte, error) {
if !v.Valid {
return json.Marshal(nil)
}
return json.Marshal(v.Time)
}
var jsonNullInt64Type = reflect.TypeOf(jsonNullInt64{})
var jsonNullFloat64Type = reflect.TypeOf(jsonNullFloat64{})
var jsonNullTimeType = reflect.TypeOf(jsonNullTime{})
var nullInt64Type = reflect.TypeOf(sql.NullInt64{})
var nullFloat64Type = reflect.TypeOf(sql.NullFloat64{})
var nullTimeType = reflect.TypeOf(mysql.NullTime{})
// SQLToJSON takes an SQL result and converts it to a nice JSON form. It also
// handles possibly-null values nicely. See https://stackoverflow.com/a/52572145/265521
func SQLToJSON(rows *sql.Rows) ([]byte, error) {
columns, err := rows.Columns()
if err != nil {
return nil, fmt.Errorf("Column error: %v", err)
}
tt, err := rows.ColumnTypes()
if err != nil {
return nil, fmt.Errorf("Column type error: %v", err)
}
types := make([]reflect.Type, len(tt))
for i, tp := range tt {
st := tp.ScanType()
if st == nil {
return nil, fmt.Errorf("Scantype is null for column: %v", err)
}
switch st {
case nullInt64Type:
types[i] = jsonNullInt64Type
case nullFloat64Type:
types[i] = jsonNullFloat64Type
case nullTimeType:
types[i] = jsonNullTimeType
default:
types[i] = st
}
}
values := make([]interface{}, len(tt))
data := make(map[string][]interface{})
for rows.Next() {
for i := range values {
values[i] = reflect.New(types[i]).Interface()
}
err = rows.Scan(values...)
if err != nil {
return nil, fmt.Errorf("Failed to scan values: %v", err)
}
for i, v := range values {
data[columns[i]] = append(data[columns[i]], v)
}
}
return json.Marshal(data)
}
我认为最好的选择是使用 golang 的 json 库
import "encoding/json"
type JSONData struct {
Values []float64 `json:"Values"`
Dates []string `json:"Dates"`
}
我认为没有一个好的方法可以动态地执行此操作,因为 golang 无法匹配数据库列名称和输出的 json 另外作为旁注,我通常通过发送类型来编写数据库查询代码直接到数据库
var tempDate string
var tempValue float64
err := rows.Scan(&tempDate, &tempValue)
if err != nil {
return err
}
如果你真的想自动执行此操作,你可以查看 golang 代码生成。
出现同样的问题,我写了这个工具,借用了grafana的解决方案。
你可以使用这个工具,把丑陋的类型匹配和转换代码埋藏在依赖下
https://github.com/naughtyGitCat/anonymous-query-scan
import (
"encoding/json"
"fmt"
_ "github.com/go-sql-driver/mysql"
mysql "github.com/naughtyGitCat/anonymous-query-scan/mysql"
)
func main() {
db, err := sql.Open("mysql", mysqlConnectionStr)
if err != nil {
panic(err)
}
rows, err := db.Query("select * from user")
if err != nil {
panic(err)
mappedRows, err := mysql.ScanAnonymousMappedRows(rows)
if err != nil {
return nil, err
}
rowBytes, err := json.Marshal(mappedRows)
if err != nil {
return nil, err
}
fmt.Println(string(bytes))
}