1
2
3
4
5
6
7
8

// 读取csv文件input.csv 自动推测schema
val tbl = Table.read().csv("input.csv")

// 产看读入的表格内容
println(tbl.printAll())

// 查看schema
println(tbl.columnArray().mkString("\n"))

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import tech.tablesaw.api.ColumnType
import tech.tablesaw.io.csv.CsvReadOptions

// 按序指定csv 各列的数据类型
val colTypes: Array[ColumnType] = Array(ColumnType.LOCAL_DATE, ColumnType.STRING, ColumnType.DOUBLE, ColumnType.DOUBLE)
val csvReadOptions = CsvReadOptions.builder("demo.csv").columnTypes(colTypes)
val tbl = Table.read().usingOptions(csvReadOptions)

// 查看schema
println(tbl.columnArray().mkString("\n"))

1
2

// 以case class 的形式定义数据源转化到本地的内存结构
case class RowData(date: LocalDate, name: String, workTime: Double, salary: Double)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

// @param tableName 表格名称
// @param colNames  表格各列的名称列表
// @param colTypes  表格各列的数据类型列表
// @param rows      列数据
def createTable(tblName: String, colNames: Seq[String], colTypes: Seq[ColumnType], rows: Seq[RowData]): Table = {
  // 创建表格设定名称
  val tbl = Table.create(tblName)

  // 创建schema ：按序增加列
  val colCnt = math.min(colTypes.length, colNames.length)
  val cols = (0 until colCnt).map { i =>
    colTypes(i).create(colNames(i))
  }
  tbl.addColumns(cols: _*)

  // 添加数据
  rows.foreach { row =>
    tbl.dateColumn(0).append(row.date)
    tbl.stringColumn(1).append(row.name)
    tbl.doubleColumn(2).append(row.workTime)
    tbl.doubleColumn(3).append(row.salary)
  }

  tbl
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

// 获取姓名列，根据列名索引
val nameCol = tbl.stringColumn("name")

// 根据行号遍历
(0 until nameCol.size()).foreach( i =>
      println(nameCol.get(i))
)

// 直接使用column 提供的遍历接口
nameCol.forEacch(println)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

// 根据列的索引获取工时一列
val workTimeCol = tbl.doubleColumn(2)

// 形变1: map，输出列类型与输入列保持一致
val fullTimeCol = workTimeCol.map { time =>
  // 工时类型是Double，因此需要将形变结果也转化为 Double，否则编译失败
  if (time >= 8)
    1.0
  else
    0.0
}

// 形变 2: mapInto，输入/输出列的数据类型可以不同，但需提前创建大小相同的目标列
val fullTimeCol = BooleanColumn.create("全勤", 
                                       workTimeCol.size()) // 创建记录全勤标签的Boolean列
val mapFunc: Double2BooleanFunction = 
  (workTime: Double) => workTime >= 8.0                    // 基于SAM 创建映射函数
workTimeCol.mapInto(mapFunc, fullTimeCol)                  // 形变
tbl.addColumns(fullTimeCol)                                // 将列添加到表格中

1
2

// 第三列报酬除以第二列工时得到时薪
tbl.doubleColumn(3).divide(tbl.doubleColumn(2))

1
2

// 第三列报酬的标准差
tbl.doubleColumn(3).workTimeCol.standardDeviation()

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

// 设置时间的过滤条件
val datePattern = DateTimeFormatter.ofPattern("yyyy-MM-dd")
val dateSel = tbl.dateColumn(0)
                 .isBetweenIncluding(LocalDate.parse("2019-01-09", datePattern),
                                     LocalDate.parse("2019-01-10", datePattern))
// 设置工时过滤条件
val workTimeSel = tbl.doubleColumn(2).isEqualTo(8.0)
// 设置报酬过滤条件
val salarySel = tbl.doubleColumn(3).isLessThan(1000)
// 综合各条件过滤表格
tbl.where(dateSel.and(workTimeSel).and(salarySel))