svk/1c-logprocessor
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Реализована пакетная отправка данных в эластики соответствующие настройки. Произведена чистка кода

Browse Source
This commit is contained in:
Калинин Сергей Валерьевич 2024-10-28 16:28:37 +03:00
parent 44c6b59a40
commit 595095cfc0
1 changed files with 292 additions and 210 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

394
log-processor.go
View File

@ -1,27 +1,12 @@
// ---------------------------------------------------------------------- // ----------------------------------------------------------------------
// Программа для анализа и записи журналов 1С // Программа для анализа и записи журналов 1С
// Версия: 1.0.0 // Версия: 1.2.0
// Автор: Сергей Калинин // Автор: Сергей Калинин, svk@nuk-svk.ru
// https://git.nuk-svk.ru/svk/1c-logprocessor
// Лицензия: GPLv3
// ---------------------------------------------------------------------- // ----------------------------------------------------------------------
// Использование log-processor: // Использование log-processor:
// -dict-file string // см. README.md
// Файл со словарём (DICT_FILE) (default "1Cv8.lgf")
// -dir-in string
// Каталог для исходных файлов (DIR_IN) (default "in")
// -dir-log string
// Каталог для лога работы (DIR_LOG) (default "log")
// -dir-out string
// Каталог для обработанных файлов (DIR_OUT) (default "out")
// -dir-temp string
// Каталог для временных файлов (TEMP) (default "/tmp")
// -log-file-ext string
// Расширение файлов с журналами (обрабатываемых логов) (LOG_FILE_EXT) (default ".lgp")
// -object-types string
// Список типов объектов для выборки разделённый запятой (OBJECT_TYPES) (default "1,2,3,4,5,6,7,8")
// -out-format string
// Выводить данные в формате JSON (OUT_FORMAT) (default "json")
// -send-to-es
// Отправлять данные в ElasticSearch (SEND_TO_ES)
// ------------------------------------------------------------------------- // -------------------------------------------------------------------------
// ELASTICSEARCH_URL="https://user:pass@elastic:9200" // ELASTICSEARCH_URL="https://user:pass@elastic:9200"
@ -38,22 +23,27 @@ import (
"time" "time"
"io" "io"
// "runtime" // "runtime"
"path/filepath" "path/filepath"
"regexp" "regexp"
"strings" "strings"
"strconv" "strconv"
"encoding/json" "encoding/json"
// "github.com/hpcloud/tail" // "github.com/hpcloud/tail"
"net" "net"
"sort" "sort"
"crypto/tls" "crypto/tls"
"net/http" "net/http"
"context" "context"
"gopkg.in/ini.v1" "gopkg.in/ini.v1"
opensearch "github.com/opensearch-project/opensearch-go/v2" opensearch "github.com/opensearch-project/opensearch-go/v2"
opensearchapi "github.com/opensearch-project/opensearch-go/v2/opensearchapi" opensearchapi "github.com/opensearch-project/opensearch-go/v2/opensearchapi"
"github.com/kardianos/service" "github.com/kardianos/service"
) )
const (
Version = "1.2.0"
)
var ( var (
DirCfg string DirCfg string
FileCfg string FileCfg string
@ -91,6 +81,7 @@ var (
InFile string InFile string
WorkLogOut string WorkLogOut string
ServiceName string ServiceName string
// PrintVersion bool
) )
type Config struct { type Config struct {
@ -108,8 +99,8 @@ type Config struct {
EsPassword string `ini:"esPassword"` EsPassword string `ini:"esPassword"`
EsIndexPrefix string `ini:"esIndexPrefix"` EsIndexPrefix string `ini:"esIndexPrefix"`
EsSkipVerify bool `ini:"esSkipVerify"` EsSkipVerify bool `ini:"esSkipVerify"`
// EsBulk bool `ini:"esBulk"` EsBulk bool `ini:"esBulk"`
// EsBulkRecordsQuantity int `ini:"esBulkQuantity"` EsBulkRecordsQuantity int `ini:"esBulkQuantity"`
OutFormat string `ini:"outFormat"` OutFormat string `ini:"outFormat"`
WriteOutFile bool `ini:"writeOutFile"` WriteOutFile bool `ini:"writeOutFile"`
TimeZoneOffset string `ini:"timeZoneOffset"` TimeZoneOffset string `ini:"timeZoneOffset"`
@ -251,6 +242,10 @@ esPassword=user_password
esSkipVerify=false esSkipVerify=false
; Перфикс индекса в ElasticSearch ; Перфикс индекса в ElasticSearch
esIndexPrefix=test_log esIndexPrefix=test_log
; Пакетная вставка данных
esBulk=true
; Количество записей в одном "пакете"
esBulkRecordsQuantity=10
[Processing] [Processing]
; Включение вывода обработанной информации в файл ; Включение вывода обработанной информации в файл
@ -269,25 +264,25 @@ excludeEvent=
// Список файлов в каталоге // Список файлов в каталоге
func getDirectoryContents(dir string) []string { func getDirectoryContents(dir string) []string {
var names []string var names []string
entries, err := os.ReadDir(dir); entries, err := os.ReadDir(dir);
if err != nil { if err != nil {
log.Println("Ошибка получения содержимого каталога: ", dir, err); log.Println("Ошибка получения содержимого каталога: ", dir, err);
} else { } else {
if Debug { if Debug {
log.Println("Get the directory content:", dir) log.Println("Get the directory content:", dir)
} }
} }
//iterate through the directory entities and print out their name. //iterate through the directory entities and print out their name.
for _, entry := range(entries) { for _, entry := range(entries) {
if filepath.Ext(entry.Name()) == LogFileExtention { if filepath.Ext(entry.Name()) == LogFileExtention {
// fmt.Println(entry.Name()); // fmt.Println(entry.Name());
if Debug { if Debug {
log.Println("Finded file:", entry.Name()) log.Println("Finded file:", entry.Name())
} }
names = append(names, entry.Name()) names = append(names, entry.Name())
} }
} }
return names return names
} }
func getLastModifyFile(dir string) []string { func getLastModifyFile(dir string) []string {
@ -471,10 +466,10 @@ func readDictFile(fileName string) map[int]map[int]string {
} }
if implContains(objectTypesList, result["objType"]) == false { if implContains(objectTypesList, result["objType"]) == false {
continue continue
} }
objTypeInt, _ := strconv.Atoi(result["objType"]) objTypeInt, _ := strconv.Atoi(result["objType"])
objNumberInt, _ := strconv.Atoi(result["objNumber"]) objNumberInt, _ := strconv.Atoi(result["objNumber"])
if res[objTypeInt] == nil { if res[objTypeInt] == nil {
res[objTypeInt] = make(map[int]string) res[objTypeInt] = make(map[int]string)
} }
res[objTypeInt][objNumberInt] = strings.Trim(result["objData"], "{}\"") res[objTypeInt][objNumberInt] = strings.Trim(result["objData"], "{}\"")
@ -506,10 +501,10 @@ func readDictFile(fileName string) map[int]map[int]string {
} }
if implContains(objectTypesList, result["objType"]) == false { if implContains(objectTypesList, result["objType"]) == false {
continue continue
} }
objTypeInt, _ := strconv.Atoi(result["objType"]) objTypeInt, _ := strconv.Atoi(result["objType"])
objNumberInt, _ := strconv.Atoi(result["objNumber"]) objNumberInt, _ := strconv.Atoi(result["objNumber"])
if res[objTypeInt] == nil { if res[objTypeInt] == nil {
res[objTypeInt] = make(map[int]string) res[objTypeInt] = make(map[int]string)
} }
res[objTypeInt][objNumberInt] = strings.Trim(result["objData"], "{}") res[objTypeInt][objNumberInt] = strings.Trim(result["objData"], "{}")
@ -606,12 +601,12 @@ func writeOutJSONFile(outChannel *os.File, line map[string]string) {
return return
} }
a_json, err := json.MarshalIndent(line, "", " ") a_json, err := json.MarshalIndent(line, "", " ")
if err != nil { if err != nil {
log.Printf("Error encoding: %s", line, "with error %s", err) log.Printf("Error encoding: %s", line, "with error %s", err)
} }
if err != nil{ if err != nil{
log.Printf("Error encoding query: %s", err) log.Printf("Error encoding query: %s", err)
} }
outChannel.Write(a_json) outChannel.Write(a_json)
} }
@ -661,14 +656,14 @@ func getDuration(transactionTime int, recordTimeStamp string) string {
} }
beginTime := time.Unix(int64(transactionTime), 0) beginTime := time.Unix(int64(transactionTime), 0)
zone, _ := beginTime.Zone() zone, _ := beginTime.Zone()
// fmt.Println("The second time is", beginTime, zone, offset) // fmt.Println("The second time is", beginTime, zone, offset)
t := fmt.Sprintf("%s-%s-%s %s:%s:%s %s", recordTimeStamp[0:4], recordTimeStamp[4:6], recordTimeStamp[6:8], recordTimeStamp[8:10], recordTimeStamp[10:12], recordTimeStamp[12:14], zone) t := fmt.Sprintf("%s-%s-%s %s:%s:%s %s", recordTimeStamp[0:4], recordTimeStamp[4:6], recordTimeStamp[6:8], recordTimeStamp[8:10], recordTimeStamp[10:12], recordTimeStamp[12:14], zone)
endTime, err := time.Parse("2006-01-02 15:04:05 MST", t) endTime, err := time.Parse("2006-01-02 15:04:05 MST", t)
if err != nil { if err != nil {
log.Println("Ошибка преобразования времени 'func getDuration()':", endTime, err) log.Println("Ошибка преобразования времени 'func getDuration()':", endTime, err)
} }
duration := endTime.Unix() - int64(transactionTime) duration := endTime.Unix() - int64(transactionTime)
// fmt.Println(transactionTime, recordTimeStamp, t, duration) // fmt.Println(transactionTime, recordTimeStamp, t, duration)
return strconv.Itoa(int(duration)) return strconv.Itoa(int(duration))
@ -805,7 +800,7 @@ func parseString (outLine string, logOffset int64) map[string]string {
} }
return nil return nil
} }
} }
} }
case "Metadata": case "Metadata":
resultData = getDataFromDict(5, findedData[i]) resultData = getDataFromDict(5, findedData[i])
@ -857,13 +852,13 @@ func parseString (outLine string, logOffset int64) map[string]string {
// Проверка вхождения строки в срез (массив строк) // Проверка вхождения строки в срез (массив строк)
func implContains(sl []string, name string) bool { func implContains(sl []string, name string) bool {
// iterate over the array and compare given string to each element // iterate over the array and compare given string to each element
for _, value := range sl { for _, value := range sl {
if value == name { if value == name {
return true return true
} }
} }
return false return false
} }
// Запуск чтения файлов // Запуск чтения файлов
@ -871,6 +866,11 @@ func runOperations () {
var client *opensearch.Client var client *opensearch.Client
if InFile != "" { if InFile != "" {
if SendToEs {
client = esConnect()
EsIndexName = EsIndexPrefix + "-" + getDate(InFile)
esCreateIndex(EsIndexName, client)
}
tail(client, InFile, os.Stdout) tail(client, InFile, os.Stdout)
return return
} }
@ -936,9 +936,10 @@ func tail(client *opensearch.Client, fileName string, out io.Writer) {
recBegin = false recBegin = false
outLine string outLine string
l string l string
// bulkCount int bulkCount int
// arrRecords []map[string]string arrRecords []map[string]string
fOut *os.File fOut *os.File
indexName string
// matchedEnd bool // matchedEnd bool
) )
@ -969,10 +970,10 @@ func tail(client *opensearch.Client, fileName string, out io.Writer) {
// Переместим указатель в файле на последнюю позицию при закрытии программы // Переместим указатель в файле на последнюю позицию при закрытии программы
pos, err := f.Seek(offsetPossition, 0) pos, err := f.Seek(offsetPossition, 0)
if err != nil { if err != nil {
log.Printf("Seek error on %s: %s", fileName, err) log.Printf("Seek error on %s: %s", fileName, err)
} else { } else {
log.Println("Начинаем с позиции:", pos) log.Println("Начинаем с позиции:", pos)
} }
r := bufio.NewReader(f) r := bufio.NewReader(f)
@ -992,11 +993,6 @@ func tail(client *opensearch.Client, fileName string, out io.Writer) {
// Регулярные выражения для определения начала и конца записи // Регулярные выражения для определения начала и конца записи
regexpBeginRecord := regexp.MustCompile(`^\{\d{14},\w{1},$`) regexpBeginRecord := regexp.MustCompile(`^\{\d{14},\w{1},$`)
regexpEndRecord := regexp.MustCompile(`^\},$`) regexpEndRecord := regexp.MustCompile(`^\},$`)
// var (й
// isPrefix bool = true
// // err error = nil
// line []byte
// )
for { for {
line, err := Readln(r) line, err := Readln(r)
// for line, _, err := r.ReadLine(); err != io.EOF; line, _, err = r.ReadLine() { // for line, _, err := r.ReadLine(); err != io.EOF; line, _, err = r.ReadLine() {
@ -1031,6 +1027,7 @@ func tail(client *opensearch.Client, fileName string, out io.Writer) {
result := parseString(outLine, logOffset) result := parseString(outLine, logOffset)
if Debug { if Debug {
log.Println(len(result), result) log.Println(len(result), result)
log.Println("Префикс индекса:", EsIndexPrefix, result["index_day_prefix"])
} }
// Пишем выходные файлы // Пишем выходные файлы
if WriteOutFile { if WriteOutFile {
@ -1042,25 +1039,30 @@ func tail(client *opensearch.Client, fileName string, out io.Writer) {
} }
// Отправляем данные в ElasticSearch / OpenSearch // Отправляем данные в ElasticSearch / OpenSearch
if SendToEs { if SendToEs {
// if result["index_day_prefix"] == "" { if result["index_day_prefix"] != "" {
// continue indexName = EsIndexPrefix + "-" + result["index_day_prefix"]
// }
indexName := EsIndexPrefix + "-" + result["index_day_prefix"]
// пакетная отправка данных в эластик
// addRes := esAddRecord(client, indexName, result)
if Debug {
log.Println("Index name:", indexName)
} }
go esAddRecord(client, indexName, result) // if Debug {
time.Sleep(TailSleep) // log.Println("Index name:", indexName)
// time.Sleep(5 * time.Millisecond) // // log.Println("Пакетная обработка:", EsBulk)
// Если запись не добавилась делаем повторную попытку через 5 сек.
// if !addRes {
// time.Sleep(5 * time.Second)
// addRes = esAddRecord(client, indexName, result)
// log.Println("Повторная попытка добавления записи:", result, addRes)
// } // }
// Пакетная обработка, запускается если выставлена опция командной строки
// иначе отправляется по одной строке
if EsBulk {
if bulkCount < EsBulkRecordsQuantity {
if len(result) != 0 {
arrRecords = append(arrRecords, result)
bulkCount++
}
} else {
go esAddRecordsBulk(client, indexName, arrRecords)
bulkCount = 0
arrRecords = nil
}
} else {
go esAddRecord(client, indexName, result)
}
time.Sleep(TailSleep)
} }
writeTempFile(tempFile, logOffset) writeTempFile(tempFile, logOffset)
if Debug { if Debug {
@ -1117,7 +1119,14 @@ func tail(client *opensearch.Client, fileName string, out io.Writer) {
} }
} }
} }
// Если получен сигнал о наличии новго файла то прекращаем читать старый
// и отправляем пакет данных в эластик (чтобы не потерять последние записи)
if shutUp { if shutUp {
if SendToEs && EsBulk {
go esAddRecordsBulk(client, indexName, arrRecords)
bulkCount = 0
arrRecords = nil
}
break break
} }
} }
@ -1131,14 +1140,14 @@ func createWorkDir() {
for _, dir := range dirs { for _, dir := range dirs {
// fmt.Println(dir) // fmt.Println(dir)
if !directoryExists(dir) { if !directoryExists(dir) {
err := os.Mkdir(dir, 0755) err := os.Mkdir(dir, 0755)
if err != nil { if err != nil {
log.Println(err) log.Println(err)
} else { } else {
log.Println("Создан каталог", dir) log.Println("Создан каталог", dir)
} }
} }
} }
} }
// CloseIdleConnections() // CloseIdleConnections()
func esConnect() *opensearch.Client { func esConnect() *opensearch.Client {
@ -1184,7 +1193,7 @@ func esConnect() *opensearch.Client {
// Создаем индекс в ES // Создаем индекс в ES
func esCreateIndex(indexName string, client *opensearch.Client) { func esCreateIndex(indexName string, client *opensearch.Client) {
mapping := strings.NewReader(IndexTemplate) mapping := strings.NewReader(IndexTemplate)
// Create an index with non-default settings. // Create an index with non-default settings.
createIndex := opensearchapi.IndicesCreateRequest{ createIndex := opensearchapi.IndicesCreateRequest{
Index: indexName, Index: indexName,
Body: mapping, Body: mapping,
@ -1194,11 +1203,14 @@ func esCreateIndex(indexName string, client *opensearch.Client) {
log.Println("Create index:", createIndex) log.Println("Create index:", createIndex)
} }
createIndexResponse, err := createIndex.Do(context.Background(), client) createIndexResponse, err := createIndex.Do(context.Background(), client)
if err != nil { if err != nil {
log.Println("failed to create index ", err, createIndexResponse) log.Println("failed to create index ", err, createIndexResponse)
os.Exit(1) os.Exit(1)
} }
fmt.Println(createIndexResponse.StatusCode) if Debug {
log.Println("Create index:", createIndex)
}
fmt.Println(createIndexResponse.StatusCode)
if strings.Contains(createIndexResponse.String(), "already exists") { if strings.Contains(createIndexResponse.String(), "already exists") {
log.Println(createIndexResponse.IsError()) log.Println(createIndexResponse.IsError())
log.Println("Index", indexName, "already exists") log.Println("Index", indexName, "already exists")
@ -1207,35 +1219,6 @@ func esCreateIndex(indexName string, client *opensearch.Client) {
} }
} }
func esAddRecordsBulk(client *opensearch.Client, indexName string, arrLine []map[string]string) {
// Perform bulk operations.
for _, obj := range arrLine {
aJson, err := json.Marshal(obj)
fmt.Println(aJson)
if err != nil{
log.Printf("Error encoding query: %s", err)
}
}
// blk, err := client.Bulk(
// strings.NewReader(`
// { "index" : { "_index" : "go-test-index1", "_id" : "2" } }
// { "title" : "Interstellar", "director" : "Christopher Nolan", "year" : "2014"}
// { "create" : { "_index" : "go-test-index1", "_id" : "3" } }
// { "title" : "Star Trek Beyond", "director" : "Justin Lin", "year" : "2015"}
// { "update" : {"_id" : "3", "_index" : "go-test-index1" } }
// { "doc" : {"year" : "2016"} }
// `),
// )
//
// if err != nil {
// fmt.Println("failed to perform bulk operations", err)
// os.Exit(1)
// }
// fmt.Println("Performing bulk operations")
// fmt.Println(blk)
}
// Вставка записи в индекс ES // Вставка записи в индекс ES
func esAddRecord(client *opensearch.Client, indexName string, line map[string]string) bool { func esAddRecord(client *opensearch.Client, indexName string, line map[string]string) bool {
@ -1246,9 +1229,9 @@ func esAddRecord(client *opensearch.Client, indexName string, line map[string]st
} }
var operResult bool var operResult bool
aJson, err := json.MarshalIndent(line, "", " ") aJson, err := json.MarshalIndent(line, "", " ")
if err != nil { if err != nil {
log.Printf("Error encoding: %s", line, "with error %s", err) log.Printf("Error encoding: %s", line, "with error %s", err)
} }
if Debug { if Debug {
log.Println(line) log.Println(line)
} }
@ -1273,13 +1256,108 @@ func esAddRecord(client *opensearch.Client, indexName string, line map[string]st
} else { } else {
operResult = true operResult = true
} }
if Debug {
log.Println(insertResponse) // Проверям результат добавления записи, если код возврата не равен 200
// то повторяем несколько раз
if insertResponse.StatusCode == 200 && operResult {
log.Println("Пакет данных добавлен")
} else {
// Ждем две секунды перед повторной отправкой
j := 1
for j <= 5 {
time.Sleep(2 * time.Second)
insertResponse, err := req.Do(context.Background(), client)
if err != nil {
log.Println("Ошибка повторного добавления записи в opensearch (процедура esAddRecordsBulk):", err)
}
if insertResponse.StatusCode == 200 {
operResult = true
break
}
j++
}
} }
if Debug {
log.Printf("Ответ от %s при добавлении записи: %s", EsUrl, insertResponse)
}
defer insertResponse.Body.Close() defer insertResponse.Body.Close()
return operResult return operResult
} }
// Пакетная Вставка записуй в индекс ES
func esAddRecordsBulk(client *opensearch.Client, indexName string, arr []map[string]string) bool {
if Debug {
log.Println("================= Отправка пакета данных ===================")
log.Println("Индекс:", indexName)
// log.Println(arr)
}
if len(arr) == 0 {
return false
}
var (
operResult bool
resultJson string
)
resultJson = ""
for _, line := range arr {
// if Debug {
// log.Println("----", i, line)
// }
if len(line) != 0 {
resultJson += fmt.Sprintf("{\"create\": { \"_index\": \"%s\"}}\n", indexName)
aJson, err := json.Marshal(line)
if err != nil {
log.Printf("Error encoding: %s", line, "with error %s", err)
} else {
resultJson += fmt.Sprintf("%s\n", string(aJson))
}
}
}
// _ = strings.NewReader(string(aJson))
if Debug {
log.Println(string(resultJson))
}
r := strings.NewReader(resultJson)
bulkResp, err := client.Bulk(r)
if err != nil {
log.Println("Ошибка добавления пакета данных в opensearch (процедура esAddRecordsBulk):", err)
operResult = false
} else {
operResult = true
}
// Проверям результат добавления записи, если код возврата не равен 200
// то повторяем несколько раз
if bulkResp.StatusCode == 200 && operResult {
log.Println("Пакет данных добавлен")
} else {
// Ждем две секунды перед повторной отправкой
j := 1
for j <= 5 {
time.Sleep(2 * time.Second)
bulkResp, err = client.Bulk(r)
if err != nil {
log.Println("Ошибка повторного добавления пакета данных в opensearch (процедура esAddRecordsBulk):", err)
}
if bulkResp.StatusCode == 200 {
operResult = true
break
}
j++
}
}
if Debug {
log.Printf("Ответ от %s при добавлении пакета данных: %s", EsUrl, bulkResp)
}
defer bulkResp.Body.Close()
return operResult
}
// Читаем конфиг и определяем переменные // Читаем конфиг и определяем переменные
func readConfigFile(fileName string) { func readConfigFile(fileName string) {
cfg, err := ini.LoadSources(ini.LoadOptions{ cfg, err := ini.LoadSources(ini.LoadOptions{
@ -1308,6 +1386,8 @@ func readConfigFile(fileName string) {
EsPassword = cfg.Section("ElasticSearch").Key("esPassword").String() EsPassword = cfg.Section("ElasticSearch").Key("esPassword").String()
EsSkipVerify = cfg.Section("ElasticSearch").Key("esSkipVerify").MustBool() EsSkipVerify = cfg.Section("ElasticSearch").Key("esSkipVerify").MustBool()
EsIndexPrefix = cfg.Section("ElasticSearch").Key("esIndexPrefix").String() EsIndexPrefix = cfg.Section("ElasticSearch").Key("esIndexPrefix").String()
EsBulk = cfg.Section("ElasticSearch").Key("esBulk").MustBool()
EsBulkRecordsQuantity, _ = strconv.Atoi(cfg.Section("ElasticSearch").Key("esBulkRecordsQuantity").String())
} }
WriteOutFile = cfg.Section("Processing").Key("writeOutFile").MustBool() WriteOutFile = cfg.Section("Processing").Key("writeOutFile").MustBool()
@ -1387,8 +1467,8 @@ func RunWinService() {
func main() { func main() {
// Читаем опции коммандной строки // Читаем опции коммандной строки
flag.BoolVar(&RunAsWinService, "run-win-service", false, "Запуск как службы Windows") flag.BoolVar(&RunAsWinService, "run-win-service", false, "Запуск как службы Windows")
flag.StringVar(&DirCfg, "dir-config", ".config", "Каталог для файлов настройки (DIR_CFG)") flag.StringVar(&DirCfg, "dir-config", ".config", "Каталог для файлов настройки (DIR_CFG)")
flag.StringVar(&FileCfg, "config", "config.ini", "Файл настроек") flag.StringVar(&FileCfg, "config", "config.ini", "Файл настроек")
flag.BoolVar(&CreateFileCfg, "create-config", false, "Создать файл настроек") flag.BoolVar(&CreateFileCfg, "create-config", false, "Создать файл настроек")
flag.BoolVar(&Debug, "debug", false, "Выводить отладочную информацию") flag.BoolVar(&Debug, "debug", false, "Выводить отладочную информацию")
flag.StringVar(&DirIn, "dir-in", "in", "Каталог для исходных файлов (DIR_IN)") flag.StringVar(&DirIn, "dir-in", "in", "Каталог для исходных файлов (DIR_IN)")
@ -1402,8 +1482,8 @@ func main() {
flag.StringVar(&EsPassword, "es-password", "", "Пароль пользователя Elastic Search (ELASTICSEARCH_PASSWORD)") flag.StringVar(&EsPassword, "es-password", "", "Пароль пользователя Elastic Search (ELASTICSEARCH_PASSWORD)")
flag.StringVar(&EsIndexPrefix, "es-index-prefix", "", "Префикс имени индекса Elastic Search (ELASTICSEARCH_INDEX_PREFIX)") flag.StringVar(&EsIndexPrefix, "es-index-prefix", "", "Префикс имени индекса Elastic Search (ELASTICSEARCH_INDEX_PREFIX)")
flag.BoolVar(&EsDiscoverNode, "es-discover-node", false, "Получать список узлов кластера ElasticSearch") flag.BoolVar(&EsDiscoverNode, "es-discover-node", false, "Получать список узлов кластера ElasticSearch")
// flag.IntVar(&EsBulkRecordsQuantity, "es-bulk-quantity", 10, "Количество записей в одном запросе для пакетной вставки") flag.IntVar(&EsBulkRecordsQuantity, "es-bulk-quantity", 10, "Количество записей в одном запросе для пакетной вставки")
// flag.BoolVar(&EsBulk, "es-bulk", false, "Пакетная вставка записей в Elastic Search") flag.BoolVar(&EsBulk, "es-bulk", false, "Пакетная вставка записей в Elastic Search")
flag.BoolVar(&EsSkipVerify, "es-skip-verify", false, "Пропустить проверку сертификатов при подключении к Elastic Search") flag.BoolVar(&EsSkipVerify, "es-skip-verify", false, "Пропустить проверку сертификатов при подключении к Elastic Search")
flag.BoolVar(&WriteOutFile, "write-out-file", false, "Запись обработанных данных в файл") flag.BoolVar(&WriteOutFile, "write-out-file", false, "Запись обработанных данных в файл")
flag.StringVar(&OutFormat, "out-format", "csv", "Формат данных на выходе (csv, json) (OUT_FORMAT)") flag.StringVar(&OutFormat, "out-format", "csv", "Формат данных на выходе (csv, json) (OUT_FORMAT)")
@ -1413,8 +1493,14 @@ func main() {
flag.StringVar(&Duration, "tail-sleep", "5ms", "Задержка чтения входного файла. Разрешены обозначения 'ns', 'us' ('µs'), 'ms', 's', 'm','h')") flag.StringVar(&Duration, "tail-sleep", "5ms", "Задержка чтения входного файла. Разрешены обозначения 'ns', 'us' ('µs'), 'ms', 's', 'm','h')")
flag.StringVar(&InFile, "file", "", "Имя файла для обработки. Если требуется обработать один файл") flag.StringVar(&InFile, "file", "", "Имя файла для обработки. Если требуется обработать один файл")
flag.StringVar(&WorkLogOut, "worklog-out", "file", "Направление вывода журнала работы программы (console, file)") flag.StringVar(&WorkLogOut, "worklog-out", "file", "Направление вывода журнала работы программы (console, file)")
// flag.BoolVar(&Version, "version", false, "Версия программы")
flag.BoolFunc("version", "Версия программы", func(s string) error {
fmt.Println("Версия:", Version)
os.Exit(0)
return nil
})
flag.Parse() flag.Parse()
configFile := filepath.Join(DirCfg, FileCfg) configFile := filepath.Join(DirCfg, FileCfg)
if fileExists(configFile) { if fileExists(configFile) {
@ -1436,32 +1522,28 @@ func main() {
// Проверка и установка переменных для работы // Проверка и установка переменных для работы
if DirIn == "" && os.Getenv("DIR_IN") == "" { if DirIn == "" && os.Getenv("DIR_IN") == "" {
fmt.Println("Make sure environment variables `DIR_IN`, or used with '-dir-in' argument") fmt.Println("Make sure environment variables `DIR_IN`, or used with '-dir-in' argument")
os.Exit(1) os.Exit(1)
} else if DirIn == "" && os.Getenv("DIR_IN") != "" { } else if DirIn == "" && os.Getenv("DIR_IN") != "" {
DirIn = os.Getenv("DIR_IN") DirIn = os.Getenv("DIR_IN")
}
if WriteOutFile {
if DirOut == "" && os.Getenv("DIR_OUT") == "" {
fmt.Println("Make sure environment variables `DIR_OUT`, or used with '-dir-out' argument")
os.Exit(1)
} else if DirOut == "" && os.Getenv("DIR_OUT") != "" {
DirOut = os.Getenv("DIR_OUT")
}
} }
if os.Getenv("LOG_FILE_EXT") != "" { if WriteOutFile {
LogFileExtention = os.Getenv("LOG_FILE_EXT") if DirOut == "" && os.Getenv("DIR_OUT") == "" {
} fmt.Println("Make sure environment variables `DIR_OUT`, or used with '-dir-out' argument")
os.Exit(1)
} else if DirOut == "" && os.Getenv("DIR_OUT") != "" {
DirOut = os.Getenv("DIR_OUT")
}
}
// if os.Getenv("TEMP") != "" { if os.Getenv("LOG_FILE_EXT") != "" {
// DirTemp = os.Getenv("TEMP") LogFileExtention = os.Getenv("LOG_FILE_EXT")
// } }
if os.Getenv("DIR_LOG") != "" { if os.Getenv("DIR_LOG") != "" {
DirLog = os.Getenv("DIR_LOG") DirLog = os.Getenv("DIR_LOG")
} }
// Проверяем параметры и переменные окружения для работы с ElasticSearch / OpenSearch // Проверяем параметры и переменные окружения для работы с ElasticSearch / OpenSearch
if SendToEs { if SendToEs {