Data summarization System
What is Data Summarization System?
การจัดการข้อมูล Data summarization หรือ Data pipeline มีหลายขั้นตอนตั้งแต่การนำข้อมูลเข้าระบบ, การจัดการข้อมูล, การวิเคราะห์ข้อมูล และการแสดงผลการวิเคราะห์ข้อมูล ซึ่งบางครั้ง จำเป็นจะต้องใช้บุคลากรที่มี ความสามารถมารับผิดชอบแต่ละส่วนของการจัดการข้อมูลทำให้เกิดความยุ่งยากและมีค่าใช้จ่ายสูง ซึ่งระบบ Data summarization ที่จะเข้ามาช่วยให้การจัดการข้อมูล โดยสามารถลด ความยุ่งยากในการจัดการ ลดกำลังคนในการทำงาน แต่ยังคงไว้ซึ่ง การทำงานที่มีประสิทธิภาพ ปลอดภัย และรวดเร็ว
Solution Overview
ระบบ Data summarization เป็นระบบที่ทำการรวบรวมขั้นตอนการทำ Data pipeline เข้าไว้ด้วยกัน โดยส่วนการรับข้อมูล จะสามารถรับจากไฟล์ผ่าน FTP, API, SQL Insert มายังฐานข้อมูลของระบบ หรือ ผ่าน Messaging Queue ที่ติดตั้งไว้ได้ เมื่อระบบรับข้อมูลเข้าระบบแล้วระบบจะทำการนำข้อมูล ที่ได้เข้าฐานข้อมูลด้วย Data adapter หลากหลายรูปแบบ ได้แก่ MySQL, Oracle, PostgreSQL และ SQL server ตามความต้องการของผู้ใช้งานระบบ
โดยในการนำข้อมูล เข้าฐานข้อมูลผู้ใช้งานสามารถสั่งงานได้ด้วยการออกแบบคำสั่ง เป็นส่วนย่อยๆ แล้วนำมาเชื่อมต่อกัน เป็น Workflow ที่ทำงานตามลำดับ ต่อเนื่องกันไป โดยการทำงานของ Workflow นี้สามารถสั่งงานโดยผู้ใช้ระบบหรือ ตั้งเวลาให้ระบบทำงานได้ซึ่งเมื่อระบบทำงานเรียบร้อยจะมี Notification แจ้งเตือนผู้ใช้งานให้ทราบการ แสดงผลของข้อมูล สามารถแสดงได้หลากหลายรูป แบบ ได้แก่ ไฟล์TXT, SQL, XLSX, HTML, PDF โดยการใช้งานทั้งหมดของระบบสามารถสั่งงานผ่าน User interface ทำให้การใช้งานง่ายและสะดวก
4 Features of a data pipeline process:
1. Storing data from various sources: ระบบสามารถรองรับการนำเข้าของข้อมูลจากหลายช่องทางเเละข้อมูลหลายประเภท
2. Data storage in the database: ระบบมี Data adapter สำหรับจัดเก็บข้อมูล หลากหลายชนิด ได้แก่ Postgres, MySQL, Microsoft SQL Server หรือ Oracle ทำให้สามารถรองรับข้อมูล ได้หลากหลายรูปแบบ
3. Data transformation: ระบบ Data summarization มีฟังก์ชันที่สามารถเเปลงข้อมูล ให้อยู่ในรูปเเบบที่เหมาะสมตามการใช้งาน โดยกระบวนการแปลงข้อมูล จะสามารถเขียนคำสั่ง ในรปู Block คำ สั่ง และกำหนดลำดับการทำงานก่อนหลังได้ตามที่ผู้ใช้งานต้องการ ทำให้ระบบใช้งานง่ายต่อการนำ ไปวิเคราะห์หรือประยุกต์ใช้งานต่อ ไป
4. Visualization of information: ระบบสามารถจัดรูปเเบบการเเสดงผลลัพธ์ที่เหมาะสมกับผู้ใช้งานมีความปลอดภัยสูง เเละสามารถควบคุมการเข้าถึงของผู้ใช้งานได้ ระบบ Data summarization ภายในจะประกอบด้วยชุด แอพลเคชันที่ถูก พัฒนาขึ้นน จากภาษา Python, HTML, CSS และ Javascript และทำการติดตั้งด้วยเทคโนโลยีDocker พร้อมตัวเลือกการใช้งานติดตั้งด้วย Kubernetes เพื่อให้ขยายขนาดโครงข่ายเซริฟ์ เวอร์ได้โดยสะดวก ระบบนี้จะช่วยให้การทำ Data pipeline จากเดิมที่มีหลายขั้นตอน ต้องใช้พนักงานหลายส่วน สามารถลดจำนวนลงได้
Business Benefit
- ช่วยให้การจัดการข้อมูลให้มีประสิทธิภาพมากยิ่งขึ้น
- ช่วยลดความยุ่งยากในการจัดการข้อมูลที่มีขนาดใหญ่ และรูปแบบของข้อมูลที่หลากหลาย
- ช่วยให้การวิเคราะห์ข้อมูลมีความแม่นยำมากขึ้น
- ช่วยลดการใช้ทรัพยากรบุคคลในการจัดการ
Contact our expert
By submitting, I agree to the processing and international transfer of my personal data by DataOne Asia as described in the Private Policy.