simdutf/simdutf
Unicode routines (UTF8, UTF16, UTF32) and Base64: billions of characters per second using SSE2, AVX2, NEON, AVX-512, RISC-V Vector Extension, LoongArch64, POWER. Part of Node.js, WebKit/Safari, Ladybird, Chromium, Cloudflare Workers, Ghostty and Bun.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 simdutf: Xử lý Unicode và Base64 bằng SIMD, tốc độ hàng tỷ ký tự/giây
Thư viện C++ dùng SIMD tăng tốc UTF-8/UTF-16/UTF-32 và Base64, đạ� tốc độ hàng tỷ ký tự mỗi giây, không cấp phát bộ nhớ, không ném ngoại lệ.
simdutf là thư viện C++ chuyên xử lý Unicode và Base64 tốc độ cao, sử dụng các lệnh SIMD như SSE2, AVX2, AVX-512, ARM NEON, RISC-V Vector Extension. Dự án cung cấp các hàm xác thực (validation), chuyển đổi mã (transcoding) giữa UTF-8, UTF-16, UTF-32 và Latin1, cùng với hỗ trợ Base64 theo chuẩn WHATWG. Được tích hợp vào Node.js, Safari/Webkit, Chromium, Bun, Cloudflare Workers, Ghostty.
✨ Điểm nổi bật
- Xác thực Unicode: UTF-8, UTF-16LE/BE, UTF-32, có/không có xác định lỗi
- Chuyển mã Latin1 ↔ UTF-8/16/32: hỗ trợ xác thực và báo lỗi
- UTF-8 ↔ UTF-16/32: chuyển đổi hai chiềềng, có/không xác thực
- Đếm ký tự: UTF-8, UTF-16, tính kích thước chuỗi đích
- Base64 WHATWG: mã hóa/giải mã, hỗ trợ URL encoding
- Tăng tốc SIMD: SSE2, AVX2, AVX-512, NEON, RISC-V, LoongArch64, POWER
- Hiệu năng cực cao: >1 tỷ ký tự/giây với chuỗi dài
- Không cấp phát bộ nhớ: các hàm không dùng heap, không ném exception
💡 Vì sao đáng chú ý
simdutf khác biệt nhờ kết hợp SIMD để xử lý hàng loạt ký tự đồng thời, đạt hiệu năng vượt trội so với thư viện chuẩn. Phù hợp cho ứng dụng web, trình duyệt, runtime JavaScript cần xử lý văn bản lớn. Được dùng rộng rãi trong các dự án lớn như Node.js, Chromium nhờ độ tin cậy và tốc độ.
#Unicode #SIMD #UTF8 #Base64 #C++ #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Parsing gigabytes of JSON per second : used by Facebook/Meta Velox, the Node.js runtime, ClickHouse, WatermelonDB, Apache Doris, Milvus, StarRocks
WHATWG-compliant and fast URL parser written in modern C++, part of Internet Archive, Node.js, Clickhouse, Redpanda, Kong, Telegram, Adguard, Datadog and Cloudflare Workers.
DirectXMath is an all inline SIMD C++ linear algebra library for use in games and graphics apps
Implementations of SIMD instruction sets for systems which don't natively support them.
The Compute Library is a set of computer vision and machine learning functions optimised for both Arm CPUs and GPUs using SIMD technologies.
C++ wrappers for SIMD intrinsics and parallelized, optimized mathematical functions (SSE, AVX, AVX512, NEON, SVE, WebAssembly, VSX, RISC-V))
C++ image processing and machine learning library with using of SIMD: SSE, AVX, AVX-512, AMX for x86/x64, NEON, SVE for ARM, HVX for Hexagon