标签
Bolderdash
Toggle navigation
Jarxi
Home
English
About
胡言乱语
Technical
AI
Music
网易云音乐
learning
Apple Music
SFT
Tokenizer
HuggingFace
vLLM
GPU
Database
Architecture
Postgres
Billing
Claude Code
Writing
Plugin
胡言乱语
[胡言乱语] 工院as工具人
[胡言乱语] 山川异域,风月同天
[胡言乱语] 武汉疫情
[胡言乱语]Satya Nadella: How I Work
采访
Technical
写完 Hexo skill 之后,又做了一个语气插件
第一个 Claude Code skill 在 ClawHub 上有 700+ 下载,这个数字意外到让我想再写一个。这次装的是我发帖时用的那些语气,而且会一直往里加。
Chat Template 到底 tokenize 了什么
模型看不到你的 messages 列表,只看得到渲染完的那一串文本。想通这件事,add_generation_prompt、loss mask、双 BOS 这几个坑就串起来了。
多层账户与用户模型设计:为什么一个用户只能属于一个账户
三层账户与用户模型:法律实体 → 账户 → 用户。为什么先否决这个设计,两个月后又上线,以及四个只有真实数据才抓得到的静默失败 bug。
Little's Law 与 vLLM 扩缩容:10 个踩坑与 +99% 吞吐
给推理服务做自动扩缩容,最容易犯的错是用 QPS 判断负载。由 Little's Law,请求越慢、满载系统的到达率反而越低——系统 100% 满载时它判定要缩容。换成饱和度判据后,并发 16 以上吞吐 +99.3%、p50 −50.1%。
AI
写完 Hexo skill 之后,又做了一个语气插件
第一个 Claude Code skill 在 ClawHub 上有 700+ 下载,这个数字意外到让我想再写一个。这次装的是我发帖时用的那些语气,而且会一直往里加。
Chat Template 到底 tokenize 了什么
模型看不到你的 messages 列表,只看得到渲染完的那一串文本。想通这件事,add_generation_prompt、loss mask、双 BOS 这几个坑就串起来了。
Little's Law 与 vLLM 扩缩容:10 个踩坑与 +99% 吞吐
给推理服务做自动扩缩容,最容易犯的错是用 QPS 判断负载。由 Little's Law,请求越慢、满载系统的到达率反而越低——系统 100% 满载时它判定要缩容。换成饱和度判据后,并发 16 以上吞吐 +99.3%、p50 −50.1%。
Music
[Music] 网易云音乐翻墙回国
[Music] Sync 网易云音乐 to Apple Music
网易云音乐
[Music] 网易云音乐翻墙回国
[Music] Sync 网易云音乐 to Apple Music
learning
[工作] 找啊找找啊找,找到一个小实习
Apple Music
[Music] Sync 网易云音乐 to Apple Music
SFT
Chat Template 到底 tokenize 了什么
模型看不到你的 messages 列表,只看得到渲染完的那一串文本。想通这件事,add_generation_prompt、loss mask、双 BOS 这几个坑就串起来了。
Tokenizer
Chat Template 到底 tokenize 了什么
模型看不到你的 messages 列表,只看得到渲染完的那一串文本。想通这件事,add_generation_prompt、loss mask、双 BOS 这几个坑就串起来了。
HuggingFace
Chat Template 到底 tokenize 了什么
模型看不到你的 messages 列表,只看得到渲染完的那一串文本。想通这件事,add_generation_prompt、loss mask、双 BOS 这几个坑就串起来了。
vLLM
Little's Law 与 vLLM 扩缩容:10 个踩坑与 +99% 吞吐
给推理服务做自动扩缩容,最容易犯的错是用 QPS 判断负载。由 Little's Law,请求越慢、满载系统的到达率反而越低——系统 100% 满载时它判定要缩容。换成饱和度判据后,并发 16 以上吞吐 +99.3%、p50 −50.1%。
GPU
Little's Law 与 vLLM 扩缩容:10 个踩坑与 +99% 吞吐
给推理服务做自动扩缩容,最容易犯的错是用 QPS 判断负载。由 Little's Law,请求越慢、满载系统的到达率反而越低——系统 100% 满载时它判定要缩容。换成饱和度判据后,并发 16 以上吞吐 +99.3%、p50 −50.1%。
Database
多层账户与用户模型设计:为什么一个用户只能属于一个账户
三层账户与用户模型:法律实体 → 账户 → 用户。为什么先否决这个设计,两个月后又上线,以及四个只有真实数据才抓得到的静默失败 bug。
Architecture
多层账户与用户模型设计:为什么一个用户只能属于一个账户
三层账户与用户模型:法律实体 → 账户 → 用户。为什么先否决这个设计,两个月后又上线,以及四个只有真实数据才抓得到的静默失败 bug。
Postgres
多层账户与用户模型设计:为什么一个用户只能属于一个账户
三层账户与用户模型:法律实体 → 账户 → 用户。为什么先否决这个设计,两个月后又上线,以及四个只有真实数据才抓得到的静默失败 bug。
Billing
多层账户与用户模型设计:为什么一个用户只能属于一个账户
三层账户与用户模型:法律实体 → 账户 → 用户。为什么先否决这个设计,两个月后又上线,以及四个只有真实数据才抓得到的静默失败 bug。
Claude Code
写完 Hexo skill 之后,又做了一个语气插件
第一个 Claude Code skill 在 ClawHub 上有 700+ 下载,这个数字意外到让我想再写一个。这次装的是我发帖时用的那些语气,而且会一直往里加。
Writing
写完 Hexo skill 之后,又做了一个语气插件
第一个 Claude Code skill 在 ClawHub 上有 700+ 下载,这个数字意外到让我想再写一个。这次装的是我发帖时用的那些语气,而且会一直往里加。
Plugin
写完 Hexo skill 之后,又做了一个语气插件
第一个 Claude Code skill 在 ClawHub 上有 700+ 下载,这个数字意外到让我想再写一个。这次装的是我发帖时用的那些语气,而且会一直往里加。