Using group theory to explore the space of positional encodings for attention
群論で位置エンコーディングを分析、多様な手法の可能性を探求。
RoPEやALiBi等、既存手法は数学的構造から導出可能。
未開拓のエンコーディングは限定的で、既存手法が最適解か。
I Rebuilt Traceroute in Rust and It Was Simpler Than I Expected
Tailscaleをきっかけに、Rustでtracerouteを自作しながら仕組みを解説する記事です。
TTLを下げたUDPとICMPのTime Exceededを使い、経路・遅延・3回プローブを再現します。
*の理由やsudoが必要な理由、実装と本物の違いも整理しています。