A Third Of Fintech Is Invisible To AI Agents
{
“title”: “بازدهی نامناسب صفحات اصلی فین‌تک در نمایش به عوامل هوش مصنوعی”,
“content”: “
یک سوم از برترین وب‌سایت‌های فین‌تک در جهان کمتر از ۸۰% محتوای صفحه اصلی خود را به صورت HTML خام ارائه می‌دهند. این همان نسخه‌ای از صفحه است که یک عامل هوش مصنوعی هنگامی که بازدید می‌کند دریافت می‌کند، پیش از آنکه تصمیم بگیرد که آیا برای رندر کامل مرورگر محاسبه کند یا نه. اکثر آنها این کار را نمی‌کنند.
ستون ساختاری معماری مبتنی بر ماشین می‌گوید اطلاعات حیاتی نباید وابسته به جاوااسکریپت سمت مشتری باشد. استقلال در رندر. تا ماه گذشته، این یک اصل طراحی بود. اکنون این یک عدد است و این عدد ناراحت‌کننده است.
در ۲۵ می، ۲۷۴ صفحه اصلی فین‌تک از لیست برترین شرکت‌های فین‌تک جهان CNBC برای سال ۲۰۲۵ اندازه‌گیری کردم. دو اندازه‌گیری متوالی در هر یک انجام دادم: یک دریافت HTTP خام بدون اجرای جاوااسکریپت و یک رندر کامل مرورگر با استفاده از Playwright. فاصله بین دو خوانش فاصله‌ای است که یک عامل هوش مصنوعی باید خودش پر کند. ۳۶% از این وب‌سایت‌ها او را وادار به انجام این کار برای مهم‌ترین صفحه در ملکیت می‌کنند. مطالعه کامل در ابزارهای عملکرد وب منتشر شده است.
بیشتر پوشش دید هوش مصنوعی از مرحله رندر صرف‌نظر می‌کند
بیشتر پوشش دید هوش مصنوعی روی نشانه‌گذاری اسکیما، محتوای ساختارمند، سیگنال‌های اعتبار برند و بهینه‌سازی برای مرور کلی AI، جستجوی ChatGPT، استنادهای پیچیدگی و خط لوله بنای Gemini تمرکز دارد. مشاوره‌ها به سرعت انباشته می‌شوند.
تمام اینها فرض می‌کند که عامل محتوای شما را در وهله اول دیده است.
بیشتر خزنده‌های هوش مصنوعی جاوااسکریپت را رندر نمی‌کنند. GPTBot، ClaudeBot، PerplexityBot، چشم‌انداز کاربر-عامل هوش مصنوعی که مدل‌هایی را که می‌خواهید به آنها استناد شود تغذیه می‌کنند، دریافت‌های HTTP می‌گیرند و می‌روند. آنها مرورگر نیستند. اجرای یک نمونه واقعی Chromium به ازای هر صفحه هزینه محاسبه دارد که در میلیون‌ها صفحه‌ای که این سیستم‌ها می‌خواهند بخوانند ضرب می‌شود. بنابراین، به طور پیش‌فرض، آنها این کار را نمی‌کنند. آنها آنچه را که در پاسخ HTTP خام برمی‌گردد می‌گیرند و پیش می‌روند.
موارد استثنایی وجود دارد. خزنده گوگل برای برخی صفحات یک خط لوله رندر با تأخیر اجرا می‌کند. برخی سیستم‌های هوش مصنوعی برای اهداف با ارزش بالا رندر می‌کنند، یا به صورت انتخابی رندر می‌کنند وقتی که پاسخ خام خالی به نظر می‌رسد. الگو مطلق نیست. اما پیش‌فرض تولید برای خزنده‌هایی که بزرگترین سیستم‌های هوش مصنوعی وب را تغذیه می‌کنند، دریافت HTTP خام، بدون جاوااسکریپت، گرفتن آنچه که آنجا است می‌باشد.
این شکافی ایجاد می‌کند که کاربران آن را نمی‌بینند. یک بازدیدکننده واقعی وب‌سایت شما را در مرورگر باز می‌کند. جاوااسکریپت اجرا می‌شود. صفحه در دیدگاه جمع می‌شود. محتوا بارگذاری می‌شود، طرح‌بندی تثبیت می‌شود، تصویر قهرمان وارد می‌شود. بازدیدکننده آنچه را که شما ساخته‌اید می‌بیند. عامل هوش مصنوعی پاسخ را دریافت می‌کند قبل از اینکه هر یک از اینها اتفاق بیفتد. هر چیزی که در پاسخ HTML اولیه ظاهر نمی‌شود، برای آن عامل، وجود ندارد.
این همان چیزی است که ستون ساختار معماری مبتنی بر ماشین درباره آن است. اطلاعات حیاتی نباید وابسته به جاوااسکریپت سمت مشتری باشند. صفحه باید از پاسخ HTTP خام قابل تجزیه باشد، نه از دیدگاه مرورگر که پنج ثانیه بعد رندر شده است. این یک ترجیح عملکردی نیست که به عنوان معماری پوشیده شده باشد. این یک نیاز دید برای عوامل هوش مصنوعی است که اکنون وب را به نیابت از کاربران می‌خوانند.
در سایت خبری خبررسان آخرین اخبارحوادث,سیاسی,فرهنگ وهنر,اقتصاد و تکنولوژی,دفاعی,ورزشی,ایران,جهان را بخوانید.
تا همین اواخر، نیاز به استقلال در رندر یک استدلال بود. شما می‌توانستید مشخصات را بخوانید، رفتار خزنده‌ها را ببینید، نتیجه‌گیری کنید و هنوز درباره اینکه چقدر در عمل مشکل است اختلاف نظر داشته باشید. هیچ عددی نبود که بتوانید به آن اشاره کنید.
داده‌های فین‌تک به شما آن عدد را می‌دهند.
دو خوانش از یک صفحه: HTML خام، سپس رندر مرورگر
آزمایش در هر یک از ۲۷۴ صفحه اصلی فین‌تک ساده بود: دو اندازه‌گیری متوالی، اجرا شده در ۲۵ می ۲۰۲۶ از پرتغال. اولین مورد یک دریافت HTTP خام بر علیه صفحه اصلی تاکنونی بود، بدون اجرای جاوااسکریپت، هر بایتی که در پاسخ بازگشت. دومین مورد یک رندر مرورگر کامل با استفاده از Playwright 1.60.0 با Chromium 148.0.7778.96 در حالت غیر سرپوشیده، ضبط صفحه در پنج ثانیه پس از TTFB و دوباره در حالت بیکار شبکه بود. تمام اندازه‌گیری‌ها از پرتغال در ۲۵ می ۲۰۲۶، بر روی پهنای باند مسکونی، دیدگاه ۱۲۸۰ در ۸۰۰، بدون محدودیت شبکه اجرا شدند.
برای هر وب‌سایت، محتوا از عنصر <main>، <article> یا <body> استخراج و به Markdown تبدیل شد تا عناصر ساختاری را حفظ کند. متن دریافت اولیه به عنوان درصدی از متن بیکار شبکه اندازه‌گیری شد. اگر دریافت اولیه ۸۰% یا بیشتر از آنچه که در نهایت مرورگر رندر کرد برگرداند، وب‌سایت به طور کامل دید داشت. بین ۶۰% و ۷۹% جزئی بود. بین ۳۰% و ۵۹% کم بود. کمتر از ۳۰% تقریباً صفر بود.
سه خوانش در یک صفحه، در یک جلسه، که با آنچه که مرورگر باید انجام دهد تا صفحه کامل شود جدا شده است: دریافت اولیه، رندر پنج ثانیه‌ای، بیکاری شبکه.
قسمت جالب منحنی خوانش بیکاری شبکه در انتهای آن نیست. تقریباً هر وب‌سایتی در نمونه به محتوای کامل توسط بیکاری شبکه می‌رسد. قسمت جالب خوانش دریافت اولیه در ابتدا است، زیرا دریافت اولیه خوانشی است که بیشتر خزنده‌های هوش مصنوعی واقعاً می‌گیرند.
۳۶% کمتر از ۸۰% محتوای خود را بدون جاوااسکریپت تحویل می‌دهند
از ۲۷۴ صفحه اصلی فین‌تک اندازه‌گیری شده، ۹۹ صفحه کمتر از ۸۰% محتوای نهایی خود را از دریافت HTTP خام برگرداندند. این عدد اصلی است. سی و شش درصد.
در داخل این ۹۹، توزیع تند است. پنجاه و پنج وب‌سایت (۲۰% از کل نمونه) کمتر از ۳۰% محتوای خود را بدون جاوااسکریپت برگرداندند. چهل و هفت از آن وب‌سایت‌ها هیچ محتوایی برنگرداندند. پاسخ HTML یک پوسته، چارچوب طرح‌بندی، برخی اسکریپت‌های داخلی و بدون محتوای قابل خواندن را حمل کرد. هر آنچه که صفحه اصلی قرار بود ارتباط برقرار کند به یک زمان اجرای جاوااسکریپت نیاز داشت تا آن را ارتباط دهد.
۴۷ وب‌سایت بدون محتوا شامل صرافی‌های بزرگ، بانک‌های نوآور معروف، پلتفرم‌های وام‌دهی بزرگ، چندین شرکت عمومی و برندهایی است که فردی در امور مالی بدون پیشنهاد درک می‌کند. من قصد ندارم آنها را به طور جداگانه نام ببرم. نام بردن از وب‌سایت‌ها از مشاهده معماری زیرین منحرف می‌کند. اینکه آیا صفحه اصلی شما به یک عامل هوش مصنوعی نمایش داده می‌شود یا نه در حال حاضر تابعی از تصمیماتی است که هیچ‌کس در تیم در آن زمان‌ها به این شکل فکر نمی‌کرد.
۲۴ وب‌سایت در باند دید جزئی ۶۰ تا ۷۹ مشکل متفاوتی دارند. آنها به عامل نمایش داده می‌شوند، اما نه به طور کامل. عامل یک عنوان قهرمان دریافت می‌کند، شاید ناوبری اصلی، شاید یک پیشنهاد ارزش. آن نمی‌تواند توضیحات محصول، سیگنال‌های اعتماد، فراخوان‌ها برای اقدام، لوگوهای شخص ثالث را بگیرد. هر آنچه تصمیم گرفته شده است که در سمت مشتری رندر شود، بخشی است که عامل نمی‌بیند، و آن بخش معمولاً بخشی است که به صورت پویا ساخته شده است زیرا کسی می‌خواست که به صورت تعاملی حس شود.
یک منحنی بازیابی وجود دارد، و منحنی بازیابی جایی است که داستان تیزتر می‌شود. از ۲۷۴ وب‌سایت، ۲۷۳ وب‌سایت به ۸۰%+ دید می‌رسند زمانی که یک مرورگر واقعی صفحه را به مدت پنج ثانیه رندر می‌کند. نود و نه درصد. محتوا وجود دارد. وب‌سایت‌ها خراب نیستند. آنها پشت یک زمان اجرا که خزنده‌های تولیدی هوش مصنوعی برای آن هزینه نمی‌کنند مسدود شده‌اند.
وب‌سایت میانی در نمونه ۲۱ برابر طول می‌کشد تا به بیکاری شبکه برسد تا اینکه دریافت HTTP خام خود را برگرداند. سی و چهار وب‌سایت (۱۲%) اصلاً در مدت زمان ۳۰ ثانیه به بیکاری شبکه نمی‌رسند. این یک مشکل جداگانه است، اما به همان علت ریشه‌ای اشاره دارد. فاصله هزینه بین دریافت یک وب‌سایت و خواندن آن در حال افزایش است، و خزنده‌ها نمی‌توانند به جذب تفاوت ادامه دهند.
Stripe، Adyen، و Plaid ثابت می‌کنند که پشته مشکل نیست
یک صد و یک وب‌سایت در نمونه ۱۰۰% محتوای صفحه اصلی خود را در دریافت HTTP خام برگرداندند. دید کامل قبل از اجرای هر جاوااسکریپت. لیست شامل Stripe، Plaid، Adyen، Marqeta، Remitly، Starling Bank، Neo Financial، Backbase، Thought Machine و ۹۲ دیگر است.
Fiserv یک صفحه اصلی کامل را در ۵۸ میلی‌ثانیه برگرداند. Acorns در ۷۶. Trustly در ۸۹. Ledger در ۱۰۰. به آنچه که آن وب‌سایت‌ها واقعاً هستند نگاه کنید. Fiserv یک شرکت زیرساخت پرداخت و بانکداری در مقیاس ۶۰ میلیارد دلاری است. Acorns یک برنامه مصرف‌کننده را اجرا می‌کند. Ledger یک فروشنده ولت سخت‌افزاری با فهرست محصول است. آنها از پشته‌های مدرن، سیستم‌های مدیریت محتوا، CDNهای منطقه‌ای، همه چیز استفاده می‌کنند. آنها تصمیم گرفته‌اند که محتوایی که صفحه اصلی برای ارتباط آن وجود دارد در پاسخ خام موجود باشد و آنها اجازه نداده‌اند که انتخاب چارچوب آن تصمیم را نادیده بگیرد.
این پاسخ به پرسش واضح است. پرسش این است که یک پشته مدرن به رندر سمت مشتری نیاز دارد، که برنامه‌های تک صفحه‌ای همانطور هستند که اکنون وب ساخته می‌شود، که درخواست HTML رندر شده در سرور از مهندسی خواستن برای بازگشت به پنج سال پیش است. نمونه فین‌تک خود به تنهایی این را رد می‌کند. وب‌سایت‌هایی که سریعترین پاسخ‌های خام را دارند نیاز به استقلال در رندر را به طور جدی هنگام انجام انتخاب‌های معماری در نظر گرفته‌اند، یا پس از واقعیت برای جدی گرفتن آن بازسازی شده‌اند.
در داخل نمونه استثناهایی برای این خوانش وجود دارد. سه وب‌سایت در پنجره رندر پنج ثانیه‌ای عملکرد ضعیفی داشتند، حتی اگر در نهایت کامل شدند. هر سه شرکت آسیایی هستند که از پرتغال اندازه‌گیری شده‌اند، و احتمالاً جریمه تأخیر به جای معماری برای منحنی‌ها حساب می‌شود.
مطالعه ابزارهای عملکرد وب فقط صفحات اصلی را آزمایش کرد، از یک منشاء جغرافیایی، در یک روز، با یک اندازه‌گیری به ازای هر وب‌سایت. صفحات داخلی را اندازه‌گیری نکرد. مناطق مختلف را آزمایش نکرد. محتوای پشت اسکرول یا کلیک را آزمایش نکرد. تصویری که این مجموعه داده به شما می‌دهد صفحه اصلی بزرگترین شرکت‌های فین‌تک جهان در یک روز در ماه می، فچ شده از اروپای غربی است. این یک برش است. برشی مفید برای سوال باربرداری که این مقاله درباره آن است، اما یک برش.
سوال باربرداری این است که آیا نیاز به استقلال در رندر در مقیاس در سراسر یک هم‌گروه تجاری بزرگ، مدرن و خوب منابع رعایت می‌شود یا نه. نمونه فین‌تک به آن پاسخ می‌دهد. بیشترین هم‌گروه درست عمل می‌کند. یک سوم اشتباه می‌کند، و یک سوم که اشتباه می‌کند برندهایی را شامل می‌شود که تصمیمات معماری تقریباً قطعی از چندین مرحله بررسی مهندسی عالی عبور کرده‌اند بدون اینکه کسی دید هوش مصنوعی را به عنوان یک محدودیت نام ببرد.
فین‌تک جایی است که صفحه اصلی سیگنال اعتماد است
بیشتر دسته‌ها می‌توانند به خود اجازه دهند که بخشی از صفحه اصلی آنها نامرئی باشد. یک شرکت SaaS مصرفی می‌تواند یک زیر عنوان قهرمان را از دست بدهد و اکثر بازدیدکنندگان آن تفاوت را احساس نخواهند کرد. یک وب‌سایت رسانه‌ای می‌تواند سردر را از طریق اسکیما حمل کند و همچنان برای موضوعاتی که بدنه آن پوشش می‌دهد رتبه بگیرد. فین‌تک بیشتر دسته‌ها نیست.
برای یک فین‌تک، صفحه اصلی جایی است که افشاهای قانونی قرار دارند. پاورقی مجوز. زبان بیمه سپرده. انتساب شریک بانکی. گواهینامه‌های امنیتی. ماتریس در دسترس بودن کشور. هشدار ریسک زیر نرخ. اینها عناصری هستند که یک برند را از “یک محصول جالب” به “چیزی که واقعاً پول به آن بگذارم” تبدیل می‌کنند. خواننده‌ای که صفحه اصلی را اسکن می‌کند به دنبال آنها است. همچنین یک عامل هوش مصنوعی که به سوالی درباره کدام ارائه‌دهنده برای یک کاربرد خاص اعتماد کند پاسخ می‌دهد.
هنگامی که ۱۷% از هم‌گروه هیچ محتوایی را در پاسخ خام برنمی‌گرداند، آنچه که ناپدید می‌شود لایه قانونی و اعتماد برند است. عامل شریک بانکی را نمی‌بیند. بیمه سپرده را نمی‌بیند. گواهینامه‌های امنیتی را نمی‌بیند. یک پوسته را می‌بیند.
دسته مشکل را به روش دوم تقویت می‌کند. تصمیمات خرید فین‌تک تحقیقات سنگینی دارند. فردی که یک حساب پس‌انداز باز می‌کند، یک پردازنده پرداخت انتخاب می‌کند، تصمیم می‌گیرد که کدام کارگزار را تامین مالی کند، یک ولت را ارزیابی کند، آنها قبل از عمل از چندین دور مقایسه می‌گذرند. آن حلقه مقایسه بخشی از قیف است که به سریعترین صورت به سطوح هوش مصنوعی مهاجرت کرده است. مطالعه جریان کلیک اریک ون بوسکرک از ۸۴۶,۰۰۰ جلسه گوگل نشان داد کاربران حالت AI حلقه‌های خود را در داخل AI 64% از زمان بسته می‌کنند، هرگز کلیک نمی‌کنند.
حلقه تحقیق فین‌تک به طور فزاینده‌ای در داخل یک سطح هوش مصنوعی اتفاق می‌افتد و عاملی که برای کاربر کار می‌کند از مجموعه کاندیدها انتخاب می‌کند که از HTML خامی که می‌تواند دریافت کند جمع‌آوری شده است. اگر یک صفحه اصلی فین‌تک هیچ محتوایی را در پاسخ خام برنمی‌گرداند، برند هرگز وارد مجموعه کاندیدهایی نمی‌شود که عامل از آن انتخاب می‌کند. قبل از شروع مقایسه، غایب است.
این چیزی است که ستون ساختار معماری مبتنی بر ماشین برای آن وجود دارد. ستون نیاز پیشینی است که هر استراتژی دید هوش مصنوعی پایین‌دستی را ممکن می‌کند. نشانه‌گذاری اسکیما کمکی نمی‌کند وقتی عامل نمی‌تواند صفحه را بخواند. استراتژی استناد کمکی نمی‌کند وقتی مدل هرگز محتوایی را برای استناد ندیده است. سیگنال‌های اعتبار برند کمکی نمی‌کند وقتی صفحه اصلی که آنها را حمل می‌کند به GPTBot بایت‌های خالی را برمی‌گرداند. ساختار کف است. هر چیز دیگری روی آن انباشته می‌شود.
نمونه فین‌تک نشان می‌دهد که کف