نحوه استفاده از نهادهای Google و GPT-4 برای ایجاد رئوس مطالب

در این مقاله، شما یاد خواهید گرفت که چگونه از مقداری خراش دادن و نمودار دانش گوگل برای انجام مهندسی سریع خودکار استفاده کنید که یک طرح کلی و خلاصه برای یک مقاله ایجاد می کند که اگر خوب نوشته شود، حاوی بسیاری از عناصر کلیدی برای رتبه بندی خوب خواهد بود.

در اصل، ما به GPT-4 می گوییم که یک طرح کلی مقاله بر اساس یک کلمه کلیدی و موجودیت های برتری که در یک صفحه با رتبه بندی خوب به انتخاب شما پیدا کرده اند، تهیه کند.

نهادها بر اساس امتیاز برجسته آنها مرتب می شوند.

"چرا نمره برجسته؟" ممکن است بپرسید

گوگل برجسته بودن در اسناد API خود را اینگونه توصیف می کند:

"امتیاز برجسته برای یک موجودیت اطلاعاتی در مورد اهمیت یا مرکزیت آن موجودیت در کل متن سند ارائه می دهد. نمرات نزدیک به 0 کمتر برجسته هستند، در حالی که نمرات نزدیک به 1.0 بسیار برجسته هستند.

به نظر می رسد معیار بسیار خوبی برای استفاده برای تأثیرگذاری بر اینکه کدام موجودیت ها باید در محتوایی که ممکن است بخواهید بنویسید وجود داشته باشد، استفاده شود، اینطور نیست؟

شروع شدن
دو راه برای این کار وجود دارد:

حدود 5 دقیقه (شاید 10 دقیقه در صورت نیاز به راه اندازی رایانه) وقت بگذارید و اسکریپت ها را از دستگاه خود اجرا کنید، یا…
به Colab که من ساختم بپرید و بلافاصله شروع به بازی کنید.
من نسبت به اولی جزئی هستم، اما در طول روز به یک یا دو کولب نیز پریده ام. 😀

با فرض اینکه شما هنوز اینجا هستید و می‌خواهید این راه‌اندازی را روی دستگاه خود تنظیم کنید، اما هنوز پایتون یا IDE (محیط توسعه یکپارچه) را نصب نکرده‌اید، ابتدا شما را راهنمایی می‌کنم تا یک مطالعه سریع در مورد تنظیم دستگاه خود برای استفاده انجام دهید. نوت بوک ژوپیتر. نباید بیش از 5 دقیقه طول بکشد.

اکنون، زمان آن رسیده است که راه بروید!

استفاده از نهادهای Google و GPT-4 برای ایجاد رئوس مطالب
برای سهولت در پیگیری، دستورالعمل ها را به صورت زیر قالب بندی می کنم:

مرحله: شرح مختصری از مرحله ای که در آن قرار داریم.
کد: کد برای تکمیل آن مرحله.
توضیح: توضیح کوتاهی درباره کاری که کد انجام می دهد.
مرحله 1: به من بگویید چه می خواهید
قبل از اینکه به ایجاد خطوط کلی بپردازیم، باید آنچه را که می خواهیم تعریف کنیم.

query = ورودی ("برای چه چیزی می خواهید رتبه بندی کنید:")
چاپ (پرس و جو)
url = input ("از چه URL باید الهام بگیرم:")
چاپ (url)
وقتی اجرا شد، این بلوک از کاربر (احتمالاً شما) می‌خواهد که عبارتی را که می‌خواهید مقاله برای آن رتبه‌بندی شود/در مورد آن باشد را وارد کنید، و همچنین به شما مکانی می‌دهد تا در URL مقاله‌ای که می‌خواهید قرار دهید. قطعه ای برای الهام گرفتن

من مقاله‌ای را پیشنهاد می‌کنم که رتبه‌بندی خوبی داشته باشد، در قالبی باشد که برای سایت شما مفید باشد، و فکر می‌کنید به دلیل ارزش مقاله و نه فقط قدرت سایت، شایسته رتبه‌بندی است.

هنگام اجرا، به نظر می رسد:

تعریف اصطلاح هدف و الهام خود
مرحله 2: نصب کتابخانه های مورد نیاز
در مرحله بعد، ما باید تمام کتابخانه هایی را که برای ایجاد جادو استفاده خواهیم کرد، نصب کنیم.

!pip نصب google-cloud-language beautifulsoup4 openai
!pip install wandb --upgrade
!pip install --force-reinstall -Iv protobuf==3.20.00

درخواست های واردات
json را وارد کنید
از bs4 import BeautifulSoup
از google.cloud import language_v1
از google.oauth2 import_account
واردات سیستم عامل
واردات openai
پانداها را به صورت PD وارد کنید
وندب وارداتی
ما در حال نصب کتابخانه های زیر هستیم:

درخواست ها: این کتابخانه اجازه می دهد تا درخواست های HTTP برای بازیابی محتوا از وب سایت ها یا API های وب ایجاد کنید.
JSON: توابعی را برای کار با داده های JSON فراهم می کند، از جمله تجزیه رشته های JSON در اشیاء پایتون و سریال سازی اشیاء پایتون در رشته های JSON.
BeautifulSoup: این کتابخانه برای اهداف خراش دادن وب استفاده می شود. این به تجزیه و پیمایش اسناد HTML یا XML و استخراج اطلاعات مرتبط از آنها کمک می کند.
Google.cloud.language_v1: کتابخانه ای از Google Cloud است که قابلیت های پردازش زبان طبیعی را ارائه می دهد. این اجازه می دهد تا وظایف مختلفی مانند تجزیه و تحلیل احساسات، تشخیص موجودیت و تجزیه و تحلیل نحو بر روی داده های متنی را انجام دهید.
Google.oauth2.service_account: این کتابخانه بخشی از بسته Google OAuth2 Python است. این پشتیبانی برای احراز هویت با Google API با استفاده از یک حساب سرویس، که راهی برای اعطای دسترسی محدود به منابع پروژه Google Cloud است، ارائه می‌کند.
سیستم عامل: این کتابخانه راهی برای تعامل با سیستم عامل فراهم می کند. این امکان دسترسی به عملکردهای مختلف مانند عملیات فایل، متغیرهای محیطی و مدیریت فرآیند را فراهم می کند.
OpenAI: این کتابخانه بسته OpenAI Python است. این یک رابط برای تعامل با مدل های زبان OpenAI، از جمله GPT-4 (و 3) فراهم می کند. این امکان را به توسعه دهندگان می دهد تا متن تولید کنند، تکمیل متن و موارد دیگر را انجام دهند.
پانداها: این یک کتابخانه قدرتمند برای دستکاری و تجزیه و تحلیل داده ها است. این ساختارها و عملکردهای داده را برای مدیریت و تجزیه و تحلیل کارآمد داده های ساختاریافته، مانند جداول یا فایل های CSV، فراهم می کند.
WandB: این کتابخانه مخفف "Weights & Biases" است و ابزاری برای ردیابی و تجسم آزمایش است. این به ثبت و تجسم معیارها، فراپارامترها و دیگر جنبه های مهم آزمایش های یادگیری ماشین کمک می کند.
هنگام اجرا، به نظر می رسد:

نصب کتابخانه های مورد نیاز
دریافت خبرنامه جستجوی روزانه بازاریابان به آن تکیه می کنند.

زمین موتور جستجو را در صندوق ورودی خود دریافت کنید
شرایط را ببینید.

مرحله 3: احراز هویت
من دارم میروم

برای اینکه ما را برای لحظه ای منحرف کند و احراز هویت خود را در جای خود به دست آوریم. ما به یک کلید OpenAI API و اعتبارنامه Google Knowledge Graph Search نیاز داریم.

این فقط چند دقیقه طول می کشد.

دریافت OpenAI API شما

در حال حاضر، احتمالاً باید به لیست انتظار بپیوندید. من خوش شانس هستم که زودتر به API دسترسی دارم، بنابراین این را می نویسم تا به شما کمک کنم به محض دریافت آن، آن را راه اندازی کنید.

تصاویر ثبت نام از GPT-3 هستند و زمانی که جریان برای همه در دسترس باشد، برای GPT-4 به روز می شوند.

قبل از اینکه بتوانید از GPT-4 استفاده کنید، برای دسترسی به آن به یک کلید API نیاز دارید.

برای دریافت یکی، به سادگی به صفحه محصول OpenAI بروید و روی شروع کار کلیک کنید.

صفحه محصول OpenAI
روش ثبت نام خود را انتخاب کنید (من Google را انتخاب کردم) و مراحل تأیید را اجرا کنید. برای این مرحله باید به تلفنی دسترسی داشته باشید که بتواند پیامک دریافت کند.

پس از تکمیل، یک کلید API ایجاد خواهید کرد. این به این دلیل است که OpenAI می تواند اسکریپت های شما را به حساب شما متصل کند.

آنها باید بدانند چه کسی چه کاری انجام می دهد و تعیین کنند که آیا و چقدر باید برای کاری که انجام می دهید از شما هزینه بگیرند.

قیمت گذاری OpenAI

پس از ثبت نام، یک اعتبار 5 دلاری دریافت می‌کنید که اگر فقط در حال آزمایش باشید، به طرز شگفت‌انگیزی شما را به دور خواهد برد.

در زمان نوشتن این مقاله، قیمت گذاری گذشته به شرح زیر است:

قیمت گذاری OpenAI
ایجاد کلید OpenAI شما

برای ایجاد کلید خود، روی نمایه خود در بالا سمت راست کلیک کنید و View API keys را انتخاب کنید.

ایجاد کلید OpenAI شما
... و سپس کلید خود را ایجاد می کنید.

ایجاد کلید OpenAI شما
هنگامی که لایت باکس را ببندید، نمی توانید کلید خود را مشاهده کنید و باید آن را دوباره ایجاد کنید، بنابراین برای این پروژه، به سادگی آن را در یک سند Notepad کپی کنید تا به زودی از آن استفاده کنید.

توجه: کلید خود را ذخیره نکنید (سند دفترچه یادداشت روی دسکتاپ شما بسیار امن نیست). هنگامی که به طور لحظه ای از آن استفاده کردید، سند Notepad را بدون ذخیره آن ببندید.

دریافت احراز هویت Google Cloud شما

ابتدا باید وارد حساب کاربری گوگل خود شوید. (شما در یک سایت SEO هستید، بنابراین فکر می کنم یک سایت دارید. 🙂)

هنگامی که این کار را انجام دادید، می‌توانید اطلاعات API Graph را بررسی کنید، یا اگر خیلی تمایل دارید به کنسول API بپرید و شروع به کار کنید.

هنگامی که در کنسول هستید:

دریافت احراز هویت Google Cloud شما
نام آن را چیزی مانند «مقالات عالی دیو» بگذارید. شما می دانید ... آسان به خاطر سپردن.

در مرحله بعد، API را با کلیک روی Enable APIs and services فعال می‌کنید.

Google Cloud - APIها و خدمات را فعال کنید
API Search Graph Knowledge را پیدا کنید و آن را فعال کنید.

Google Cloud Knowledge Graph Search API
سپس به صفحه اصلی API بازگردانده می شوید، جایی که می توانید اعتبارنامه ایجاد کنید:

صفحه API جستجوی نمودار دانش Google Cloud
و ما یک حساب خدمات ایجاد خواهیم کرد.

Google Cloud Knowledge Graph Search - مدیریت حساب خدمات
به سادگی یک حساب کاربری ایجاد کنید:

Google Cloud Knowledge Graph Search - ایجاد حساب سرویس
اطلاعات مورد نیاز را پر کنید:

Google Cloud Knowledge Graph Search - جزئیات حساب سرویس
(باید نامی به آن بدهید و به آن امتیازات مالک بدهید.)

اکنون ما حساب خدمات خود را داریم. تنها چیزی که باقی مانده این است که کلید خود را ایجاد کنیم.

روی سه نقطه زیر Actions کلیک کنید و روی Manage keys کلیک کنید.

Google Cloud Knowledge Graph Search - مدیریت کلیدها
روی افزودن کلید و سپس ایجاد کلید جدید کلیک کنید:

Google Cloud Knowledge Graph Search - کلیدهای جدید ایجاد کنید
نوع کلید JSON خواهد بود.

بلافاصله، دانلود آن را در مکان دانلود پیش فرض خود مشاهده خواهید کرد.

این کلید دسترسی به API های شما را می دهد، بنابراین مانند OpenAI API خود، آن را ایمن نگه دارید.

خوب… و ما برگشتیم. برای ادامه اسکریپت آماده اید؟

اکنون که آنها را داریم، باید کلید API و مسیر فایل دانلود شده را مشخص کنیم. کد انجام این کار این است:

os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = '/PATH-TO-FILE/FILENAME.JSON'
%env OPENAI_API_KEY=YOUR_OPENAI_API_KEY
openai.api_key = os.environ.get("OPENAI_API_KEY")
شما YOUR_OPENAI_API_KEY را با کلید خود جایگزین خواهید کرد.

همچنین مسیر /PATH-TO-FILE/FILENAME.JSON را با مسیر کلید حساب سرویسی که به تازگی دانلود کرده اید، از جمله نام فایل جایگزین می کنید.

سلول را اجرا کنید و آماده حرکت هستید.

مرحله 4: توابع را ایجاد کنید
در مرحله بعد، توابع را ایجاد می کنیم:

صفحه وب را که در بالا وارد کرده ایم خراش دهید.
محتوا را تجزیه و تحلیل کنید و موجودیت ها را استخراج کنید.
یک مقاله با استفاده از GPT-4 ایجاد کنید.
#عملکرد خراش دادن صفحه وب
def scrape_url(url):
     پاسخ = requests.get(url)
     soup = BeautifulSoup(response.content، "html.parser")
     paragraphs = soup.find_all("p")
     text = " ".join([p.get_text() برای p در پاراگراف])
     برگرداندن متن
#عملکرد کشیدن و تجزیه و تحلیل موجودات موجود در صفحه با استفاده از API Graph دانش Google
def analysis_content(content):
     client = language_v1.LanguageServiceClient()
     پاسخ = client.analyze_entities(
         request={"document": language_v1.Document(content=content, type_=language_v1.Document.Type.PLAIN_TEXT), "encoding_type": language_v1.EncodingType.UTF8}
     )
     top_entities = مرتب شده (response.entities, key=lambda x: x.salience, reverse=True)[:10]
     برای نهاد در top_entities:
         چاپ (entity.name)
     top_entities را برگردانید
#عملکرد تولید محتوا
def generate_article(content):
     openai.api_key = os.environ["OPENAI_API_KEY"]
     پاسخ دهد

se = openai.ChatCompletion.create(
         messages = [{"نقش": "سیستم"، "محتوا": "شما نویسنده بسیار ماهری هستید و می خواهید مقالاتی تولید کنید که برای کاربران جذاب باشد و رتبه خوبی داشته باشد."},
                   {"نقش": "کاربر"، "محتوا": محتوا}]،
         model="gpt-4"،
         max_tokens=1500، #حداکثر با GPT-3 4096 با احتساب اعلان است.
         n=1، #چند نتیجه در هر درخواست تولید شود
         #best_of=1 #When n>1 تکمیل را می توان در سمت سرور اجرا کرد و از "بهترین" استفاده کرد
         توقف = هیچ،
         temperature=0.8 #عددی بین 0 و 2 که اعداد بالاتر تصادفی را اضافه می کنند
)
     return.choices[0].message.content.strip()
این دقیقاً همان چیزی است که نظرات توصیف می کنند. ما در حال ایجاد سه تابع برای اهداف ذکر شده در بالا هستیم.

چشمان تیزبین متوجه خواهند شد:

messages = [{"نقش": "سیستم"، "محتوا": "شما نویسنده بسیار ماهری هستید و می خواهید مقالاتی تولید کنید که برای کاربران جذاب باشد و رتبه خوبی داشته باشد."},
می‌توانید محتوا را ویرایش کنید (شما نویسنده بسیار ماهری هستید و می‌خواهید مقاله‌هایی تولید کنید که برای کاربران جذاب باشد و رتبه خوبی داشته باشد.) و نقشی را که می‌خواهید ChatGPT داشته باشد را توصیف کنید. شما همچنین می توانید لحن اضافه کنید (به عنوان مثال، "شما یک نویسنده دوستانه هستید ...").

مرحله 5: URL را خراش دهید و موجودیت ها را چاپ کنید
حالا دستمان را کثیف می کنیم. وقتشه که:

URL را که در بالا وارد کردیم را خراش دهید.
تمام محتوایی را که درون تگ های پاراگراف زندگی می کند، بکشید.
آن را از طریق Google Knowledge Graph API اجرا کنید.
خروجی نهادها برای یک پیش نمایش سریع.
اساساً، شما می خواهید هر چیزی را در این مرحله ببینید. اگر چیزی نمی بینید، سایت دیگری را بررسی کنید.

محتوا = scrape_url (url)
موجودیت = analyz_content(content)
می‌توانید ببینید که خط یک تابعی را فراخوانی می‌کند که URL را که ابتدا وارد کرده‌ایم خراش می‌دهد. خط دوم محتوا را برای استخراج موجودیت ها و معیارهای کلیدی تجزیه و تحلیل می کند.

بخشی از تابع analyzy_content همچنین فهرستی از موجودیت های یافت شده را برای ارجاع سریع و تأیید چاپ می کند.

مرحله 6: موجودیت ها را تجزیه و تحلیل کنید
وقتی برای اولین بار شروع به بازی با فیلمنامه کردم، با 20 موجودیت شروع کردم و به سرعت متوجه شدم که معمولاً خیلی زیاد است. اما آیا پیش فرض (10) درست است؟

برای فهمیدن، ما داده ها را برای ارزیابی آسان در جدول W&B می نویسیم. این داده ها را به طور نامحدود برای ارزیابی آینده نگه می دارد.

ابتدا باید حدود 30 ثانیه برای ثبت نام وقت بگذارید. (نگران نباشید، برای این نوع کارها رایگان است!) می توانید این کار را در https://wandb.ai/site انجام دهید.

وقتی این کار را انجام دادید، کد انجام این کار به صورت زیر است:

run = wandb.init(project="خلاصه مقاله با موجودیت ها")
columns=["Name", "Salience"]
ent_table = wandb.Table(columns=columns)

برای موجودیت در نهادها:
     ent_table.add_data(entity.name، entity.salience)

run.log({"Entity Table": ent_table})
wandb.finish()
هنگام اجرا، خروجی به صورت زیر است:

معیارهای موجودیت را برای تجزیه و تحلیل در W&B بنویسید
و هنگامی که برای مشاهده اجرای خود روی پیوند کلیک کنید، خواهید دید:

جدول موجودیت
می توانید افت امتیاز برجسته را مشاهده کنید. به یاد داشته باشید که این امتیاز میزان اهمیت آن عبارت برای صفحه را محاسبه می کند نه پرس و جو.

هنگام بررسی این داده‌ها، می‌توانید تعداد موجودیت‌ها را بر اساس برجستگی تنظیم کنید، یا فقط زمانی که عبارات نامربوط ظاهر می‌شوند.

برای تنظیم تعداد موجودیت ها، باید به سلول توابع بروید و ویرایش کنید:

جدول موجودیت
سپس باید سلول را دوباره اجرا کنید و سلولی را که برای خراش دادن و تجزیه و تحلیل محتوا اجرا کردید تا از تعداد موجودیت جدید استفاده کنید.

مرحله 7: طرح کلی مقاله را ایجاد کنید
لحظه ای که همه منتظرش بودید، زمان ایجاد طرح کلی مقاله است.

این کار در دو بخش انجام می شود. ابتدا باید اعلان را با افزودن سلول ایجاد کنیم:

entity_names = [entity.name for entity in entities]
gpt_prompt = f"یک طرح کلی برای مقاله ای درباره {query} ایجاد کنید که شامل موجودیت های زیر باشد: {', '.join(entity_names)}."
چاپ (gpt_prompt)
این اساساً یک اعلان برای تولید مقاله ایجاد می کند:

یک درخواست طرح کلی مقاله ایجاد کنید
و سپس، تنها چیزی که باقی می ماند این است که طرح کلی مقاله را با استفاده از موارد زیر ایجاد کنید:

Genered_article =gene_article(gpt_prompt)
چاپ (مقاله_تولید شده)
که چیزی شبیه به:

طرح کلی مقاله را ایجاد کنید
و اگر می‌خواهید خلاصه‌ای نوشته شود، می‌توانید اضافه کنید:

gpt_prompt2 = f"یک خلاصه مقاله درباره {query} برای یک مقاله با طرح کلی از: {generated_article} بنویسید."
Genered_article =gene_article(gpt_prompt2)
چاپ (مقاله_تولید شده)
که چیزی شبیه به:

خلاصه مقاله را ایجاد کنید
نظرات بیان شده در این مقاله نظرات نویسنده مهمان است و لزوماً سرزمین موتور جستجو نیست. نویسندگان کارکنان در اینجا فهرست شده اند.

 

سئو وب سایت
بهترین مشاوره برای سئو سایت

منبع